Автореферат (1146737), страница 3
Текст из файла (страница 3)
Такиепредставители гуманистического направления в оценивании, как В. С. Аванесов, Э. Шоухами(E. Shohamy),Л. Хэмп-Лайонс(L. Hamp-Lyons),Х. Д. Браун(H. D. Brown),Дж. Хитон(J. Heaton), К. Джиппс (С. Gipps) настаивают, что пришло время подвергнуть критическомупересмотру применение тестов, особенно в терминах их неадекватного использования(например, для жесткого администрирования), причем пересмотру в интересах испытуемого(A. Chalak, M. Tavacoli). Вместо традиционной, ориентированной на данные одного теста,системы ими рекомендуется использовать многомерное оценивание, переходить от тестов кразличным типам оценочной процедуры, использующим как количественную, так икачественную информацию.С применением многомерного подхода к оцениванию языковых навыков удастся сгладитьвоздействие факторов, приводящих к искажению тестовых результатов, и нивелироватьнегативное обратное влияние тестовой оценки на процессы обучения и функционированиеобразовательных систем в нашем обществе.В главе 2 «Анализ методических и психологических ошибок в лингводидактическомтестировании» представлена типология возможных ошибок и недочетов на различных этапахразработки и применения тестов и анализируются группы причин, способных приводить кискажению объективной оценки.Проблема ошибок при обучении иностранному языку изучалась ранее в работахотечественных и зарубежных исследователей (Е.
И. Пассов, A. A. Леонтьев, Н. В. Баграмова,М. Ю. Копыловская, Ю. В. Фоменко, С. Н. Цейтлин, А. Коэн, Дж. Хендриксон, К. Джеймс и10другие). Однако в фокусе внимания были главным образом типология и характер ошибок,совершаемых учащимися в процессе усвоения иностранного языка, а также причинывозникновения ошибок и способы их предупреждения и исправления. В настоящей работе этапроблема рассматривается в ином аспекте: исследуются ошибки, которые возникают в процессесоставленияиприменениятестовприизучениииностранногоязыка,ифакторы,способствующие возникновению таких ошибок.Анализ существующих, наиболее часто используемых учебных пособий и тестовыхматериалов для подготовки к ЕГЭ показал наличие в них недочетов и некорректных вопросов.Они представлены в типологии, описанной ниже, которая учитывает различные этапыподготовки и применения теста, а также особенности ошибок с методической ипсихологической точек зрения.1.
Ошибки на этапе разработки и проведения теста подразделяются на следующиекатегории:1.1.Ошибки при подборе лингвистического материала.В процессе разработки тестов на владение иностранным языком на первый план обычновыходит отбор лингвистического материала, адекватного задачам педагогического оценивания.В процессе такого отбора встречаются следующие недочеты:1) языковые ошибки (например, использование устаревших грамматических норм илиотсутствие учета лексической многозначности слова);2) неадекватный подбор тестовых заданий в лингвистическом отношении: высокийуровень абстракции (не соответствующий контингенту испытуемых или цели исследования),логическинепоследовательноеизложение,малоупотребительнаялексика,упоминаниесоциокультурных реалий, не знакомых тестируемому или не соответствующих реалиямнастоящего времени;3) недостаточное или избыточное количество тестового материала;4) несоответствие сложности заданий уровню подготовки испытуемых;5) использование заданий, представляющих двойную трудность для испытуемого, то естьнеобходимость для его успешного выполнения продемонстрировать знание более чем одноголексического или грамматического явления;6) несоответствие содержания заданий жизненному опыту и возрастным особенностямтестируемых;7) неравномерное отражение различных разделов изучаемого материала, подлежащегопроверке в тесте;8) низкие показатели надежности и валидности теста;119) не учтен коэффициент дискриминации отдельных заданий теста, что ведет к лишним,неинформативным вопросам;10) не учитывается возможность вариативности ответов.1.2.Недочеты в организации тестового материала:1) недочеты в структурировании тестового материала (расположение на страницах,последовательность предъявления);2) недочеты в оформлении тестового материала (опечатки, смещения строк, нарушениенумерации, недостаток места для вписывания ответов, неразборчивый шрифт, эстетическинеприглядный вид, плохое качество печати);3) в заданиях на аудирование: использование акцентной речи (там, где это непредусмотрено спецификацией теста), излишне высокий темп речи, несоответствие величиныаудитории и силы звука из динамиков; плохое качество звука, наличие непредусмотренныхшумов, и т.
д.;1.3.Организационные ошибки при планировании и проведении процедуры тестирования:1) нарушение таких требований, как обеспечение достаточным количеством бланков итестовых материалов, правильная организация рабочих мест для испытуемых (соблюдениетребований эргономики и санитарно-гигиенических норм: удобная мебель, достаточнаяосвещенность, проветренное помещение или кондиционированный воздух, отсутствиесквозняков и т.д.), отсутствие значимых помех, способных отвлечь от выполнения теста;2) нерациональная организация временного режима работы испытуемых (неправомернодлинные или короткие промежутки времени для выполнения теста или отдельных его частей;несвоевременная организация перерыва или его отсутствие при необходимости длительнойработы; несвоевременное начало или окончание процедуры тестирования);3) несоблюдениерегламента,невыполнениеинструкцийлицами,проводящимитестирование;4) отсутствие достаточных инструкций, оговаривающих поведение испытуемых во времятестирования, или несоблюдение испытуемыми этих инструкций;5) неполная или нечеткая инструкция испытуемым по поводу оформления работы.2.
Cпецифическая группа ошибок, связанная с психологическими факторами,влияющими на эффективность тестирования.Причина подобных ошибок – психологические феномены. В этой группе выделяютсяследующие категории:2.1.Ошибки, связанные с содержанием теста:121) тексты заданий, неудачно подобранные с психологической точки зрения (например,несущие отрицательный эмоциональный заряд, задевающие национальные или религиозныечувства);2) узкий контекст задания, допускающий домысливание ситуации, иное ее понимание, непредусмотренное ключом.
От методической ошибки, описанной в пункте 1.1.10 и связанной сучетом не всех возможных ответов к заданию, этот вид ошибки отличается тем, что не простоупускает один из нескольких возможных вариантов употребления речевых единиц, но неучитывает возможности принципиально иного понимания испытуемым самой речевойситуации;3) замещение оценки лингвистических умений и навыков оценкой когнитивных функций;4) неадекватность инструкции к тесту или отдельным заданиям теста (инструкция неявляется ясной и однозначной, не выполняется требование «необходимо и достаточно»).2.2.Ошибки в организации процедуры тестирования:1) сообщение испытуемым негативной информации до начала или во время тестирования;2) поведение сотрудников, осуществляющих тестирование, способное привести ксозданию недоброжелательной атмосферы в аудитории (грубость, психологическое давление,проявление предвзятого отношения к отдельным испытуемым или группам испытуемых);3) различия в тестовой компетенции испытуемых, связанной с имеющимся у них опытомвыполнения аналогичных тестов;4) различия в уровне тестовой тревожности испытуемых, обусловленных разной реакциейна стрессовую ситуацию;5) другие личностные факторы тестируемых, способные оказыватьвлияние навыполнение теста (например, характеристики внимания: концентрация, распределение,переключаемость).3.
Ошибки при обработке результатов тестирования:1) случайные ошибки, связанные с колебаниями внимания тестора/рейтера при подсчетеиндивидуальных тестовых показателей;2) ошибки, связанные с неполадками в работе технических устройств, используемых приобработке результатов;3) ошибки, связанные с неверно понятыми рукописными ответами испытуемых;4) некорректные попытки внести недостающие единицы информации, чтобы не нарушатьколичественного соответствия (например, в случае утери бланков, неразборчивого ихзаполнения испытуемым или нарушений в заполнении бланков, вызванных неправильныминструктажем);135) ошибки, связанные с некорректным использованием математических формул иопераций (элементарные ошибки в подсчетах; неверный выбор формулы для расчетов;неверный выбор статистического критерия для оценки данных, и т.д.);6) отсутствие поправки на случайное угадывание в тестах закрытого типа (в тестах свыбором из ограниченного числа готовых ответов всегда существует вероятность случайногоугадывания ответа; существуют специальные математические процедуры, позволяющиеучитывать эту вероятность при анализе результатов теста);7) ошибки, связанные с некорректным использованием программного обеспечения;8) намеренные искажения результатов тестирования в случае высокой социальнойзначимости теста.4.