Диссертация (1146738), страница 20
Текст из файла (страница 20)
And -4- he cannot be understoodthrough knowledge of his parts-functions.2. like3. than4. provided thataccordingto in spite ofyetfor examplerather thanthereforeВ данном случае тест содержит 10 заданий, в каждом из которых 3 вариантаответа. При наличии всего 2 альтернативных ответов вероятность случайногоугадывания правильного ответа составляет 1/3, что является довольно большойвеличиной и может приводить к искажению объективной оценки знанийучащихся;Л) неучтенкоэффициентдискриминации,чтоведетклишним,неинформативным вопросам;М) не учитывается возможность вариативности ответов.Со сложностями, которые возникают при необходимости учитывать всевозможные варианты ответов, сталкивается большинство разработчиков тестов свопросами открытого типа.
Например, случается, что даже после добросовестнопроведенного предварительного этапа тестирования у заданий, в которыхнеобходимо заполнить пробелы, в ключах для проверки невозможно указать всеправильные варианты ответов для конкретного задания. Казалось бы, уже всепредусмотрено, но в последующих выборках, тестируемых периодическинаходится какая-нибудь творческая личность и предлагает новый ответ, который101оказывается вполне подходящим. Естественно, это повышает требования кпроверяющим тест, исключая возможность механической проверки по ключам.
Вданномслучаетщательныйподходканализурезультатов,пожалуй,единственное, что можно предложить (помимо предъявления задания большемуколичеству людей в процессе предварительного тестирования, что не всегдавозможно и эффективно).Бывает, что испытуемый не может вставить вместо пропуска правильноеслово не потому, что имеет скудный лексический запас. Он вполне может хорошознать искомое слово, но в момент тестирования оно просто не приходит ему вголову. Такие ситуации разработчикам сложно предугадать, так как они видяттекст целиком и воспринимают его во всей полноте, поэтому пропущенное словокажется им очевидным. Эти случаи становятся заметны в процессе испытаниятеста на своих коллегах и в ходе предварительного тестирования.Еще один пример необходимости учитывать вариативность ответов, на этотраз – для задания с множественным выбором:‘Why hasn’t your mother come?’‘Well, she said she………….leave the baby.’A can’tB won’tC couldn’tD mayn'tОчевидно, что правильный ответ – С, в соответствии с правилами передачикосвенной речи, изложенными во многих учебниках.
Но когда этот вопрос былпредъявлен носителям языка, ответы A и B они также отнесли к вполнеприемлемым, особенно в разговорной речи (Alderson 1995, p. 48). Такие случаиеще раз свидетельствуют о необходимости тщательного анализа языковогоматериала в процессе подготовки теста и о необходимости консультации сносителями языка.1022.1.2. Недочеты в организации тестового материалаНедостаточно правильно подобрать лингводидактический материал длятеста; для эффективного использования контрольно-измерительных материаловон должен быть надлежащим образом структурирован и оформлен. На этом этапевстречаются следующие ошибки:А) недочеты в структурировании тестового материала (расположение настраницах, последовательность предъявления);Б) недочеты в оформлении тестового материала (опечатки, смещения строк,нарушение нумерации, недостаток места для вписывания ответов, неразборчивыйшрифт, эстетически неприглядный вид, плохое качество печати).Отдельногоразговоразаслуживаютопечатки–одинизсамыхраспространенных недостатков в реальной практике тестирования.
Возможно, ихвлияние на выполнение теста недооценивается. Среди опечаток можно выделитьте, которые не ведут к искажению смысла и адекватно и быстро опознаютсяиспытуемыми именно как опечатки, и те, которые мешают правильновоспринимать смысл задания. В первом случае влияние опечаток не являетсяфактором, существенным при выполнении теста, если они единичны; во второмслучае они могут отрицательно сказываться на выполнении теста по следующимпричинам:– опечатки замедляют скорость выполнения тестов, требуя затрат времени наих фиксирование и распознавание;– они раздражают испытуемых, снижают мотивацию к выполнению теста;– опечатки снижают уровень доверия к тесту (т. е.
его внешнюю валидность),создаютвпечатлениенеквалифицированностиегосоздателей.Так,применительно к медиаконтенту это было показано на примере орфографическихошибок и опечаток в тексте в статье А. А. Морозовой: «На популярных порталахдаже незначительное расхождение с нормами русского языка может вызватьнегативный отклик у читателей, который спровоцирует скептическое отношение103ко всей статье» (Морозова 2013, с. 41). В результате исследования, проведенногопорталом content-factory.ru, получены данные, согласно которым около 66% из2000 опрошенных «после обнаружения «ляпсусов» стремятся покинуть ресурс,теряют доверие к порталу или с трудом усваивают предлагаемую информацию»(«Упс… Ошибочка вышла», электронный ресурс).Но иногда опечатки способны помешать адекватному пониманию смыслатестового задания или полностью исказить его.
Это приводит к следующимнегативным последствиям:– на непродуктивное обдумывание вопроса затрачивается порой довольномного времени, которого потом может не хватить тестируемому для выполнениядругих заданий;– испытуемые совершают ошибки, даже в случае знания того материала,который должен был проверяться тестовым заданием;– при обнаружении таких опечаток у некоторых испытуемых возникаетчувство протеста: «Ну так же не может быть!»Приведем пример опечатки, мешающей восприятию смысла (Evans, Dooley2009, р. 29):Инструкция к заданию: Complete the second sentence using the word in bold.Use two to five words including the word given.
Do not change the word given.Students must present an ID card when entering the library.allowed Student’s …………………………...... the library without an ID card.В качестве ключа предлагается ответ «…are not allowed into…». Очевидно,что в тесте опечатка – вместо существительного во множественном числе(students) напечатано существительное единственного числа в притяжательномпадеже (student’s). Но испытуемый со знанием языка на уровне elementary, длякоторого предназначен этот тест, может потратить значительное количествовремени, пытаясь понять, что же требуется от него в задании;104В) не учтены все возможные варианты ответа (в заданиях, где требуютсяключи).В качестве примера приведем задание, предполагающее компьютерноепредъявление (Cotton, Falvey, Kent.
Language Leader, Upper Intermediate).Испытуемым предлагается небольшой текст “I love chess” с инструкцией: Read thetext. Write the words where we can add self- in front of the word.В тексте удовлетворяют этому условию следующие слова: potential, control,discipline, development, respect, confidence, defence.
Но только 6 из 7 этих словсодержатся в ключах к заданию; вариант potential не предполагается и незасчитывается как правильный, хотя слово self-potential существует и отражено всловарях. Правда, при правильном введении всех остальных слов программавыдает результат, засчитав 6 слов в качестве ответа и отклонив седьмое: ответправилен на 100%. Таким образом, в данном случае правильный ответ не былзасчитан, но на конечный результат теста это не повлияло.Однако же очень часто при механической или компьютерной обработкетестовых результатов те ответы испытуемых, которые являются по сутиправильными, но не указаны в ключах, не учитываются тестирующими иотклоняются как неправильные, снижая показатели испытуемых;Г) в заданиях на аудирование: использование акцентной речи (там, где этоне предусмотрено спецификацией теста), излишне высокий темп речи,несоответствие величины аудитории и силы звука из динамиков; плохое качествозвука, наличие непредусмотренных шумов.
Нежелательно также большоеколичество тестируемых в одном помещении, поскольку это создает звуковыепомехи и, в силу расположения динамиков и невозможности выбрать удобное дляпрослушивания место, неодинаковые условия для аудирования.2.1.3. Ошибки в организации процедуры тестированияА) нарушение таких требований к процедуре проведения теста, как:– обеспечение достаточным количеством бланков и тестовых материалов (втом числе чистых листов бумаги, если это необходимо)105– правильная организация рабочих мест для испытуемых: соблюдениетребований эргономики и санитарно-гигиенических норм (удобная мебель,достаточная освещенность, проветренное помещение или кондиционированныйвоздух, отсутствие сквозняков и т.д.)– отсутствие значимых помех, способных отвлечь от выполнения теста(например, шум, внезапные резкие звуки или вспышки света, резкие запахи,разговоры экспериментаторов или испытуемых).В качестве примера можно привести следующее исследование.
В 1999 г. вСША было проведено изучение влияния дневного освещения на учащихся школ.В городах Сиэтле, Вашингтоне и Форт Коллинз (Колорадо), где оценки в концегода выставлялись по итогам ежегодного теста, учащиеся в классах с наибольшейосвещенностью дневным светом показали улучшенные на 7-18% результаты посравнению с учащимися в классах с наименьшей освещенностью. В городе СанХуан-Капистрано (Калифорния), где исследователи имели возможность сравнитьосенние и весенние тестовые оценки, было обнаружено, что студенты в классах снаибольшей освещенностью в течение года показали результаты лучше на 20% поматематическому тесту и на 26% по тесту для проверки чтения по сравнению состудентами в классе с наименьшим уровнем освещения (Lucido 2010).Сходные результаты были получены в других исследованиях по такимпараметрам, как высокое содержание углекислого газа в воздухе класса, гдепроводилось тестирование, высокая температура и влажность, высокий уровеньфонового шума и даже возраст и степень износа здания, в котором находилсякласс.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
