Диссертация (1146738), страница 24
Текст из файла (страница 24)
Все ли задания и инструкции к ним были понятны? Если нет, то какие небыли?3. Были ли среди заданий такие, которые вам хотелось бы исключить изтеста?1234. Ваши комментарии по выполнению теста (при желании).Кроме этого, учащимся в бланках для ответов на задания теста предлагалосьвыразить свое отношение к отдельным пунктам теста по двухбалльной шкале, длячего напротив каждого задания были размещены по две пиктограммы,представляющие собой традиционное изображение эмотиконов (веселого игрустного).
Тестируемые могли выбрать один из них для характеристики своегоотношения к заданиям непосредственно во время их выполнения.3.3. Методика проведения экспериментаЭкспериментпроводилсяна базеАкадемическойгимназииимениД. К. Фаддеева. В качестве испытуемых выступали учащиеся 9-10 классовгимназии.Для учащихся время выполнения теста было лимитировано рамками двухуроков (90 минут).В качестве рабочей гипотезы было выдвинуто следующее предположение:«Ошибки, допущенные при составлении теста, способны искажать результатвыполнения учащимися этого теста».3.4. Обработка результатов и анализ полученных данныхБаллы, полученные в тесте, были проанализированы с точки зрения трехгрупп оценок: общая оценка за тест, оценка, полученная по заданиям,составленным корректно, и оценка, полученная по заданиям, составленнымнекорректно.Всего тест состоит из 103 вопросов, из которых 51 составлен корректно, а52 – с ошибками.Данные, полученные при первичной статистической обработке данных,представлены в таблице:124РазмахОбщая шкала66Корректные31заданияНекорректные 35заданияСреднееМедианаарифметическое48,06448Стандартноеотклонение17,31226,511279,69521,531228,102Таблица 1.
Статистические данные по экспериментальному тестуИз таблицы видно, что корректные задания характеризуются менеевыраженным размахом, чем некорректные. При этом как медиана, так и среднееарифметическое для корректных заданий превышают соответствующие величиныдля некорректных. Проверим с помощью критерия Стьюдента (Ивантер,Коросов 1992, Наследов 2006) гипотезы о статистической достоверности различиясредних арифметических величин для корректных и некорректных заданий.Применим расчетную формулу =1 −2, где2 2√ 1+ 21 2M1 – среднее арифметическое по корректным заданиям, М2 – среднееарифметическое по некорректным заданиям;σ1 и σ2 – стандартное отклонение по корректным и некорректнымзаданиям соответственно;N1 и N2 – количество тестируемых (в данном случае 47).Подставив в формулу значения, получаем =3,567, что превышаеткритическое значение 3,52 (для числа степеней свободы df=N1+N2-2, что в нашемслучае равно 45) на уровне значимости р=0,001.
Следовательно, средняя оценкапо корректным заданиям статистически достоверно превышает среднюю оценкупо заданиям, составленным с ошибками. Эта разница свидетельствует о том, чтоучащиеся в целом значительно лучше справились с корректными заданиями теста,чем с некорректными.125Графики распределения тестовых оценокРассмотрим, как изменяются полигоны частот распределения тестовыхбаллов для общего теста и для его половин с корректными и некорректнымизаданиями.На графиках (рис. 1-3) по оси абсцисс расположены оценки по тесту,полученные испытуемыми; по оси ординат – частоты этих оценок, то естьколичество тестируемых, получивших данные оценки в каждом выбранноминтервале.
Для построения распределения общее количество баллов былоразделено на 8 интервалов с шагом 10 баллов для общего теста и с шагом 5 баллов– для каждой из его половин.10987654321010--2021--3031--4041--5051--6061--7071--8081-90Рисунок 1. Распределение оценок по общему тестуГрафик на рис. 1 показывает, что распределение оценок по общему теступриближается к нормальному и является бимодальным. Вероятно, наличие второймоды (на интервале 21-30 баллов) можно объяснить присутствием в тестенекорректно сформулированных заданий.1261098765432105--1011--1516--2021--2526--3031--3536--4041--45Рисунок 2.
Распределение тестовых оценок для некорректных заданийРаспределение оценок для некорректных вопросов теста (Рис. 2) такжеприближается к нормальному, но в отличие от предыдущего графика имеет однумоду и является асимметричным. Это свидетельствует о том, что распределениесдвинуто в сторону более низких оценок, то есть при выполнении теста снекорректными заданиями результаты испытуемых оказалисьхуже, чем привыполнении теста с корректными заданиями.98765432105--1011--1516--2021--2526--3031--3536--4041--45Рисунок 3. Распределение тестовых оценок для корректных заданийИз графика на рис. 3 видно, что распределение оценок по корректнымзаданиям приближается к нормальному и является одномодальным.127При сравнении графиков на рисунках 2 и 3 можно заметить, что враспределении оценок по трем последним интервалам (а именно по интервалам31-35, 36-40 и 41-45 баллов) обнаруживаются существенные различия междукорректной и некорректной частями теста.
В этом диапазоне отражены оценки техучащихся, которые справились с большинством заданий соответствующих частейтеста. Просуммировав общее количество тестируемых, попавших в диапазон этихтрех интервалов, можно обнаружить, что для некорректных заданий их числосоставляет 12,8% от общего количества испытуемых, тогда как для корректнойчасти теста соответствующий показатель составляет 42,6%. Таким образом,разница составляет 30,2%. Это означает, что число учащихся, справившихся сбольшинством корректных заданий, на 30,2% выше, чем число тех, кто справилсяс большинством некорректных заданий, и свидетельствует о том, что ошибки всоставлении заданий оказывают значительное влияние на эффективностьвыполнения теста.5045403530252015105013579 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47Ряд1Ряд2Рисунок 4.
Распределение тестовых оценок по корректным и некорректным заданиямРяд 1 – оценка в баллах по корректно составленным заданиям тестаРяд 2 – оценка в баллах по некорректно составленным заданиям теста128 Ось абсцисс: номера тестируемых, расположенных в ряду в порядкевозрастания общего тестового балла Ось ординат: количество тестовых балловНа графике распределения оценок (рис. 4) заметно, что с ростом общегоколичества полученных баллов возрастают и оценки по двум шкалам (то есть покорректным и некорректным заданиям), но неравномерно для разных участков.При этом график визуально можно разделить на 2 части: левая часть графика,отделенная вертикальной чертой, характеризует учащихся, хуже справившихся сзаданиями теста и получивших общую оценку ниже 48 баллов; разница междуответами на корректные и некорректные вопросы у этой части тестируемых неочень существенна, об этом можно судить по характеру случайных пересеченийдвух кривых на графике.Но в правой части графика (начиная с тестируемого №21, получившего 48баллов за тест) можно увидеть, что эта часть тестируемых справляется скорректными заданиями лучше, чем с некорректными: соотношение между двумякривыми на графике изменяется, и они на этом участке не пересекаются.
Кривая,обозначающая результаты выполнения корректной части теста, пролегаетоднозначно выше, чем кривая результатов по некорректным вопросам, то есть всетестируемые в этой части графика показывают оценки по корректным вопросамвыше, чем по некорректным. Об этом говорит и различие средних оценок.Для левой части графика (рис. 4) расхождение между средними оценкамитестируемых по шкалам «корректные задания» и «некорректные задания»невелико. Для корректных заданий средний балл здесь составляет 16,95, а длянекорректных 14,65 балла, то есть разница составляет 2,3 балла (рис.
5, левая парастолбцов)Для правой части графика на рис. 4 (начиная с тестируемого №21), различиемежду средними оценками у шкал корректных и некорректных заданий выраженозначительно больше: для корректных заданий средний балл составляет 33,67, адля некорректных 26,56 балла (рис.5, правая пара столбцов). Разница между129средними составляет 7,11 баллов, что заметно превышает аналогичныйпоказатель для левой части теста.Эти различия средних оценок были отображены на отдельной диаграмме нарис.
5 с целью придать им более наглядный характер.3530252015105012Ряд1Ряд2Рисунок 5.Сравнение средних оценок для «слабых» и «сильных» учениковНа Рис. 5 показаны результаты теста раздельно для «слабых» учащихся(получивших общую оценку менее 47 баллов) и более «сильных» учащихся(получивших общую оценку 47 и более баллов). Ряд 1 (в темном цвете)показывает средние оценки по корректным заданиям теста; ряд 2 (светлого цвета)– соответственно по некорректным заданиям. Заметно, что разница междуоценками по корректным и некорректным заданиям для группы сильныхучащихся (правая пара столбцов) более выражена, чем для слабых (левая парастолбцов).
Описанное выше различие в средних оценках может свидетельствоватьо том, что испытуемые, показывающие более уверенное знание английскогоязыка, оказываются более «чувствительны» к некоторым тестовым ошибкам.Такие ошибки способны сильнее влиять на их тестовые показатели, чем напоказатели более слабых учащихся, которые чаще пользуются при выполнениитеста стратегией случайного угадывания.Представляетсяинтереснымсравнитьданныеописываемоговышеэкспериментального теста с результатами стандартного теста, разработанного и130проведенного нами в качестве экзаменационного испытания для учащихся 9 – 10классов Академической гимназии (в дальнейшем – стандартный тест, см.приложение 3).3.2. Описание заданий экспериментального тестаБыли использованы следующие варианты некорректно составленныхтестовых заданий.1. Субтест из 10 заданий, к которым дана общая неверно составленнаяинструкция:«Put the correct present form (perfect, continuous or simple) of the verb in thebrackets in the blanks».Эта группа заданий была обнаружена в тестах к учебнику Language Leader(Upper Intermediate) (Albery 2008).
Составители теста планировали проверить,насколько хорошо обучающимися усвоено использование английских глаголов вперфектной форме, относящихся к временам группы Simple или Continuous (тоесть все глаголы перфектного вида по грамматической категории аспектаразделены на Simple и Continuous). Это означает, что в ответах на все заданияэтого субтеста необходимо было использовать только глаголы группы Perfect,выбирая из двух вариантов: Continuous или Simple.
Но поскольку в инструкции кзаданию все эти три грамматические категории перечислялись через запятую,русскоязычные тестируемые воспринимали инструкцию как необходимостьвыбирать из трех равнозначных групп: глаголов, относящихся к Present Simple,Present Continuous или Present Perfect.Это связано с тем, что в отечественной традиции преподавания английскогоязыка существует тенденция подобного разделения глагольных форм, и потомуименно такое восприятие является привычным для учащихся.
Поэтому самаинструкция невольно подталкивала тестируемых к выбору в ответах глаголов вформе Present Simple или Present Continuous, что не предусматривалосьсоставителями и было ошибочным.131Влияние таким образом подготовленного в процессе учебы восприятияоказалось настолько сильным, что 100% тестируемых в ходе выполнения этогозадания поняли инструкцию неверно, выбрав среди прочих ответов и теглагольные формы, которые не относились к перфектным.Таким образом, можно считать, что в данном случае ошибка в составленииинструкции связана с различием в методических подходах к преподаваниюграмматики в отечественной и западной традициях преподавания языка.2. У второй группы заданий инструкция также была неверно составлена, ноуже по другому принципу. Она была сформулирована следующим образом:«Вставьте необходимые предлоги».На самом деле не во всех заданиях субтеста было необходимо вставлятьпредлоги, в некоторых заданиях не нужно было вставлять ничего.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
