Диссертация (Методы оценивания сформированности иноязычной коммуникативной компетенции студентов-психологов (на материале английского языка)), страница 12

При этом, как показалирезультаты опроса, тестируемые с уровнем владения английским языком А1старались дать правильный ответ на вопрос, используя весь багаж знаний, астуденты с нулевым уровнем владения английским языком пользовалисьстратегией угадывания, например, выбирали только ответ на тестовый вопросс номером 2.Из проведенных опытных исследований видно, что относительнаячастотарешения«закрытых»заданийотклоняетсяоттеоретическипредсказанных вероятностей двухпараметрической модели Бирнбаума,учитывающей дискриминативность задания. Очевидно, что чем ниже уровеньспособностей тестируемого (низкие значения параметра θ), тем чаще онприбегает к стратегии угадывания. Аналогично, чем труднее задание, тембольше вероятность того, что испытуемый будет пытаться угадать69правильный ответ, а не решать задачу.

Вероятность угадывания ответа можнорассчитать по формуле (Дружинин, 1997):Pi=1/n,где n — число вариантов.Бирнбаум разработал трехпараметрическую модель, суть которойзаключалась в учете влияния угадывания на результат выполнения теста. Онввел параметр сj, характеризующий вероятность правильного ответа на j-езадание в том случае, если испытуемый угадывал ответ, а не решал задание,т. е. при θ —> 0 (практически нулевом уровне знаний). Так, для заданий с пятьювариантами ответов сj = 0.2, с четырьмя вариантами сj = 0.25 и т. д., то есть чемменьше вариантов предложено, тем больше вероятность угадывания, тембольше значение сj.

Таким образом, даже самый слабый участниктестирования не может показать нулевой результат. Однако стоит заметить,что при введении параметра сj уровень дифференциации тестового заданияснижается. Тесты с вынужденным выбором ответа («закрытыми» заданиями)хуже дифференцируют тестируемых по уровням свойства, чем тесты сзаданиями «открытыми».В каждой из представленных моделей параметры θ и β выражаются какшкалированные показатели единой для всех моделей шкалы логитов.Введение единой шкалы для элементов двух различных множеств — значенийθ и значений β — позволяет решить ряд вопросов, как теоретических, так ипрактических.

В частности, благодаря единой шкале можно ввестивзаимосвязь между переменными в виде разности θ и β, корректно сравнитьрезультаты учеников, полученные с помощью различных тестов, подобратьоптимальные значения β, позволяющие измерить искомое θ с минимальнойошибкой измерения. В целом эти важные преимущества позволяют70преодолеть ряд существенных недостатков классической теории тестов изначительно повысить эффективность тестовых измерений.Согласно модели Бирнбаума, в пределе рj = сj, то есть вероятностьпоказать правильный ответ не ниже вероятности угадывания.

Однако впрактикетестированиядовольночастовстречаютсяявления,когдаиспытуемый реже выбирает правильный ответ, чем неправильный рj < сj, тоесть частота решения некоторых заданий может не соответствоватьпредсказаниями модели. Модель Бирнбаума не объясняет этот парадокс.1.3.3. Обоснование выбора логистической функции для статистическойобработки результатов итогового тестированияКак уже отмечалось выше, среди логистических функций различают:однопараметрическую, учитывающую только уровень сложности задания иуровень подготовленности тестируемого, двухпараметрическую, учитывающую наряду с вышеперечисленными параметрами дифференцирующуюспособность задания, и трехпараметрическую модель, где учтены уровеньсложности задания, уровень подготовленности тестируемого, дифференцирующая способность задания и параметр угадывания.

Как кажется напервый взгляд, трехпараметрическая модель является наиболее информативной. Однако необходимо уточнить, какая из вышеперечисленныхмоделей подходит именно для нашего исследования, и почему.В однопараметрической модели Г. Раша вероятность выполнения j-гозадания группой тестируемых равна (Дружинин, 1997):Pj(θ )=e1,7(θ-βj) / (1+ e1,7(θ-βj))Вероятность правильного решения задания (или ответа «да») i-мтестируемым равна (Дружинин, 1997):71Pi(β )=e1,7(θi-β) / (1+ e1, 7(θi-β))На рис. 8 представлены три характеристические кривые заданий ItemCharacteristic Curve (ICC) с трудностями заданий -2, 0 и +2 логита (первоесамое легкое, второе — сложнее, третье самое трудное). Из приведенныхзависимостей видно, что вероятность успеха при выполнении того или иногозадания увеличивается с увеличением уровня подготовленности θ тестируемого.

Например, для тестируемого с θ = 0 вероятность правильно ответитьна первое задание близка к единице, на второе равна 1/2 и на третье почти равнанулю, то есть чем сложнее задание, тем ниже вероятность выполнить егоправильно. В точках, где θ = β, вероятность правильного ответа равна 0.5;иными словами, если трудность задания равна уровню подготовленноститестируемого, то он с одинаковой вероятностью может справиться или несправиться с этим заданием.Рис.

8. Характеристические кривые заданий в однопараметрической модели(по: Дружинин, 1997)72На рис. 9 представлены три характеристические кривые тестируемыхсогласно Person Characteristic Curve. Приведены зависимости для трехтестируемых с уровнем подготовленности θ = -2 логита (самый слабый), θ = 0логитов (средний) и θ = +2 логита (сильный испытуемый).Из графиков видно, что чем выше уровень подготовленности, тем вышевероятность правильного ответа на тестовое задание.

Например, задание струдностью β = 0 первый испытуемый (θ = -2) практически не сможетвыполнить, второй (θ = 0) имеет вероятность выполнения задания, равную 0.5,третий (θ = +2) легко справится с заданием, так как для него вероятностьуспеха почти равна единице.Рис. 9. Характеристические кривые тестируемых (PCC) в однопараметрической модели (по: Дружинин, 1997)Какможнозаметитьизприведенныхзависимостей,крутизнахарактеристических кривых в области Pj = 0.5 одинакова, — это значит, чтодифференцирующая способность в данном случае представляет собойконстанту.

Такая константа для дихотомической модели будет равна 0.25.73К одному из недостатков модели Раша можно отнести пренебрежениекрутизной характеристических кривых, так как их крутизна считаетсяодинаковой. Задания с более крутыми (с большим углом наклона к осиабсцисс) характеристическими кривыми позволяют лучше «различать»тестируемых (особенно в среднем диапазоне шкалы способностей), чемзадания с более «пологими» кривыми.Параметр a, определяющий крутизну характеристических кривыхзаданий, называют дифференцирующей силой задания. Он используется вдвухпараметрической модели Бирнбаума.Вероятностьправильноговыполнениязаданияj-гогруппойтестируемых в двухпараметрической модели А.

Бирнбаума равна (Дружинин,1997):Pj(θ )=e1,7aj (θ-βj) / (1+ e1,7 aj (θ-βj))Вероятностьправильногорешениязаданиясучетомдифференцирующей силы задания i-м тестируемым равна (Дружинин, 1997):Pi(β )=e1,7 ai (θi-β) / (1+ e1, 7 ai (θi-β))Параметрajопределяетнаклонкосиабсцисс(крутизну)характеристической кривой j-го задания. Из представленных на рисунке 10характеристических кривых видно, что чем больше aj, тем больше уголнаклона к оси абсцисс, соответственно, кривая идет круче и, следовательно,тем выше дифференцирующая способность задания. Как видно из графика,самая большая дифференцирующая способность у задания с параметром aj=2,затем идет задание с aj = 1, и самая низкая дифференцирующая способность узаданий с параметром aj = 0.5.74Рис. 10.

Характеристические кривые заданий в двухпараметрической модели(по: Дружинин, 1997).С введением параметра угадывания с вероятность правильного ответа втрехпараметрической модели А. Бирнбаума рассчитывается по формуле (Челышкова, 2002):Pj(θ )= cj+(1-cj )e1,7aj (θ-βj) / (1+ e1,7 aj (θ-βj))Вероятность правильного решения задания с учетом коэффициентаугадывания i-м тестиуемым равна (Челышкова, 2002):Pi(β )= cj+(1-cj)e1,7 ai (θi-β) / (1+ e1, 7 ai (θi-β))На рисунке 11 приведены примеры характеристических кривых для трехзаданий с трудностью β = 1, дискриминационным параметром aj = 1 иразличными параметрами угадывания cj = 0, cj = 0.25, cj = 0.5.Из приведенных графиков видно, что наличие параметра угадыванияприводит к пропорциональному смещению характеристических кривыхзадания вверх на величину cj.

При учете сj характеристическая кривая75становится более пологой, так как 0 < сj < 1, но при всех θ = 0 криваяподнимается над осью способностей на величину сj.В качестве теоретической оценки cj можно использовать обратнуювеличину от количества ответов в заданиях с выбором.

Например, в тестеиспользуются задания с тремя ответами, тогда cj = 1/3 = 0.33. Это значениедолжно уточняться при анализе эмпирических данных.Рис. 11. Характеристические кривые заданий в трехпараметрической модели,αj = 1, βj = 1 (по: Дружинин, 1997)В каждой из представленных моделей параметры θ и β выражаются какшкалированные показатели единой для всех моделей шкалы логитов.Введение единой шкалы для элементов двух различных множеств — значенийθ и значений β — позволяет решить ряд вопросов, как теоретических, так ипрактических.