Диссертация (Методы оценивания сформированности иноязычной коммуникативной компетенции студентов-психологов (на материале английского языка)), страница 11

О величине латентногопараметра можно судить по ее индикатору (индикаторной переменной). Подиндикатором подразумевается средство воздействия (вопрос, тестовоезадание), связанное с определенным латентным параметром (уровнем знанийпо английскому языку), реакция на который доступна для прямогонаблюдения.

Измеряя значение индикатора, можно судить о значениилатентного параметра, с которым он связан. Значением индикатора являетсячисловое (символьное) выражение реакции тестируемого на данныйиндикатор (тестовое задание). Для исследования латентного параметраиспользуют конструкт — систему индикаторов, позволяющих оценитьлатентный параметр. В данном случае конструктом является тест поанглийскому языку, а индикаторами — тестовые задания.База для IRT — это модель латентной дистанции.

Предполагается, что ииндивидов, и задания можно расположить на одной оси «уровень обученностистудента — трудность тестового задания» или «интенсивность свойства —сила пункта». Каждому испытуемому ставится в соответствие только однозначение латентного параметра («уровня обученности»). Первичной модельюв IRT стала модель латентной дистанции, предложенная Г.

Рашем (Rasch,1980): разность уровня способности и трудности теста (θi - βj), где θi—положение i-гo тестируемого на шкале, а βj — положение j-го задания на тойже шкале. Расстояние (θi - βj) характеризует отставание способности64тестируемого от уровня сложности задания. Если разница велика иотрицательна, то задание не может быть выполнено, так как для данноготестируемого оно слишком сложно. Если же разница велика и положительна,то задание также не информативно, ибо испытуемый заведомо легко иправильно его решит. Связь между наблюдаемыми результатами тестированияи латентными характеристиками тестируемого и заданий теста выражается ввиде:P(xij=1) = f(θi - βj)гдеθi — латентный параметр (уровень обученности) i-го студента;βj — параметрические трудности j-го задания.Г.

Раш полагал, что в таком случае вероятность правильного ответатестируемого будет зависеть только от значения θ и от меры трудности заданияи не будет зависеть от других свойств заданий и от других факторов.Аналитическая модель IRT, помимо таких переменных, как «свойство»и«силапункта»,можетвключатьидругиепоказатели.Ученыеклассифицируют варианты IRT именно по числу используемых в нихпеременных. Итак, однопараметрическая модель, предложенная Г.

Рашем(Rasch, 1967), учитывает уровень подготовленности тестируемого и уровеньсложности задания.Дальнейшее развитие IRT основывалось на появлении двух- итрехпараметрических моделей — А. Бирнбаума (Birnbaum, 1968), с введениемдискриминативного коэффициента задании и коэффициента угадывания.Наиболее значимые преимущества IRT перед классической теориейтестов, как считает А.

А. Маслак, следующие (Маслак, 2006):1) IRT (особенно это относится к модели Раша) превращает измерения,выполненные в дихотомических и порядковых шкалах, в линейные измерения,65в результате качественные данные анализируются с помощью количественныхметодов;2) мера измерения параметров модели Раша является линейной, чтопозволяет использовать широкий спектр статистических процедур для анализарезультатов измерений;3) оценка трудности тестовых заданий не зависит от выборкитестируемых, на которых она была получена;4) оценка уровня подготовленности тестируемых не зависит отиспользуемого набора тестовых заданий;5) неполнота данных (пропуск некоторых комбинаций «испытуемый —тестовое задание») не является критичным.Развернутое обзор преимуществ модели Раша можно найти в работеВилсона (Wilson, 2005).

В рамках IRT принимается положение о том, чтопервичные баллы являются не мерой (взвешенной оценкой) подготовленноститестируемого, а лишь индикатором его подготовленности.Г. Раш предложил вместо процента правильных ответов тестируемых назадания pi использовать:Для тестируемых — натуральный логарифм отношения долиправильных ответов, полученных тестируемым после выполнения теста рi , кдоле неправильных ответов тестируемого qilnpi/qi,гдерi — доля правильных ответов i-го тестируемого по всем заданиям теста;qi — доля неправильных ответов того же i-го тестируемого по всем заданиямтеста;рi/qi — потенциал подготовленности i-го тестируемого.66Для заданий — натуральный логарифм отношения доли неправильныхответов, данных тестируемыми на тестовый вопрос к доле правильных ответовтестируемых на тот же тестовый вопрос qj/pj , то естьlnqj/pj,гдеpj — доля правильных ответов на j-е задание теста;qj — доля неправильных ответов на j-е задание теста;qj/pj — уровень трудности j-го задания теста.Первое отношение lnpi/qi является логарифмической оценкой исходногоуровня подготовленности θi, второе отношение lnqj/pj — логарифмическойоценкой исходной меры трудности задания βj.

Исходные значения тестовыхбаллов трансформируются в исходные логиты уровня подготовленноститестируемых (Гребенников, 2008). Логит — это натуральный логарифмпотенциала подготовленности студента, то есть отношение доли правильныхк доле неправильных ответов тестируемого за весь тест, в случае определенияуровня подготовленности тестируемого, или натуральный логарифм уровнятрудности, то есть отношения доли неправильных к доле правильных ответоввсех тестируемых на один и тот же тестовый вопрос, в случае определениянахождения логита уровня трудности задания. Логит уровня подготовки i-гоученика θi0 находят по формуле:θi0= ln pi/qiгдеpi — доля правильных иqi — доля неправильных ответов i-го ученика на задания теста.67Тем самым Г.

Раш ввел общую логарифмическую меру измеренияуровня подготовленности и уровня трудности задания, названную им,соответственно, логитом уровня подготовленности тестируемых и логитомтрудности заданий.Далее при шкалировании значений уровня трудности заданий и уровняподготовленности тестируемых шкалы исходных логитов стандартизуютсясопоставимымизначениямисреднихарифметическихистандартныхотклонений. Так, достигается полная соизмеримость значений обеихпеременных величин — уровня подготовленности тестируемых и уровня трудности заданий. В зависимости от числа параметров, входящих в аналитическоезадание функций, они подразделяются на классы.Рассмотримподробнеелогистическиефункции,средикоторыхразличают: однопараметрическую модель Г.

Раша, двухпараметрическуюмодель А. Бирнбаума, трехпараметрическую модель А. Бирнбаума.В однопараметрической модели Раша предполагается, что ответтестируемого обусловлен только индивидуальной величиной измеряемогосвойства (θi) и «силой» тестового задания (βj). Следовательно, для верногоответа принимается ответ «да», а для неверного ответа — ответ «нет». МодельРаша носит название «1 Parametric Logistic Latent Trait Model» (1PL)(«однопараметрическая логистическая латентно-структурная модель»), таккак описывает вероятность успеха тестируемого как функцию одногопараметра (θi - βj).

Взаимодействие двух множеств θi и βj образует данные,обладающие свойством «совместной аддитивности» (conjoint additivity).Использование модели Раша позволяет отделить оценки тестируемых отоценок трудности заданий и наоборот. Так как в однопараметрической моделидифференцирующая способность является константой, обычно равной 0.25,следовательно, эта модель не применима для тестов, содержащих задания сразличной дифференцирующей способностью.

Для преодоления этойтрудности А. Бирнбаум ввел еще один параметр — a (item discriminationparameter), параметр дискриминативности задания.68Ф. М. Лорд и М. Новик в своей классической работе (Lord, Novik, 1968)приводят формулы оценки параметра дискриминативности задания a. Еслизначения a близки к 0 (для заданий разной трудности), то испытуемые,различающиеся по уровню выраженности свойства, равновероятно дают«ключевой» ответ на это задание теста. При выполнении такого задания утестируемых не обнаруживается различий, и это вполне объяснимо тем, чтозадание не обладает дискриминативностью.

При aj = 1 задание соответствуетоднопараметрической модели Раша. Установлено, что целесообразноиспользовать задания, характеризующие значение a в интервале от 0.5 до 3.Парадоксальный вариант получаем при a = 0. В этом случае болееспособные испытуемые отвечают правильно с меньшей вероятностью, а менееспособные — с большей вероятностью.

Так, например, при входномтестировании уровня владения английским языком в СПбГУ на факультетепсихологии студенты, совсем не изучавшие английский язык (с нулевымуровнем владения английским языком), дали больше правильных ответов натесты с «закрытыми» заданиями, чем студенты с уровнем владенияанглийским языкомA1 (по шкале Совета Европы).