Методика конструирования тестов профессиональных достижений с использованием интернет-технологий, страница 5

М.В. Ломоносова.Первый параграф посвящен изложению целей и гипотез исследования.В этом разделе диссертации были сформулированы и обоснованы частные гипотезыисследования:- пропуск, по крайней мере, одного этапа в оптимальной последовательности шаговпо конструированию теста, может привести к резкому снижению качества создаваемогоинструмента;- целостность структуры знаний учащегося взаимосвязана с академическойуспеваемостью;- психологическая позитивная установка преподавателей на использования тестовойтехнологии контроля формируется легче на основе принципа соучастия преподавателей вразработке самой технологии -на этапе конструирования банка тестовых заданий (в18качестве авторов и экспертов по оценке и отбору тестовых заданий), а также прииспользовании тестовых баллов в качестве дополнительного источника информации, неотменяющего применения традиционных экзаменационных процедур.Второй параграф посвящен описанию методики экспериментального исследования иметодики обработки результатов.

Особе внимание в экспериментально-методической частиработыуделялосьинструментальномуоснащениюнашегоисследования,еготехнологическому, апаратурно-методическому базису:1) Основные серии тестирования студентов проводилось с использованиемспециализированногопрограммногокомплекса тестирования «Maintest» (Мэйнтест),разработанного по руководством профессором кафедры психологии труда МГУ им. М.В.Ломоносова А.Г. Шмелевым (программная реализация О.Н. Кононов);2) В работе использована технология «виртуальной лаборатории», позволяющаяорганизовать пространственно-распределенный процесс сбора экспертных оценок: данныеэкспертизы тестовых заданий собирались с использованием специализированного Интернеткомплекса«Личныйкабинетдляон-лайнисследований»иобрабатывалисьвспециализированной для этой цели оболочке «Expan», разработанной А.Г.

Шмелевым(программная реализация Д.М. Ильиных);3) Данные о когнитивной сложности представлений учащихся (данные о целостностипредставлений) собирались и обрабатывались с использованием специализированнойпсихосемантической методики «Тест когнитивной сложности «11 слов», разработанной А.Г.Шмелевым (программная реализация А.Г. Ларионов).4) Методы математической и статистической обработки и представления данных(статистический блок программного комплекса тестирования «Maintest», статистическийпакет «Microsoft Excel»).В ходе исследовательских работ по гранту РФФИ №01-06-80382 был составлен набортестовых заданий по курсу общей (8 тем, 160 вопросов) и прикладной психологии (4 темы,80 вопросов). Для прохождения теста на этапе первичной апробации для каждого изучастников (испытуемых) генерировался вариант, состоящий из 48 вопросов (по 4 изкаждого тематического блока: 48 = 12 * 4).

В исследовании на этапе апробации принялиучастие 116 человек (учащиеся 3-5 курсов факультета психологии МГУ им. М.В.Ломоносова, а также выпускники прошлого года), во второй серии в общей сложности 302человека (учащиеся 5-6 курсов факультета психологии МГУ им. М.В. Ломоносова, а такжеучащиеся 3 курса факультета психологии ГУ ВШЭ).

После полного цикла апробациипервичного теста осталось не более 27 процентов заданий, пригодных для использования.19Примерно 20 процентов заданий были переформулированы.Таким образом, полученные на первом этапе результаты неизбежно привели к тому,что следующая версия банка заданий должна была включать гораздо большее количествозаданий. Такой банк был создан и включал в себя 320 заданий по 8 разделам общейпсихологии, работа с заданиями по прикладной психологии по ряду причин непродолжалась.Методика независимой экспертизы представляла собой стандартный вариант оценкизаданий по двум критериям: сначала эксперту необходимо было дать свой ответ на вопрос(решить задачу), а затем оценить его по двум характеристикам - сложность и качество.

Вработе приняли участие 10 экспертов - сотрудники кафедр психологии труда и общейпсихологии факультета психологии МГУ.Данные экспертизы обрабатывались с использованием следующих методов: 1)графический анализ данных сопоставления ожидаемых и реальных показателей эксперта; 2)классическиечетырехклеточныематрицысопряженностиГилфорда(корреляциякомпетентности эксперта с оценками сложности и качества заданий); 3) корреляционныйбалл - коэффициент линейной корреляции Пирсона всех оценок, данных экспертом (по всемпарам «объект * критерий»), с усредненными оценками всех остальных экспертов; 4) баллблизости - коэффициент «косинус», указывающий на близость индивидуального профиля кпрофилю остальных экспертов (с учетом уровня критичности).Данные тестирования обрабатывались с использованием следующих методов: 1)расчет трудности заданий - алгоритм теории параметризации педагогических тестов IRT; 2)расчет дискриминативности тестовых заданий - точечно-бисериальный коэффициенткорреляции; 3) сравнение экспертных оценок с показателями, полученными в ходеапробационных циклов, сравнение результатов прохождения тестирования респондентами сихобъективнымипоказателямиуспеваемости,сравнениеуровняконсистентностипредставлений и показателями успешности прохождения теста, а также показательретестовой надежности – коэффициент линейной корреляции Пирсона; анализ значимостиразличий между коэффициентами корреляции - z-преобразование Фишера для выборочногокоэффициента корреляции; 4) надежность-согласованность пунктов – коэффициенткорреляции «альфа» Кронбаха; 5) анализ когнитивной сложности – коэффициентыконсистентности и дифференциронности, матрица сопряженности.Третий, четвертый и пятый параграфы посвящены изложению результатовэксперимента и их обсуждению.В результате проведенного нами исследования мы выяснили, что требование к20соблюдению всех этапов создания тестирования, по крайней мере, тех, которые мы моглипроизвести, имеет вполне обоснованные причины.

Возможность работы с полученнымиданными в результате разных подходов к оценке, обеспечиваемая многосторонним и гибкимвзаимодействие разноплановых структур: экспертные оценки позволяют судить о работетеста с позиций теоретико-педагогического видения, а анализ результатов позволяет выявитьособенности,проявляющиевконкретныхусловияхвзаимодействиясубъектасинструментарием.

Такой разносторонний подход обеспечивает возможность создания понастоящему качественного, научно-обоснованного теста контроля знаний.Нами было показано, что те задания, на которые эксперт давал неправильный ответ,оценивались им, как низкокачественные, а применительно к нашей гипотезе зависимостьконстатируется в следующей формулировке: точность экспертных оценок обратнопропорциональна субъективной оценке качества заданий. Этот факт можно объяснить тем,что на те вопросы, на которые эксперт не может дать однозначного ответа или же простоугадывает его, он склонен называть низкокачественными.Анализ структуры аналогичных показателей средних оценок качества и сложностидля правильно решенных заданий показывает нам их устойчивость от блока к блоку иблизость их между собой внутри шкал. И хотя, на первый взгляд, может показаться, чтоситуация должна быть прямо противоположной, то есть оценки правильно решенныхзаданий должны быть диаметрально противоположны оценкам заданий, на которые экспертне знал правильного ответа.

Ошибочность данного утверждения заключается в том, что поотношению к оценкам вопросов, на которые эксперт не дает правильного ответа, работаютзащитные механизмы самооценки, а вот по отношению к вопросам, где эксперт отвечаетуверенно – оценочная стратегия (установка) оказывается более либеральной (менее строгой).Как мы выяснили, компетентность эксперта все же влияет на оценку им качества исложности тестового задания, а разработанные нами методы позволяют расширить кругкачественных заданий, но этот метод не дает нам возможность судить однозначно о влияниикомпетентности экспертов на их оценки заданий.Благодаря методу экспертных оценок, мы смогли провести предварительный отборпунктов по рейтингу, составленному на основе взвешенных критериев, построить шкальныепрофили объектов (в данном случае эти объекты – это тестовые задания), позволяющиеработать с пунктами теста по оценкам отдельных критериев.

А также нами былиразработаны схемы проведения анализа необходимости принятия на рассмотрение илиотказа от оценок экспертов как на основе качественно-количественных, так статистическихметодов. Такая гибкая система позволяет более надежно произвести отбор пунктов,21учитывая качество и согласованность работы экспертов.Мы выяснили, что низкая согласованность экспертов, скорее всего, не есть результатсодержательной стороны теста, а следствие различия в индивидуальном понимании каждымэкспертом смысла и значения каждого из оцениваемых критериев, а также уровнятребовательности, предъявляемого экспертом по отношению к тесту. На основе этого намибыла разработана схема повышения надежности показателя согласованности посредствомкак расширения группы экспертов, так и работы по согласованию понимания критериев ууже имеющихся экспертов.Нами были рассчитаны статистические показатели прохождения теста для первичногои вторичного циклов апробации.

В целом задания теста являются средними по уровнютрудности, тем не менее, изначально в тесте присутствовали и сложные, и легкие задания,однако, после работы с банком заданий количество очень трудных и очень легких заданийсократилось. Диапазон средней трудности достаточно широк, что отдельно взятые блокивопросов обладают достаточно хорошей сбалансированности вопросов, но внутри среднегодиапазона.Нами был рассчитан важный показатель корреляции сложности (на основеэкспертных оценок) и трудности (на основе прохождения теста) тестовых заданий.Коэффициент оказался значимым, что для данного массива объектов, то есть оценкасложности заданий экспертами находит свое отражение в реальной трудности этих жезаданий при прохождении теста студентами.