Методика конструирования тестов профессиональных достижений с использованием интернет-технологий, страница 6

Другие показатели согласованности двухподходов подсчитаны на значимом уровне нами получены не были.Проведенный нами предварительный анализ внутренней валидности шкал тестапоказал достаточно высокую интеркорреляцию шкал теста между собой, что являетсяпризнаком не высокой дискриминантной валидности соответствующих субтестов. То естьдиагностируемая ими сфера знаний сужается из-за сильной взаимосвязи знаний по однойобласти со знаниями по другой, что, конечно, может быть использовано при проведениикомплексного тестирования по общей или прикладной психологии.Анализ пунктов теста показал наличие плохо «работающих» или неработающихвопросов на этапе первичной апробации, число которых составило более половины отобщего количества вопросов теста.

Так же было отмечено, что достаточно маленькийпроцент вопросов работает на свои шкалы: в большинстве случаев, даже если вопрос иработает на родную шкалу, то зачастую он работает еще и на какую-либо из других шкал.Нами были получены внешние показатели качества теста, которые показывают, что тестоваяформа контроля дает согласованные (валидные) результаты с традиционной формой22контроля, а значит, может быть использована для контроля, например, фактологическихзнаний на этапе экзаменационной аттестации. Ниже (рис. 1) приведены полученные в ходеисследования коэффициенты корреляции (уровень значимости 0,01) тестовой формыконтроля с другими показателями успеваемости.Интегральная успеваемость0,60 (0,70)0,55 (0,66)0,65 (0,75)ТестУстный экзаменТест + уст.

экзмен0,47 (0,58)Рис. 1. Связь тестовой формы контроля с другими показателями (в скобках указаныкоэффициенты корреляции без учета средней группы – балл от 26 до 32)Аналогичный анализ связи интегрального балла, в котором суммируются результатыстудента по тесту и на экзамене (тест + уст. экзамен на рис.1), с общей академическойуспеваемостью (баллом диплома) показал, что лучше всего коррелирует с «общейакадемической успешностью» именно интегральный балл. По данным 2005 года онпримерно на 0,1 выше, чем каждый из показателей (тестовый балл и оценка на гос. экзамене)в отдельности, что непосредственно указывает на преимущество комплексной оценки. В2005 году наша основная гипотеза была подтверждена на уровне значимости 0,05, однако,уже в 2007 году (результаты исследований этого года не вошли в основной текст даннойработы) нами были получены аналогичные показатели на большей выборке (170 человек),при этом гипотеза подтвердилась уже на уровне значимости 0,01.Нами была обнаружена связь между некоторыми структурными параметрамицелостной системы представлений, в частности, таким как «консистентность», иакадемической успеваемостью.

Эта связь оказалась прямолинейной, то есть с ростомтестового балла растет консистентность понятийной системы.В шестом параграфе работы рассматриваются различные примеры - такие, когда тотили иной вопрос, получая высокую оценку сложности у экспертов, оказывается легким порезультатам прохожденияучащимися тестирования. Или же такие задания, где оценки23получились максимально скоррелированными.Общие выводы:1.Комплексный подход к проблеме диагностики учебных достижений имеетстатистически значимо более высокий уровень точности (валидности) оценки по сравнениюс традиционной и тестовой формами контроля, применяемыми по отдельности. Тестовыеиспытания должны не заменять, но дополнять собой традиционные устные экзамены.2.Получаемые в результате тестирования данные позволяют: а) прогнозироватьуспешность сдачи студентами госэкзамена по общей психологии; б) обладают высокойконкурентной валидностью с традиционным госэкзаменом по отношению к такомуинтегральному критерию как «общий уровень подготовленности студентов на основе оценокза всю историю обучения в вузе».3.Быларазработана,компьютеризированаиапробированатехнологияконструирования тестов профессиональных достижений, основными особенностями которойявляются следующие ключевые этапы: а) авторский цикл, б) экспертный цикл в рамкахкоторого при помощи компьютерных технологии собираются первичные данные отрудности и качестве тестовых заданий еще до предъявления испытуемым, в) апробациятестовых заданий, скомпонованных определенным образом, на пилотной выборке(определения первичной статистической трудности заданий, оценка качества с позициитестируемого, определение объективных параметров собственно процесса тестирования); г)формирование основного банка тестовых заданий с учетом данных, полученных в результатепилотной апробации; д) проведение основного тестирования; е) анализ результатовпроведения основного тестирования.4.Работа с экспертными оценками дала нам возможность, по крайней мере,частично понять, на каком уровне и каким образом происходит взаимодействие эксперта стестовыми заданиями, какие факторы могут влиять на оценки эксперта.

Субъективнаяоценка качества заданий обратно-пропорциональна точности экспертных оценок.5.Применение именно Интернет-технологии тестирования создает не толькооперациональные удобства (скорость сбора данных и их последующей обработки, защитабанка заданий от разглашения путем рандомизации вариантов), но и изменяет в рядесущественных моментов социально-психологическую ситуацию..6.Нами было получено подтверждение перспективности предложенного намипути преодоления «разрыва» между традиционной и тестовой форм системы контроляакадемическойуспеваемостипосредствомвнедрениятехнологиисемантическогошкалирования (методов психосемантики) в сфере диагностику знаний, что дает нам24возможность дальнейшего продолжения работ в этом направлении – по расширениюрепертуара тестовых технологий, опирающихся слишком часто на одни лишь задания свынужденным выбором - не чувствительные к целостной организации индивидуальнойпонятийной системы.Основное содержание диссертации отражено в следующих публикациях:Статьи в рекомендованных ВАК изданиях1.Чумаков А.А.

Опыт компьютеризированного тестового контроля знаний устудентов-психологов /Чумаков А.А.// Вестник Московского университета. Серия 14.Психология. – М.: Изд-во Московского университета, 2006, № 4. – 0,5 п.л.Научные статьи и тезисы докладов2.Чумаков А.А. Разработка тестов контроля знаний для факультетов психологии/Чумаков А.А.// Материалы юбилейной конференции посвященной 120 летию МПО. – М.:Эслан, 2004. – 0,2 п.л.3.Чумаков А.А. Применение метода экспертных оценок при разработке тестаконтроля знаний у студентов-психологов/Чумаков А.А.// Материалы Всерос. научнойконференции «Психологическая теория и практика в изменяющейся России». – Челябинск:ЮрГУ, 2006. – 0,3 п.л.4.ЧумаковА.А.Опытиспользованиякомпьютеризированноготестаобразовательных достижений для оценки уровня подготовки выпускников психологическоговуза /Чумаков А.А., Шмелев А.Г.// Материалы Межрегиональной научно-практическойконференции «Прикладная психология как ресурс социально-экономического развитиясовременной России».

– М.: АНО УМО «Инсайт», 2005. – 0,2 п.л. (авторский вклад 50%).