Методика конструирования тестов профессиональных достижений с использованием интернет-технологий

На правах рукописиЧумаков Александр АлексеевичМЕТОДИКА КОНСТРУИРОВАНИЯ ТЕСТОВПРОФЕССИОНАЛЬНЫХ ДОСТИЖЕНИЙ СИСПОЛЬЗОВАНИЕМ ИНТЕРНЕТ-ТЕХНОЛОГИЙСпециальность 19.00.03 –Психология труда, инженерная психология и эргономика(психологические науки)Авторефератдиссертации на соискание ученой степеникандидата психологических наукМосква, 20072Работа выполнена на кафедре психологии труда и инженерной психологиифакультета психологии Московского государственного университета им.

М.В. Ломоносова.Научный руководитель:доктор психологических наук, профессорШмелев Александр ГеоргиевичОфициальные оппоненты:доктор психологических наук, профессорЗараковский Георгий Михайлович;кандидат психологических наук, доцентМоргунов Евгений Борисович.Ведущая организация:Институт психологии Российской АкадемиинаукЗащита состоится «13» апреля 2007 г.

в 15.00 на заседании диссертационного советаД 501.001.11 в МГУ им. М.В. Ломоносова по адресу: 125009, Москва, ул. Моховая, дом 11,корпус 5, аудитория 102.Автореферат размещен на сайте факультета психологии МГУ им. М.В. Ломоносоваwww.psy.msu.ru 13 марта 2007 г.СдиссертациейможноознакомитьсявМГУ им. М.В. Ломоносова.Автореферат разослан «12» марта 2007 г.Ученый секретарьдиссертационного совета,кандидат педагогических наук ________________ Володарская И.А.Научнойбиблиотеке3ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальностьисследования.Внастоящеевремяпроисходитмассоваякомпьютеризацая образовательных учреждений, а также «корпоративных университетов» систем профессиональной переподготовки кадров внутри современных корпораций.

Этотпроцесссоздаетматериально-техническиепредпосылкидляиспользованиястандартизированных процедур (тестов) как средства автоматизации системы контроля.Прикладное применение тестов профессиональных достижений затрагивает в настоящеевремя не только вузы, но и крупные производственные предприятия, вынужденные вусловиях научно-технической революции постоянно заниматься процессами переподготовкиперсонала и самим осуществлять контроля качества переподготовки.

Развитие непрерывногообразованиявыражаетсявпостояннойработепрофессионаланадсвоимипрофессиональными знаниями. Тесты профессиональных достижений в этих условияхявляются одним из основных инструментов для объективной обратной связи обэффективности результатов этого непрерывного образования.В последние годы в обширной психолого-педагогической литературе все чащеакцентируется внимание на трудностях и проблемах, связанных с оценкой знаний:недостаточная сформулированность целей образования и следовательно критериев оценки,субъективизм производящего оценивание, отсутствие четких критериев, по которымпроизводится оценка, и т.п.

Попыткам решения с разных позиций этих проблем посвященымногие работы психологов, педагогов, методистов (Аванесов, 1998; Гильбух, 1976;Зинченко, 1982; Клайн, 1994; Майоров, 2000; Талызина, 1975; Шмелев, 1999; Gronlund,1988). Однако сама по себе тестовая технология, даже разработанная по всем правиламматематической теории тестов, не снимает ряда психологических проблем. Возникаетпрактическая проблема такой организации информационно-коммуникативной средывпроцессе создания и применения тестов, которая бы снимала негативный эффектпсихологическогоотчужденияпреподавателей(наставниковнапроизводстве)отобразовательного процесса.Одним из актуальных направлений является проблема использования особых сетевыхинструментально-измерительных технологий для оценки образовательных достиженийучащихся, которая набирает новую высоту в связи с внедрением Интернета и другихинформационно-коммуникационных технологий.

Новые информационные технологииинициируют развитие новых подходов к технологиям обучения, включая дистанционноеобразование. Однако неверным было бы предполагать, что информатизация процессовконтроля усвоения знаний способна автоматически решить очерченные выше проблемы.4Чрезвычайно важным является вопрос разработки четкой и научно обоснованной психологопедагогической концепции создания и внедрения компьютеризированных тестовых методикконтроля знаний.В контексте развития указанной психолого-педагогической концепции особое местоприобретает вопрос создания такой системы компьютерного тестирования, которая бы неотчуждала преподавателей от процесса контроля, но позволяла им активно влиять наобразовательный процесс, способствовала эффективному усвоению учебного материаластудентами, и использовалась, с одной стороны, преподавателем для промежуточного иитогового контроля знаний и, с другой стороны, учащимся для самооценки уровня своейподготовленности в процессе самостоятельной работы.Цельисследования:построениеметодическойсхемыиапробированиетехнологической модели разработки педагогических компьютерных тестов контроля знанийсиспользованиемИнтернет-технологий,атакжеразработкаинструментариядлянезависимого и объективного тестового контроля знаний студентов-психологов.Объектом исследования явилась процедура оценки профессиональных знанийстудентов старших курсов психологических факультетов вузов.Предметом исследования явились теоретико-методологические принципы ипрактические процедуры разработки тестов профессиональных знаний с использованиемИнтернет-технологий.Основная гипотеза исследования: тестовая форма контроля дает согласованные(валидные) результаты с традиционной формой контроля, но не дублирует эту форму, тоесть, позволяет диагностировать особые свойства в структуре и качестве знаний.

На этойгипотезе базируется основная практическая рекомендация для разработчиков тестовыхсистем в вуза: тестовая и традиционная формы контроля должны дополнять друг друга.Реализация поставленной цели и проверка основной гипотезы осуществлялись впроцессе решения следующих задач исследования:- выявить этапы, необходимые для создания полноценной и качественной методикитестирования знаний;- выделить необходимые критерии, которым должен удовлетворять качественныйтест достижений;- выяснить концептуальные особенности различных принципов и подходов ксозданию тестового инструментария и проанализировать, каким же должен быть тестдостижений (на факультетах психологии и других центрах подготовки психологов) взависимости от его целевого назначения;5- выяснить, какие факторы (в том числе организационные и социальнопсихологические)препятствуютуспешномувнедрениютестовыхтехнологийвобразовательную среду современного российского вуза, подготавливающего психологов;- апробировать новую технологическую модель Интернет-ориентированного банкатестовых заданий, обеспечивающую опосредованность, независимость и оперативностьвзаимодействия экспертов с разработчиками тестовых заданий и между собой.Методологической базой исследования послужили:-принципы и подходы классической теории тестов (В.С.

Аванесов, А.Н. Майоров,А.Г. Шмелев, А. Анастази, П. Клайн, Н. Гронлунд);-принципы и подходы неклассической теории тестов – IRT (Дж. Раш, А.Бирнбаум);-психосемантический подход (А.Г. Шмелев, Е.Ю. Терехина, Е. Эйдман).Последний подход, как, возможно, никакие другие, предполагает активную рольпреподавателя как носителя знаний, ведь мерой успешности студента в данном случаеобъявляется сближение субъективного семантического пространства студента с эталоннымпространством, в качестве которого принимается субъективное пространство преподавателя.Методы исследования:1)теоретическийанализлитературныхисточниковпопсиходиагностике,тестологии, психологии труда и организационной психологии, а также по психологиипроектирования компьютерных систем;2)метод тестов с вынужденным выбором;3)метод согласования независимых экспертных оценок;4)методмногомерногошкалированияспоследующейреконструкциейсубъективного пространства (в данном случае использовался экспресс-модификация полнойпроцедуры многомерного шкалирования);5)методический аппарат современного статистического анализа данных, включаякорреляционный, факторный и кластерный анализ;6)метод инженерно-психологического проектирования сетевых компьютерныхмногопользовательских систем и баз данных;Достоверность и обоснованность результатов исследования обеспечиваетсядетальной теоретической проработкой проблемы конструирования тестовых методик оценкиуровня профессиональных достижений, а также изучение особенностей их внедрения ворганизационную среду вуза и использованием комплекса хорошо зарекомендовавших себяметодических средств.

Основой для реализации исследования послужила технология6разработки тестов профессиональных достижений, разрабатывавшаяся на протяжениинескольких десятилетий за рубежом и в отечественной научной среде и прошедшая вмодифицированном и переработанном виде полный цикл апробации при нашемнепосредственномучастии (Чумаков, 2006; Чумаков, Шмелев, 2005). Содержательнаяобоснованность полученных в диссертационном исследовании результатов подтверждаетсятем, что все диагностические обследования были проведены в реальных условияхпредэкзаменационного тестирования выпускников при непосредственном внедрениитехнологии разработки и применения тестовой системы контроля в учебно-информационнуюсреду вуза. Достоверность результатов обеспечивается репрезентативностью выборкииспытуемых-студентов (общее число протестированных – свыше 400 человек), а такженаличием значимо-согласованных экспертных оценок, полученных от 10 авторов-экспертов,которые соответствуют требованиям к использованию названных статистических процедур.Научная новизна работыВпервые был применен и проанализирован с позиции психологии метод независимыхэкспертных оценок для создания первичного банка тестовых заданий.