Методика конструирования тестов профессиональных достижений с использованием интернет-технологий, страница 2

Обоснованазначимость расширения авторского этапа при конструировании тестов, когда авторытестовых заданий становятся непосредственными рецензентами своих собственных и чужихзаданий и тем самым преодолевается эффект отчуждения педагогического коллективаобразовательного учреждения от содержательного смысла внедряемой тестовой технологии.Впервые произведено исследование взаимосвязи экспертных оценок сложности икачества тестовых заданий с аналогичными показателями, полученными в результатестатистического анализа пунктов теста после апробации тестовой методики на реальныхиспытуемых. Обычная процедура экспертизы тестовых заданий не предполагает решениеэкспертом этих заданий в позиции учащегося. В нашем случае эксперты былипринципиально поставлены в позицию учащегося, должны были решать тестовые задания илишь после этого оценивать их качество.Произведено поисковое психодиагностическое исследование взаимосвязи междукогнитивной сложностью (консистентностью и дифференцированностью специальныхзнаний учащихся) и академической успеваемостью по соответствующим учебнымдисциплинам.

Ранее подобного рода исследования производились только в других странах ив ходе применения громоздких психометрических (фактически исследовательских, а непрактических диагностических) процедур полной попарной оценки различий.В данной работе впервые созданы и внедрены процедуры тестового контроля знанийстудентов-психологов с использованием Интернет-технологии «виртуальной лаборатории»,7или «Личного кабинета экзаменатора-преподавателя».Теоретическая значимость работы состоит в изучении зависимости экспертныхоценок качества тестовых заданий от уровня осведомленности экспертов в изучаемойобласти, а также в изучении взаимосвязи между когнитивной сложностью и академическойуспеваемостью.Практическая значимость работыРазработанная нами методическая схема и инструментальная система может бытьиспользована не только педагогами (работниками сферы образования), но и специалистамикадровых служб предприятий для разработки собственного методического инструментариядиагностикипрофессиональныхзнаний,отвечающегосовременнымнаучнымпредставлениям в области конструирования тестов и запросам практики.

Прикладнаяценность исследования – в позитивном ответе на вопрос оразличных психодиагностических процедурвозможности примененияи методов, а также их сочетания страдиционными формами при оценке уровня профессиональных достижений.Апробация и внедрение результатов работыОсновные методологические выводы работы обсуждались на следующих крупныхнаучно-практических конференциях: «Юбилейная конференция, посвященная 120-летиюМосковского психологического общества» (ПИ РАО, январь 2005), «Прикладная психологиякакресурссоциально-экономическогоразвитияРоссии»(МГУ,ноябрь2005),«Психологическая теория и практика в изменяющейся России» (ЮурГУ, май 2006).

Порезультатам работы опубликованы 1 статья, 3 тезисных сообщения.Результаты исследования внедрены на факультете психологии МГУ им. М.В.Ломоносова для реализации предэкзаменационного тестирования старшекурсников передгосударственным экзаменом по общей психологии, в программу межкафедральногоспецсеминара«Конструированиетестов»,существенныетехнологическиеэлементывнедрены в практику работы компании ЗАО «Агентство «Гуманитарные технологии».Положения, выносимые на защиту:1) Оценка уровня успешности усвоения знаний учащимся оказывается болееобъективной (валидной) в том случае, если формируется как комплексная процедура,которая совмещает различные способы сбора данных, как в традиционной форме, так и вформе тестового диалога учащегося с компьютером.2) Разработка методик диагностики профессиональных знаний требует комплексного,структурированного подхода, содержащего определенный набор принципиально важныхэтапов, пропуск или отказ от которых может привести к созданию некачественного8диагностического инструментария, а также к социально-психологическим трудностям вовнедрении тестовой технологии контроля знаний.3) Доказана валидность сконструированных компьютерных тестов знаний – в видезначимых коэффициентов корреляции между данными тестов и суммарным балломуспеваемости студентов за всего годы обучения в вузе.4) Развитие компьютеризированных Интернет-технологий позволяет расширитьпрактику применения таких трудоемких в вычислительном отношении процедур приконструировании и применении тестов, как расчет согласованности экспертных оценок, атакжепостроениепространственно-семантическихмоделей(концептуальныхкарт)индивидуального знания учащегося.5) Одним из факторов, выступающих в качестве препятствий к внедрению тестовыхтехнологий, состоит в определенных социально-психологических барьерах в сознании иповедении самих преподавателей; в работе показано, что чем ниже уровень согласованностиответовэксперта-преподавателясэталоннымиответамидругихэкспертов(поопределенному тематическому блоку), тем ниже преподаватели оценивают качествотестовых заданий и тем критичнее они относятся к тесту в целом.6) Операциональные трудности в работе по внедрению компьютерных тестов вучебный процесс сокращаются в результате применения передовых в психологоэргономическомотношениитехнологийпоорганизацииинтерфейсапользователя:использование веб-интерфейса (модели диалога, характерного для Интернет-сайта)существенно сокращает расходы времени пользователей на освоение компьютерной системыконструирования и проведения тестов знаний.Структура и объем диссертацииДанная работа состоит из введения, трех глав, выводов, заключения, спискалитературы и двадцати одного приложения.

Объем основного текста составил 169 страниц.Содержание текста подробно иллюстрировано 18 рисунками и 17 таблицами. Библиографиянасчитывает 195 источников, из которых 82 на иностранном языке.ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИВо Введении обосновывается актуальность работы, определяется методологическаяоснова, указываются объект и предмет исследования, формулируются цель, задачи игипотезы исследования. Раскрывается научная новизна работы, ее теоретическая ипрактическая значимость, формулируются положения, выносимые на защиту.Первая глава – «Метод тестов в образовании: историко-методологический анализ» посвященаисторическомуиметодологическомуанализусовременногосостояния9тестологической науки и практики в России и за рубежом, выяснению места тестов в системеобразования и в практике работы организации, их особенностям, преимуществам иограничениям применения.Первый параграф посвящен рассмотрению истории развития тестовой технологииконтроля знаний, которая поможет осознать причины современного состояния научнойтестологии и ее практической реализации в нашей стране и за рубежом.Настоящий этап социально-экономического развития характеризуется значительнымростом числа компаний, ориентированных на долгосрочное сотрудничество с персоналом и,как следствие, вкладывающих существенные средства в профессиональное развитие иобучение сотрудников.

Одним из важнейших направлений становятся проблемы оценкиуровняпрофессиональнойкомпетентности,уровняподготовленностикрешениюпрофессионально специфичных задач, эффективности профессионального обучения, а такжевыявление пробелов в знаниях у начинающих профессионалов и их своевременноедоучивание при помощи различных методов и приемов (Смирнов, 2005). Одной из частных,но в то же время ключевых и фундаментальных задач, является внедрение комплексныхтехнологий, целью которых является повышение качества подготовки специалиста еще наэтапе обучения в профессиональных учебных заведениях.C начала 90-х годов в российской системе высшего профессионального образованиянаблюдаетсяярковыраженноеусилениеинтересакметодамобъективного(инструментального) контроля результатов обучения, в частности к педагогическим тестам.Эти перемены являются отражением современных мировых взглядов на роль контрольнооценочной системы в образовании, когда контроль, оценка и обучение рассматриваются каквзаимосвязанные и взаимопроникающие составляющие единого образовательного процесса(Звонников, Челышкова, 2003).Таким образом, по содержанию решаемых научно-теоретических и научноприкладных задач данное исследование оказывается на стыках следующих психологическихдисциплин: а) общая психология и психодиагностика (разрабатывались тесты знаний именнопо этим дисциплинам), б) инженерная психология и психология труда (рассматривалисьвопросыоптимизацииинформационныхпотоковиорганизациимобильныхавтоматизированных рабочих мест (АРМ) авторов-экспертов тестовых заданий, проблемыдиагностики уровня профессиональных достижений, являющейся одним из этапов оценкиквалификации профессионала, вопросы применения различных психодиагностическихпроцедур и методов при оценке уровня профессиональных достижений, организационнопсихологические аспекты внедрения тестовой системы контроля в учебно-информационную10среду вуза); в) педагогическая психология (рассматривались вопросы педагогическихизмерений и оптимизации системы контроля образовательных достижений), г) социальнойпсихологии (рассматривались проблемы мотивации, а также социально-психологическиебарьеры, мешающие участию студентов и преподавателей в освоении новой технологии).Научная разработка диагностических методик началась в XIX веке с развитиемэкспериментальных подходов.