Методика конструирования тестов профессиональных достижений с использованием интернет-технологий, страница 4

Эти два подходавыделяют почти все зарубежные и отечественные исследователи в области разработки тестовдостижений (Аванесов, 1998; Анастази, Урбина, 2001; Bond, 1996; Stiggins, 1994; Wirstrom,2005).Следующим основанием для разделения тестов является цель применения. Здесьследует различать: тесты достижений; тесты усвоения знаний; тесты остаточных знаний; тестинтегративный – система заданий для общей диагностики подготовленности выпускникаобразовательного учреждения.Компьютерные сетевые технологии тестирования позволили преодолеть многиенедостатки бланковых технологий.

Основными преимуществами компьютеризированноготестирования с использованием Интернета мы считаем следующие: быстрое сравнение14результатов измерения для большого количества испытуемых на больших территориях.Использование технологии адаптивного тестирования. Создание и применение банковтестовыхзаданий.Применениеновыхспособовпредъявлениятестовыхзаданий,повышающих информационную безопасность: оперативная рандомизация вариантов наоснове банка заданий – оперативное («на лету») формирование последовательности вопросовдля одного испытуемого(предъявление тестовых заданий в случайном порядке),рандомизация ответов (изменение позиции варианта ответа в различных вариантах).Оптимизированное управление продолжительностью тестовых измерений как для всехпроцедуры тестирования целиком, так и для отдельных частей теста (тематических блоков) иотдельных заданий.Привлекательность сети Интернет для психологов по сравнению с традиционнымиспособами проведения исследований уже не раз отмечалась в литературе (Жичкина, 2000;Шмелев, 2002; Шмелев, Бельцер, 1997; Birnbaum, 2000; Roberts, Smith, Pollock, 1997).Признаки повышения эффективности в этих работах в значительной степени перекликаютсяс тем списком, который мы уже называли выше.В шестом параграфе рассматриваются возможные модели сочетания тестовых итрадиционных технологий контроля.Анализ литературы (например, Симонов, 2004; Симонов, Черненко, 2002; Беспалько,Татур, 1989) и практического опыта сочетания тестовых и традиционных форм даетследующую комбинаторику вариантов: Модель 1.

Тест-экзамен. Промежуточные формыотчетности (контрольные, коллоквиумы, рефераты) учитываются по принципу "зачетнезачет". Итоговая оценка формируется на экзамене в тестовой форме. Модель 2.Тестирование-фильтр. В промежуточных формах контроля ключевую роль играет тест. Егорезультаты засчитываются попринципу "Зачет-допуск". Норезультаты теста неучитываются на итоговом экзамене. Модель 3.

Система накопленных баллов: тесты даютопределенные баллы плюс проводится классический экзамен (устный или письменный).Модель 4. Система накопленных баллов: практические работы плюс тестовый экзамен.Модель 5. «Трехкатегориальный фильтр». Это особая модификация модели-2. Тестпроводится как форма предэкзаменационного контроля. По результатам теста все студентыделятся на три категории, разные по численности.Вторая глава - «Современные тестовые технологии» - посвящена анализу опыта ипостроениюиобоснованиюавторскоймоделиконструированиятестовконтроляпрофессиональных достижений.В первом параграфе кратко освещаются (подробное рассмотрение и анализ15происходит в следующих параграфах данной главы диссертации) этапы конструированиятестовой методики контроля знаний.На основании анализа литературных источников и собственного многолетнего опытаразработки и проведения оценочных тестовых процедур, нами был предложен следующийсписок этапов разработки тестов достижений: 1) определение целей тестирования с учетоморганизационного контекста (в разных образовательных учреждениях разные ситуации,традиции, возможности учащихся и преподавателей по созданию новых или использованиюготовых тестов); 2) определение ресурсных возможностей разработчиков; 3) выборорганизационно-технологического решения; 4) отбор содержания учебного материала; 5)конструирование технологической матрицы (форма представления отбора содержанияобразования для конструирования тестов достижений) и-или спецификации варианта теста,экспертиза матрицы и спецификации; 6) составление тестовых заданий или банка заданий(это отдельный этап и по времени и организационно); 7) экспертиза.

Возможная доработказаданий, не прошедших экспертизу; 8) формирования выборки для апробации заданий итестов; 9) компоновка заданий для апробации; 10) апробация тестовых заданий и вариантов;11) определение и расчет показателей качества тестовых заданий; 12) отбраковка неудачныхзаданий и составление теста (рабочего банка заданий); 13) возможная доработка (коррекция)отбракованных заданий; 14) апробация вариантов теста; 15) определение и расчетпоказателей качества теста; 16) составление окончательного варианта теста (банка иалгоритма формирования вариантов на его основе); 17) стандартизация теста (комплекспроцедур и мероприятий, позволяющий создать для всех испытуемых равные условия).

19)нормирование теста (процесс получения количественных или качественных характеристикинструментария, на основе сравнения с которыми можно дать оценочное суждение); 20)оснащение теста (издание в буклетной или электронной форме со всеми сопутствующимиинструктивными материалами).В втором и третьем параграфах рассматриваются основные составляющие этапаопределения целей тестирования, а также состав и типы тестовых заданий, необходимых дляреализации целей диагностики профессиональных знаний.В самом общем виде тестовые задания должны (Майоров, 1996; Клайн, 1994; Cheung,Bucat, 2002; Burton at al., 1991; Frary, 1996; Kahoe, 1995): быть составлены с учетомсоответствующих правил; соответствовать содержанию учебного материала; быть проверенына практике (апробированы); иметь рассчитанные показатели качества — трудность идискриминативность (способность задания разделять испытуемых в соответствии суспешностью их деятельности); быть достаточно краткими, ясными испытуемому.16Нами были разработаны более подробные рекомендации авторам тестовых заданий,ознакомиться с которыми можно в приложении 21 основного текста диссертации.Также в данном параграфе нами были подробно рассмотрены типы тестовых заданий,которые так же наиболее часто выделяют в литературе (Аванесов, 1998; Кэйс, Свенсон, 1996;Майоров, 2000; Морев, 2004).В четвертом параграфе обсуждается возможность применения психосемантическихтехнологий в диагностике знаний.В нашем исследовании мы решили попробовать сократить разрыв междутрадиционной формой контроля и тестовой.

В сферу оценки учебных достижений нами былпривнесен психосемантический метод многомерного шкалирования данных (Терехина, 1983,1986) и метод концептуального картирования (Шмелев, 1994, 2002; Aidman, Ward, 2002;Hammond, Allinson, 1987).Научные традиции факультета психологии МГУ связывают психосемантикупреимущественносакадемическимииприкладнымиисследованиямивобластиэкспериментального изучения Образа мира в его различных аспектах (Артемьева, 1980;Петренко, 1983, 1988; Шмелев, 1983; Климов, 1995). Психосемантический подход в меньшейстепени развивался в направлении прикладной образовательной диагностики. В даннойработе обозначена одна из первых попыток применения этого подхода к оценке знанийстудентов.По нашему мнению, для человека, хорошо усвоившего материал, эта системапонятий имеет более четкую структуру.

Другими словами, система понятий может бытьпредставлена структурой, опирающейся на четкие факторы.В пятом, шестом, седьмом, восьмом, девятом, десятом, одиннадцатом идвенадцатом параграфах содержательно рассматриваются особенности каждого их этаповразработки тестовых методик. Обсуждаются основные аспекты процедуры экспертнойоценки тестовых заданий, рассматривается основное содержание и задачи этапа апробациитестовых заданий, основные параметры качества тестовых заданий и теста в целом, а такжеметоды их получения и анализа (в частности, трудности тестовых заданий – в классическойтестологии и тестологии на базе IRT), вычисление дискриминативности тестовых заданий,измерение общих психометрических свойств теста в целом. Обсуждается авторский опытприменения, возможностей и преимуществ Интернет- и компьютерных технологий на всехэтапах разработки тестового инструментария.

Также подробно рассматриваются вопросыстандартизации процесса тестирования и вопросы, связанные с процедурой нормирования(получение количественных или качественных характеристик инструментария, на основе17сравнения с которыми можно дать оценочное суждение).Как уже говорилось во введении, в условиях интенсивного развития новыхинформационных технологий (в частности,Интернет-технологий)в фокусе вниманиеспециалиста, занятого решением прикладной проблемы, должны оказываться не толькопсихометрические (тестологические) аспекты, но и психолого-эргономические аспектыпроблемы.

Информационная среда взаимодействия различных участников процессаконструирования и использования тестов в идеале должна быть организована так, чтобысодействовать их интеграции, но не дезинтеграции. По нашему мнению, это происходиттогда, когда педагоги чувствуют свою востребованность, свою включенность в процессысоздания и применения тестовых технологий – в качестве авторов тестовых заданий, вкачестве авторов логико-математических семантических моделей представления знаний, вкачестве экспертов тестовых заданий, в качестве экспертов по подготовке окончательногокомплексного заключения по оценке знаний студентов.Втринадцатомпараграферассматриваютсяосновныекритерииоценкипользовательского интерфейса программных средств экспертизы измерительных материалови проведения тестирования, а также предложим варианты технологических решений.Выделяются характеристики, которыми обладает графический интерфейс пользователя, атакже этапы его проектирования.В четырнадцатом параграфе формулируются основные выводы из теоретикометодологической части.Третья глава – «Опыт конструирования компьютеризированного теста контролязнаний для студентов-психологов» - посвящена анализу результатов разработки и внедрениятестовой технологии, внедренной на факультете психологии МГУ им.