115455 (Метод тестирования в системе педагогических измерений), страница 3

Если затруднения ученика при выполнении заданий носят систе­матический характер, то педагог может прибегнуть к помощи диаг­ностических тестов. Основная цель диагностики — установление причин пробелов в знаниях учеников — достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная детализация позволяет выявить причины устойчивых ошибок учеников, конкретизировать характер возникающих затруднений и получить выводы о несформированности тех или иных учебных умений.

Подбор заданий в диагностический тест осуществляется в ин­дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны контроле при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб­ного материала. В этом случае коррекция проводится незамедлительно, поскольку после выявления очередного пробела и установления его причины компьютер сам подбирает обучающий модуль и сразу же выдает его ученику.

2.3.Итоговое тестирование.

Основная цель итогового тестирования — обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты).

Итоговые тесты обычно пподвергаются стандартизации, поскольку чаще всего они применяются для принятия административных управленческих решеений в образовании. Если проведение входного и текущего тестирования — функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аттестации школ и т. д. Внутри школы итоговые тесты можно использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекцион-ные классы и т.д.

2.4.Основные определения понятийного аппарата

Предтестовое задание. Определение предтестового задания является базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Предтестовое задание — это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки [4].

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правильным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме предтестовых заданий, можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относительно выбранной формы. Согласно общим требованиям задание должно иметь определенный порядковый номер, стандартную инструкции по выполнению, адекватную форме, эталон правильного ответа, стандартизованные правила по оценке результатов его выполнения и т.д.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок учащихся по тесту.

Тестовое задание. Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое задание превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результатам которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризующих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового задания проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов анализа — это всегда сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентировано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Итоговый критериально-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статистически обоснованным критериям выполнения [1].

3.Классификация предтестовых заданий и общие требования к ним.

Классификация предтестовых заданий. В соответствии с наиболее часто встречающейся в отечественной и зарубежной литературе классификацией предтестовых заданий выделяют:

1. задания с выбором, в которых учащиеся выбирают правильный ответ из данного набора ответов;

2. задания с конструируемым ответом, требующие при выполнении от ученика самостоятельного получения ответов;

3. задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

4. задания на установление правильной последовательности, в которых от учащегося требуется указать порядок элементов, действий или процессов, перечисленных педагогом [ 4].

Названные четыре формы тестовых заданий являются основными и наиболее распространенными. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов основных форм.

Общие требования к предтестовым заданиям и процедурам их применения. Вне зависимости от формы предтестовые задания должны удовлетворять следующим общим требованиям:

• каждое предтестовое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

• каждое предтестовое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

• в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

-для предтестовых заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

- для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке и подсчету сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

• ни одному ученику не дается никаких преимуществ перед другими;

• заранее разработанная система подсчета баллов применяется ко всем ответам учеников без исключения;

• в тест включены задания одной формы либо разных форм с оптимальными весовыми коэффициентами, значения которых получены статистическим путем;

• тестирование различных групп испытуемых проводится в одинаковое время, в сходных условиях;

• группа тестируемых выравнена по мотивации;

- все испытуемые выполняют одни и те же задания.

3.1. Предтестовые задания с выбором одного или нескольких правильных ответов

Основные элементы предтестовых заданий с выбором ответов.

В предтестовых заданиях с выбором (закрытых заданиях) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных (в том числе и в разной степени) ответов.

Неправильные, но правдоподобные ответы называются дистракторами [4]. Если в задании два ответа, один из которых является дистрактором, то вероятность случайного выбора пра­вильного ответа путем угадывания равна 50%. Число дистракторов подбирается таким образом, чтобы задание не было слишком громоздким. Вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

Задания с двумя и тремя ответами обычно используют для экспресс-диагностики, например, в автоматизированных контрольно-обучающих программах для входа в обучающий модуль при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Однако из-за высокой вероятности угадывания задания с двумя объектами не включают в итоговые тесты.

Преимущества предтестовых заданий с выбором ответов. Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов учеников, возможностью автоматизации процедур проверки ответов учащихся и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность; она годится практически для любого предмета.

Недостатки предтестовых заданий с выбором ответов. К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабоподготовленных учеников при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с помощью различных ме­тодов научились избегать подобных ситуаций. Для этого вводятся специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. При подсчете баллов слабых учеников, полученных по наиболее трудным заданиям теста, добавляются специальные весовые коэффициен­ты, близкие к нулю, или увеличивается число заданий теста. Иногда применяется специальная формула для коррекции индивидуальных баллов с поправкой на догадку.

Сложности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний учащимися в незнакомой ситуации, творческими аспектами подготовки, а также в случаях, когда требуется преобразование условий поставленной пе­ред учащимся задачи. В таких ситуациях задания с выбором готовых ответов использовать чаще всего невозможно. В условиях же массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов учеников и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых тестов.

Примеры предтестовых заданий с двумя и тремя ответами. В заданиях с двумя ответами проще всего подбирать дистракторы посредством отрицания того, что является верным. Не рекомендуется использовать вместо дистракторов слова «да», «нет», поскольку в противном случае будет довольно трудно сформулировать утверждения, на которые можно дать однозначный ответ.

Задания с тремя ответами обычно используют в экспресс-диагностике в тех случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда они появляются вследствие удаления «неработающих» дистракторов. В целом такие задания неудачны, поскольку они недостаточно кратки и в них высока вероятность угадывания правильного ответа. Например:

Задание 1

Импульс, поступающий по блуждающему нерву

1. учащает работу сердца

2. замедляет работу сердца

3. не влияет на деятельность сердца.

Предтестовые задания с четырьмя и пятью ответами. В большинстве тестов встречаются задания с четырьмя — пятью ответами, из которых один верный. При умелой разработке они могут быть достаточно краткими, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти). Например:

3адание 2

Кадеты считали главным методом решения основных проблем России

1. революционное восстание масс

2. политический террор

3. тактику давления на правительство через представительные органы, парламент

4. всеобщую политическую стачку.

Наиболее удачными можно считать задания, выполнение которых помимо традиционного длинного пути предполагает возможность довольно быстрого (3 — 4 с) ответа. Разумеется, быстрое решение по силам только учащемуся с четкой структурой знаний и твердыми навыками по проверяемому разделу. Слабо подготовленные ученики пойдут по традиционному пути и истратят на задание не 3 — 4 с, а положенные 1 — 2 мин.

Фасетные задания в тесте. Даже в условиях хорошо организованного процесса тестирования при наличии единственного варианта теста велика вероятность списывания, подсказок и других нежелательных моментов. Поэтому обычно разрабатывают 5 —8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста [4].

Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов, предлагаемых различным ученикам. В приведенном далее примере содержатся два задания, одно из которых предназначено для выбора архитектурных комплексов окрестностей Москвы, а другое — Санкт-Петербурга: