45968 (665274), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

4. формирование полного компьютерного теста;

5. тестовый эксперимент;

6. выбор эффективного теста;

7. анализ, корректировка и доводка теста до вида эксплуатации.

На рис.1.1 приводится схема создания теста. Множество тестовых заданий

(тестовоепространство), согласно принципу исчерпывающего тестирования, вообще

говоря, может быть бесконечным. Однако очевидно, что существует конечное

подмножество тестовыхзаданий, использование которых позволяет с большой

вероятной точностью оценить соответствие личностной модели знаний экспертным

моделям знаний (полный тест).Важнейшим элементом в подготовке тестов выступает

класс

эквивалентности тестовых заданий.

Для создания тестов по предметной области существуют и разрабатываются

специальные инструментальныепрограммы-оболочки, позволяющие

вырабатывать компьютерные тесты путём формирования базы данных из набора

тестовых заданий.

В большинстве случаев тестовые оболочки (ТО) построены на принципах

однозначногораспознавания ответов тестируемого: выбор, шаблонный ответ,

конструирование ответа.

Другим важным свойством ТО должно быть наличие возможности передачи результатов

и протоколатестирования какому-либо статистическому пакету для дальнейшей

обработки, что в некоторых существующих ТО представлено неполно.[5]

1.3. Критерии качества тестов

Научно обоснованный тест – это метод, соответствующий установ­лен­ным стандартам

надежности ивалидности.

Традиционно выделяются два основных критерия качества тестов. Пер­вый из них

связан спонятием точности измерений и известен, главным, обра­зом, в виде

понятия надежности теста.

Качество педагогического контроля в вузе зависит не только от надеж­ности

используемых методов, но и от их валидности. Валидность теста — его

пригодностьдля достижения поставленной цели: пригодность по содержанию,

пригодность к применению в конкретных обстоятельствах, пригодность по

какому-либо критериюили, что то же самое, характеристика его способности изучать

то, что он должен изучать по замыслу авторов.[1]

1.3.1. Надежность тестов.

Существует несколько практи­ческих способов определения надежности теста.

Самыйбезупречный со статистиче­ской точки зрения метод определения надежности –

это корре­лирование двух параллельных тестов, созданных для измерения одного и

тогоже свойства.

Суть корреляции состоит в том, что из полученной каждым сту­дентом суммы баллов

вычитаетсяровно то число, которое может быть угадано в со­ответствии с теорией

вероятностей. Корреляция осуществляется с помощью соотношения:

,

где - скорректированный на догадку тестовый балл испытуемого;

- число правильных ответов, полученных испытуемым в тесте;

- число неправильных ответов;

- число готовыхответов в заданиях теста.

Эта формула применяется к заданиям с одинаковым числом готовых ответов.

Интуитивно наиболее понятный и простой способ определения на­деж­ности теста –

это двукратное, по меньшей мере, использованиеодного и того же теста в той же

самой группе студентов. Результаты обоих опро­сов анализируются с целью поиска

корреляции между ними. Данный метод имеет своидостоинства и недостатки.

Достоинства заключаются в сравнительной простоте его использования, ясности

основных посылок, лежащих в определении надежности,простоте расчетов. К

недос­таткам можно отнести неопределенность в выборе вре­менного интервала

ме­жду первым и вторым опросами. Этот интервал мо­жет колебаться отне­скольких

минут до нескольких дней, месяцев и даже лет.

Надежность тестов достаточно просто оценить в гомогенных тестах. Однако, оценка

надежности за­метно осложняется в гетерогенных тестах.Осложнение вызвано главным

образом некоррелируемостью (или слабой коррелируемостью) гомогенных тестов между

собой. Соответственно ответыстудентов на задания одного гомогенного теста, как

правило, редко коррелируют с ответами на задания другого. Отсутствие же

корреляции ме­шает всякой надежде намало-мальски заметную надежность теста в

целом.

Все методы оценки надежности теста основаны на разных теоретических положе­ниях,

но все они призваныответить на один и тот же вопрос – насколько точны

проведенные измерения? Само понятие "точность" в каждом случае оценки

приобретает несколько отли­чающийсясмысл.

Имеются, по меньшей мере, два источника погрешностей, мешающие говорить об

абсолютной надежности теста. Первый источниксвязан с выбор­кой испытуемых. Вряд

ли можно найти две такие выборки, в которых тесто­вый опрос был бы одинаково

надежным. Скорее всего, значения варьировалибы от выборки к выборке в некоторых

пределах в соответствии с законом нормального распределения. Уже одно это

призывает к осторожности в ин­терпретациикоэффициента надежности. Вместо

выражения «надежность теста» мы вынуждены использовать другое, более точное –

"полученная в данной выборке оценканадежности теста".

Второй источник погрешностей – в формулировании и отборе заданий. Если мы

примем небезосновательноепредположение о детерминации (в ста­тистическом смысле)

или, иначе, о зависимости конкретных результатов из­меренияот истинных,

присущих данным испытуемым в идеальных усло­виях, то коэффициент надежности

удобно интерпретировать как коэффициент детерминации.[1]

1.3.2. Валидность тестов.

в отличие от надежности, определение которой сводится к выбору одной из

множестварасчетных схем, обоснование валидности теста пред­ставляет собой задачу

методологического характера. Как и обоснование лю­бой деятельности,

процессвалидизации начинается с уточнения цели и кон­кретных задач

педагогического контроля. Если ставится цель проверить зна­ния студентов по

какой-либодисциплине и при этом не важно, каким мето­дом это надо будет сделать,

то легко понять, что эта цель может быть дос­тигнута посредством использования

зачетов,экзаменов, курсовых и диплом­ных работ. Эти и другие методы неравноценны

с точки зрения объективности и качества оценки, и потому вопрос о

валидностилегко переводится в праг­матическую плоскость оценки сравнительной

пригодности того или иного метода длядостижения поставленной цели.

Тест может быть валидным, если помимо прочих требований средние результаты

соответствуютбольшей части студентов, а сами данные рас­пределяются по

нормальному закону. Если это условие не выполняется, то тест считается

невалидным с точки зрениясоответствия стандартам распреде­ления. Именно отсюда

возникает стремление разработчиков тестов добиваться нормальности распределения

за счет варьированиячисла легких и трудных заданий.

Если в тесте нет достаточного числа легких и трудных заданий, то воз­никает

вопрос о его сбалансированности по трудности, тоесть обычно в тесте должно быть

больше заданий средней трудности и несколько меньше от­кровенно легких или

трудных заданий. В процессе создания теста мератруд­ности регулярно проверяется

на случайной выборке из того контингента, для которого тест предназначается. В

сбалансированном тесте легко добиваютсянормальности распределения. Дальнейшее

совершенствование идет по пути замены ряда заданий, ответы на которые нарушают

нормальность распреде­ления. Трудностьзаданий влияет на надежность и валидность.

Если тест очень трудный, то студенты чаще вынуждены догадываться – какой ответ

правиль­ный. Но чем чаще ониприбегают к догадке, тем больше распределение

ре­зультатов теста приближается к случайному распределению. Поэтому при­годность

теста для оценки всей массыстудентов будет тем ниже, чем труднее тест. Такое же

влияние на надежность, – но по другой причине – оказывает легкий тест, в котором

студенты, наоборот,догадываются редко, их ответы устойчивы, но почти нет

различий между испытуемыми.

Валидность теста существенно зависит от его разли­чающей способности. Если

десять человекв группе получают «отлично», та­кая оценка не позволяет различать,

кто из этих десяти лучше, а кто несколько хуже знает предмет. Различающая

способность темвыше, чем меньше одина­ковых оценок студенты по нему получают.

Следовательно, тем больше ва­риация результатов и более чувствительна шкала к

индивидуальнымразли­чиям. Поэтому повышению различающей способности теста (РСТ)

в стадии его создания уделяется большое внимание. При этом применяются несколько

методов:

1.Регулирование по времени тестирования; чем больше стандартное от­клонение, тем

больше различающая способность теста.

2. Оптимальный подбор заданий. В принципе РСТ, а вместе с ней и на­дежность

теста, возрастают с увеличением доли заданийсредней трудности в тесте. Однако в

тесте обязательно должна быть некотораячасть легких и трудных вопросов, точное

количество которых зависит от конкретныхоб­стоятельств.

3. Точность измерений. Если, например, время реакции измерять у ис­пытуемых с

точностью до одной десятой, сотой, тысячной итак далее се­кунды, то получим

различную различающую способность теста.

Валидность теста связана, помимо прочего, с понятиями «гомогенный и

гетерогенный тест». Если тест создан с целью проверкизнаний по одной учебной

дисциплине и все вопросы теста связаны именно с ней, то такой тест считается

гомогенным, а значит и валидным для этой частной цели.Поэтому в более чистом

виде гомогенный тест представляет собой тест для изучения знаний какому-то

частному разделу программы.

Для комплексной оценки знаний студентов может быть составлен тест, состоящий

извопросов по нескольким дисциплинам. Это – пример гетеро­генного теста, который

состоит из группы гомогенных тестов. Соответст­венно такой тест являетсявалидным

именно для комплексной оценки.

Валидность теста зависит и от так называемой длины теста. Под длиной теста

понимаетсяколичество заданий, входящих в тест. Существуют тесты очень короткие,

состоящие из 7 – 15 заданий, и очень длинные, состоящие из более чем пятисот

заданий.

Если тест очень длинный, то ухудшается мотивация и внимание у ис­пытуемых, а

это снижает надежность и валидность. Практика показывает, что еслитестирование

занимает более полутора часов, то при этом возникают ор­ганизационные проблемы,

испытуемые с неохотой соглашаются отвечать на вопросы теста. С другойстороны, с

точки зрения теории, чем длиннее тест, тем он надежнее. Возникающее противоречие

между теорией и практикой решается компромиссом в ту или инуюсторону, в

зависимости от конкрет­ного случая.

Валидность теста зависит еще и от расположения заданий в тесте. Су­ществует

различнаяпрактика расположения заданий:

1. По степени возрастания трудности. Такое расположение характерно в основном

для гомогенных тестов. Для гетерогенныхтестов сохранение это­го принципа

выражается в так называемой «спиральной» форме расположения заданий.

2. В случайном порядке. Этот способ расположения заданий широко применяется в

психологических тестах и в процессекомпьютерного тестиро­вания.

3. В специальном порядке, в соответствии с какой-либо теорией, сооб­ражениями

переноса навыков, концентрации внимания идругих.

4. В порядке, сочетающем специальный и случайный подбор. Обычно это делается

в гетерогенныхтестах.

Существуют несколько подходов к валидизации тестов, различающихся в

зависимости от используемых критериев. В педагогическойпрактике наи­большее

распространение в последние годы получили такие тесты, валид­ность которых не

требуется доказывать эмпирически: в таких тестах крите­риемих пригодности

является само содержание теста, одобренное опытными преподавателями-экспертами.

При этом у преподавателя должна быть уве­ренность втом, что:

задания теста находятся в соответствии с программой;

задания теста охватывают не один какой-либо раздел, а всю про­грамму курса;

высока вероятность того, что студент, успешно ответивший на зада­ния теста,

знаетпредмет в соответствии с полученной оценкой.

Перечисленные три пункта объединяются общей идеей – содержит ли тест задания,

пригодные дляоценки знаний по конкретной дисциплине? Если в результате

статистической проверки выявляется, что ответы на вопросы теста вполне позволяют

обоснованносудить о знаниях студентов, то счита­ется, что тест содержит валидные

вопросы; он валиден по содержанию. Тре­бо­вание валидности по содержанию

предъявляется ккаждому вопросу теста, мерой валидности является коэффициент

корреляции ответов по заданию с критерием. При создании теста в качестве

критерия обычно берутсяоценки, выставляемые студентам группой

Характеристики

Список файлов реферата