Автореферат (1146968), страница 3
Текст из файла (страница 3)
Д. Наследов).Наряду с исследованием распределения характеристик измеренногопризнака необходимо исследовать внутреннюю согласованность характеристик, которые описывают один и тот же признак, что удобно сделать при помощи вычисления коэффициента альфа Кронбаха. Альфа Кронбаха сравнивает разброс каждого элемента с общим разбросом всей шкалы.После оценки характеристик теста в целом необходимо исследоватькаждое тестовое задание, в частности дискриминативность заданий теста, вычислив коэффициенты дискриминации и точечно-биссериальной корреляции,показывающие, насколько более высокие результаты получили сильные студенты по сравнению со слабыми (F.
Crocker; М. Б. Челышкова).14В соответствии со значением коэффициента дискриминации можно провести нормирование тестовых заданий в банке тестовых заданий. Качество тестовых заданий определяет надежность теста, то есть высокую воспроизводимость результатов тестирования в равных условиях. Чем выше надежность,тем выше воспроизводимость результатов.В классической теории тестов важнейшей проблемой является определение истинного тестового балла испытуемого. Единообразие оценок выполнения достигается определением статистических норм теста, которые устанавливаются эмпирически по итогам выполнения теста репрезентативной группой испытуемых.
Индивидуальные баллы, преобразованные в те или иныепроизводные показатели, соотносятся с нормами. Это позволяет оценить положение испытуемого относительно нормативной выборки и определить достигнутый уровень обученности.Несмотря на хорошо разработанный математический аппарат, классическая теория статистического анализа имеет ряд принципиальных недостатков.Так, тестовые баллы испытуемых зависят от трудности заданий в тесте,а трудность задания зависит от выборки испытуемых.
Также к недостаткамклассической теории статистического анализа можно отнести нелинейность тестовых баллов испытуемых, что делает невозможным анализ качественныхданных с помощью количественных методов (В. С. Ким).На эффективность тестовых оценок влияют методы сравнения и интерпретации первичных баллов тестируемых. Результаты тестируемого могут выглядеть по-разному при сравнении с более слабой или более сильной группой.Классическая теория статистического анализа тестов позволяет оценитьтест в целом, его надежность и валидность, оценить каждое задание теста (поуровню сложности и дискриминативной способности), оценить выборку испытуемых (по успешности выполнения задания).
Однако она не учитывает соотношения уровня сложности задания и уровня способности испытуемого.Эти и другие параметры рассматриваются в современной теории педагогических измерений IRT.15IRT нацелена на то, чтобы оценить латентные качества тестируемого ипараметры заданий теста на основе математико-статистических моделейизмерения, и основана на теории латентно-структурного анализа (Latent TraitAnalysis — LTA), созданной П. Лазарсфельдом и его последователями(P.
Lazarsfeld, N. Henry).Предполагается, что и тестируемых, и задания можно расположить наодной оси «уровень обученности студента — трудность тестового задания».Каждому испытуемому ставится в соответствие только одно значение латентного параметра («уровня обученности»). Связь между наблюдаемыми результатами тестирования и латентными характеристиками испытуемого и заданийтеста выражается в виде:P (xij=1) = f(θi-βj),где θi — латентный параметр (уровень обученности) i-го студента,βj — параметрические трудности j-го задания.Г.
Раш полагал, что только в таком случае вероятность правильного ответа испытуемого будет зависеть исключительно от значения θ и от меры трудности задания. И не будет зависеть от других свойств заданий и от прочих факторов.В рамках IRT принимается, что первичные баллы выступают в роли индикатора, а не меры подготовленности тестируемого. Г. Раш ввел общую логарифмическую меру измерения уровня подготовленности и уровня трудностизадания, названную им, соответственно, логитом уровня подготовленности испытуемых и логитом трудности заданий.Также в разделе 1.3 рассмотрены логистические функции, среди которыхразличают: однопараметрическую модель Г. Раша; двухпараметрическую модель А. Бирнбаума; трехпараметрическую модель А.
Бирнбаума. Здесь жеобоснован выбор логистической функции для статистической обработки результатов итогового тестирования. Доказано, что однопараметрическая модельРаша соответствует требованиям, предъявляемым к качественному измерительному инструментарию.16Показано, что более гибкий подход основан на взаимодействии этих теорий, то есть целесообразно проводить разработку теста в два этапа.
На первомэтапе эмпирические данные лучше обрабатывать с помощью более простого математико-статистического аппарата классической теории тестов. На второмэтапе, анализируя качество заданий для объективной оценки их параметров, целесообразно привлекать аппарат IRT. Действуя подобным образом, можнообеспечить профессиональный подход к разработке тестов и создать фонд тестовых заданий с устойчивыми значениями параметра трудности (что и былопроведено в диссертационном исследовании).
Все задания педагогического теста должны иметь варианты замены.Вторая глава «Экспериментальное исследование методов оценивания и контроля англоязычной коммуникативной компетенции студентов-психологов» посвящена проверке адекватности различных методов контроля уровня сформированности ПОКК. В разделе 2.1 «Организация контрольно-измерительных мероприятий в процессе обучения английскому языкустудентов-психологов» приводятся результаты анализа уровня владения иностранным языком студентов, зачисленных на 1-й курс факультета психологииСПбГУ по основным образовательным программам бакалавриата и специалитета за период 2010–2014 гг. (см. рис.
1).В2-В2+0-A1В1-В2A1-A2Рис. 1. Распределение по уровням владения английским языкомстудентов, зачисленных на 1-й курс факультета психологии СПбГУ17В соответствии с уровнем владения английским языком студенты распределяются по четырем образовательным маршрутам (траекториям) с различной трудоемкостью и объемом учебной работы, при этом каждая траектория имеет модульную структуру.
После проведения межпредметной корреляции были разработаны тематические модули, установлена последовательностьих предъявления и количество академических часов, отводимых на каждыймодуль. Определены объекты контроля в рамках каждого модуля для проведения контроля и оценивания по завершению обучения на каждом модуле.Контент-анализ субтестов в рамках сертификационных экзаменов Testof English as a Foreign Language (TOEFL), International English Language TestingSystem (IELTS), First Certificate in English (FCE) показал, что ни один из этихтестов не отвечает полностью требованиям, предъявляемым к контрольно-измерительным мероприятиям, ни для промежуточного, ни для итогового контроля уровня сформированности ПОКК студентов-психологов — в первуюочередь из-за отсутствия специализированной лексики и несоответствия объектов контроля целям обучения.Для составления релевантных КИМ нами был создан банк тестовых заданий с устойчивым параметром трудности, а также разработан способ контроля сформированности языковых и социолингвистических компетенций.Банк из 90 тестовых заданий состоит из 4 разделов: «Чтение», «Практическое использование языкового материала», «Письмо» и «Говорение».
Материалом для его составления послужили: 1) тестовые задания, созданные намина основе аутентичных текстов из учебных пособий по психологии на английском языке (H. Gleitman; R. Baron; F. Bruno; Psychology Today); 2) отобранныев результате контент-анализа сертификационных экзаменов TOEFL, IELTS;3) задания, заимствованные из методической литературы и интернет-ресурсов.Задания представлены следующими технологическими приемами:• множественный выбор (Multiple choice),• установление соответствия (Matching technique),• альтернативный выбор,18• восстановление недостающих элементов (Gap filling),• словообразование (Derivation),• трансформация,• задания со свободно конструируемым ответом.Вошедшие в банк тестовые задания были апробированы на практикеи опубликованы в составе пособий (см.
список публикаций).В разделе 2.2 «Разработка тестовых материалов» представлена структура экзамена и определены объекты тестирования. Описана процедура составления теста для предварительного тестирования, проведения тестирования и анализ результатов предварительного тестирования. Приведена спецификация письменной части теста для предварительного тестирования субтестов «Чтение», «Использование грамматического материала», где указанытип задания, объем задания в печатных знаках, количество тестовых вопросови время выполнения в минутах, и субтеста «Письмо» с указанием типа задания, количества слов, времени выполнения.В процессе валидизации, сопоставления результатов теста с оценками,выставленными ведущими педагогами, выявлено наличие прямой корреляциимежду результатами теста и итоговыми оценками за курс обучения.В результате анализа субтеста «Аудирование» в различных сертифицирующих экзаменах на уровне В1 (PET и экзамен Центра лингводидактического тестирования СПбГУ), В2 (FCE и экзамен Центра лингводидактическоготестирования СПбГУ), а также теста IELTS выявлены трудности психологического, психолингвистического и лингвистического характера, возникающиев процессе выполнения тестовых заданий на контроль аудитивных навыков иумений студентов.Установлено, что в процессе аудирования, организованного по схеме,состоящей из следующих звеньев: стимул — восприятие — ассоциация —ответ, ассоциация является наиболее сложным моментом в этой цепочке,19который соответствует сразу нескольким уровням таксономии Блума(Н.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
