Диссертация (1146969), страница 13
Текст из файла (страница 13)
В частности, благодаря единой шкале можно ввестивзаимосвязь между переменными в виде разности θ и β, корректно сравнитьрезультаты учеников, полученные с помощью различных тестов, подобратьоптимальные значения β, позволяющие измерить искомое θ с минимальнойошибкой измерения. В целом эти важные преимущества позволяютпреодолеть ряд существенных недостатков классической теории тестов изначительно повысить эффективность тестовых измерений.76В рамках данной работы для исследования уровня владения английскимязыком была выбрана однопараметрическая модель Раша, так как отношениесохраняется во всем интервале изменения θ. Принципиально другая картинанаблюдается для двух- и трехпараметрической моделей. Это отчетливо виднона рис.
10. Задание с aj = 0.5 в области положительных значений θ являетсясамым трудным из представленных трех заданий, соответственно, с самойнизкой вероятностью правильного ответа. С переходом в область отрицательных значений θ, то есть при предъявлении задания испытуемому с болеенизким уровнем подготовленности, это же задание теперь уже самое легкое,так как, в соответствии с графиком, вероятность правильного ответа на негонаибольшая. В итоге слабые студенты очень легко справятся с этим заданием,а для сильных оно окажется наиболее трудное, что в корне неправильно.Подобная ситуация характерна и для трехпараметрической модели.
На рис. 11представлен случай непересекающихся характеристических кривых, так какдля них выбраны одинаковые параметры βj = 1 и aj = 1. Таким образом, можноутверждать, что все три задания имеют одинаковую трудность, равно как иодинаковый параметр дифференцирующей способности. Другой примерприведен на рис.
12.Рис. 12. Пересекающиеся характеристические кривые задания в трехпараметрической модели (по: Дружинин, 1997)77Здесь у задания с параметром cj = 0 изменена трудность βj = -1,чтонемедленно вызвало пересечение характеристических кривых. Задание с cj = 0в области θ < -2 является самым трудным, как и должно быть. Однаков областизначений θ от -1.5 до -1 (- 1.5 < θ < -1) это задание легче задания с cj = 0.25, новсе еще труднее задания с cj = 0.5, а в области θ > -1 задание с cj = 0 являетсясамым легким, то есть наблюдается парадоксальная ситуация, когдавероятность правильного ответа на более трудное задание выше, чем на болеелегкое, что противоречит здравому смыслу.
Описанное выше пересечениехарактеристических кривых задания практически всегда происходит для двухи трехпараметрической моделей, что делает невозможным их использованиедля анализа заданий с различным уровнем сложности и дифференцирующейспособностью.Выводочевиден:толькооднопараметрическаямодельРашасоответствует тем требованиям, которые принято предъявлять к качественному измерительному инструментарию.IRT отличается от классической теории теста главным образом тем, чтов ней не ставятся и не решаются фундаментальные проблемы эмпирическойвалидности и надежности теста.
Поскольку задача априори соотносится лишьс одним свойством, он заранее считается валидным. Процедура при этом сводится лишь к получению оценок параметров трудности задания и к измерению«способностей» тестируемых (образованию «характеристических кривых»).В классической теории теста индивидуальный балл (уровень свойства)считается некоторым постоянным значением.
В IRT латентный параметр трактуется как непрерывная переменная. Более гибкий подход основан на взаимодействии этих теорий, то есть целесообразно проводить разработку теста в дваэтапа. На первом этапе эмпирические данные лучше обрабатывать с помощьюболее простого математико-статистического аппарата классической теории тестов. На втором этапе, анализируя качество заданий для объективной оценкиих параметров, целесообразно привлекать аппарат IRT.
Действуя подобнымобразом, можно обеспечить профессиональный подход к разработке тестов и78создать фонд тестовых заданий с устойчивыми значениями параметра трудности. Все задания педагогического теста должны иметь варианты замены. Этозащита теста от рассекречивания какого-либо его варианта, или от списывания. В одной аудитории каждый испытуемый получает свой, отличающийсяот других, но сопоставимый с другими вариантами по содержанию и по меретрудности вариант теста.79Выводы по главе 1На основании вышеизложенного можно сделать следующие выводы:1) Иноязычная коммуникативная компетенция, включающая владениепрофессионально ориентированным иностранным языком, в совокупности с профессиональной компетенцией психолога, образует профессионально ориентированную коммуникативную компетенцию (ПОКК)студента-психолога.2) Длядостижениявысокогоуровняинтегрированностикурсаиностранного (английского) языка в специальность необходимоучитывать профессиограмму специалиста.
ПОКК может считатьсясформированной на достаточно высоком уровне, только если сформированы лингвистическая (языковая), социолингвистическая (речевая),социокультурная,социальная(компенсаторная),дискурсивная,(прагматическая),предметнаяистратегическаямежкультурнаякомпетенции.3) Процесс формирования ПОКК неразрывно связан с проведениемконтрольно-измерительных мероприятий, как для оценивания иконтроля уровня сформированности ПОКК, так и для коррекцииобразовательных маршрутов студентов-психологов.4) В результате анализа эволюции тестологичесих идей мы приходим квыводу о том, что оптимальным объективным средством для проведенияконтроля и оценивания являются тесты.
Эффективность тестовыхоценок зависит не только от качества теста, но и от методов сравнения иинтерпретации эмпирических данных. Очевидно, что недостаточнособрать эмпирические данные, необходимо их правильно интерпретировать. Адекватная интерпретация невозможна без проведениястатистической обработки данных, как в рамках классической теориистатистического анализа, так и с привлечением более современныхметодов IRT.805) После сбора эмпирических данных необходимо оценить: мерыцентральнойтенденции,стандартноеотклонение,дисперсию,асимметрию, эксцесс — по всему тесту, а также коэффициенты,описывающиедифференцирующуюспособностьзаданий—коэффициент дискриминации и точечно-биссериальный коэффициент.6) Привлечение статистического аппарата, разработанного Г.
Рашем,основанного на теории латентно-структурного анализа, позволяетоценить меру трудности каждого задания и уровень подготовленностикаждого тестируемого.7) Анализоднопараметрической,двухпараметрическойитрех-параметрической моделей показал, что только однопараметрическаямодель Раша соответствует требованиям, предъявляемым к качественному измерительному инструментарию.8) Использование классической и современной теорий статистическойобработки эмпирических результатов тестирования обеспечиваетпрофессиональный подход к разработке тестов и делает возможнымсоздание банка тестовых заданий с устойчивыми значениями параметратрудности, который будет описан в следующей главе.81Глава 2.
Экспериментальное исследование методов оцениванияи контроля англоязычной коммуникативной компетенциистудентов-психологовВ данной главе определены и исследованы различные методыоценивания всех основных составляющих профессионально ориентированнойкоммуникативной компетенции, такие как метод тестов, метод устногоэкзамена, метод проектов и метод портфолио, инкорпорированных в«Рабочую программу учебной дисциплины английский язык основнойобразовательной программы высшего профессионального образования поподготовке по направлению 030300 — психология».2.1. Организация контрольно-измерительных мероприятий в процессеобучения английскому языку студентов-психологовВ соответствии с требованиями, предъявляемыми на современном этапекбудущемуспециалистуиизложеннымив«Компетентностно-ориентированном учебном плане основной образовательной программывысшегопрофессиональногообразованияСПбГУ»(Государственныйобразовательный стандарт, 2009), была разработана «Рабочая программаучебной дисциплины английский язык основной образовательной программывысшего профессионального образования по подготовке по направлению030300 — психология», которая является развитием и спецификациейположений «Рабочей программы учебных занятий по английскому языку дляобучающихся по основным образовательным программам бакалавриата иподготовки специалитета в СПбГУ».
Исходя из принципов и требований,целей и задач, обозначенных в вышеупомянутом документе, в этой программеразрабатываются характеристики, структура и содержание учебной дисциплины «английский язык» (см. Приложение 1), объекты, методы контроля иоценивания, график проведения контрольно-измерительных мероприятий длястудентов, обучающихся на факультете психологии (см. рис. 13).Курс обучения английскому языку на факультете психологии состоит изтрех содержательных блоков: Общий английский язык (General English),82Академическийанглийскийязык(EnglishforAcademicPurposes),Профессионально ориентированный английский язык (English for SpecificPurposes) и имеет модульную организацию (см.
рис. 13).НетВходное тестированиеУровень В1ТраекторииТ1, Т2ДаТраекторииТ3, Т4General EnglishТематическиеМодулиТМ1, ТМ2,ТМ3, ТМ4English for AcademicPurposesТематическиеМодулиТМ5, ТМ6ПромежуточноетестированиеУровень В1НетДаПромежуточноетестированиеEnglish for SpecificPurposesТематические МодулиТМ7, ТМ8, ТМ9,ТМ10Итоговые контрольно-измерительныемероприятия (тест, проектная работа,портфолио)Рис. 13. Схема организации контроля в процессе обучения английскому языкустудентов-психологов83В соответствии с требованиями, изложенными в государственномобразовательном стандарте (2009), выпускник СПбГУ должен владетьиностранным языком не ниже уровня В2 Общеевропейской шкалыиноязычной коммуникативной компетенции. В связи с тем, что на факультетпсихологии СПбГУ поступают студенты с различным уровнем языковойподготовки, им требуется разное количество академических часов длядостижения необходимого уровня сформированности ПОКК.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
