Диссертация (1146969), страница 19
Текст из файла (страница 19)
7, п. 19), сильная группа состоит из 42 тестируемых сколичеством правильных ответов на тестовые вопросы, лежащем в диапазоне116от 39 до 49, со смещением в сторону меньших значений; моды для сильнойподгруппы равны 39 и 41 (см. полигон частот в Приложении 6).
В слабуюгруппу (табл. 7, п. 16) вошли 40 тестируемых с разбросом правильных ответовот 6 до 26, со смещением мод, равных 18 и 22, в сторону больших значений,что свидетельствует о том, что в слабой подгруппе преобладают студенты сболее высоким уровнем владения английским языком.Сопоставление результатов теста с результатами промежуточногоконтроля и графиком посещаемости занятий выявило, что самые низкиерезультаты получили студенты с изначально низким уровнем владенияанглийским языком от нуля до А2, которые в процессе обучения частопропускали практические занятия, не выполняли домашние задания, получилинизкие баллы за промежуточное тестирование; двое их них, набравшие 6 и 7баллов за итоговый тест, были вызваны на комиссию по отчислению в связи сакадемической неуспеваемостью.
Остальные студенты с изначальнымуровнем владения английским языком начиная с нулевого уровня до А2,выполнившие учебный план в полном объеме, по результатам итогового теставышли за пределы слабой подгруппы, что напрямую коррелирует срезультатами промежуточного контроля. Вышесказанное доказывает, чтообъекты контроля были выбраны правильно, и надежно проверяют степеньусвоения учебного материала. Студенты, выполнившие учебный план вполном объеме, получили лучшие результаты по сравнению с менееответственными студентами.117Таблица 7.
Статистические характеристики субтестов итогового теста«Письмо» и «Практическое использование языкового материала» (см.Приложение 6)1Количество тестовых вопросов (Nof Items)502Количество тестируемых (Nof Examinees)1423Среднее арифметическое (Mean)31.7824Дисперсия (Variance)100.3685Стандартное отклонение (Std. Dev)10.0186Асимметрия (Skew)-0.6127Эксцесс (Kurtosis)-0.3798Минимальное количество правильных ответов (Minimum)6.0009Максимальное количество правильных ответов (Maximum) 49.00010Медиана (Median)34.00011Альфа (Alpha)0.91712Погрешность измерения (SEM)2.89413Среднее арифметическое пропорции правильных ответов0.636по дихотомической шкале (Mean P)14Среднее арифметическое точечно-биссериальной0.445корреляции (Mean Item-Tot)15Среднее арифметическое биссериальной корреляции0.599(Mean Biserial)16Наибольший результат в слабой подгруппе (Max Score26(Low))17Количество тестируемых в слабой подгруппе40(№ (Low Group))18Наименьший результат в сильной подгруппе (Min Score39(High))19Количество тестируемых в сильной подгруппе(№ (High Group))42118Анализ расчетных значений теста в целом, состоящего из субтестов«Чтение» и «Практическое использование языкового материала», позволилсделать следующие выводы (см.
Приложение 6): Альфа Кронбаха (табл. 7, п. 11), равная 0.92, свидетельствует о высокойнадежности данного теста. Большой размах между минимальным (6) и максимальным (49) количествомнабранных баллов показывает, что данная выборка неоднородна по уровнюсформированности навыков чтения и использования языкового материала(табл. 7, п. 8–9). Отрицательное значение эксцесса -0.379 (табл. 7, п. 7) свидетельствует оплосковершинномраспределениипоотношениюкнормальномураспределению баллов, что объясняется неоднородностью выборки по уровнювладения английским языком. Отрицательное значение асимметрии (табл. 7, п. 6). свидетельствует олевосторонней асимметрии, то есть мода больше медианы, а медиана большесреднего арифметического.
Смещение медианы (34) по сравнению со среднимарифметическим (31.78) вправо свидетельствует о том, что в выборкепреобладают студенты с более высоким уровнем владения английским языком(см. Приложение 6). Коэффициент биссериальной корреляции изменяется в диапазоне от +1,00(прямая функциональная связь) через 0,00 (отсутствие связи) до -1,00(обратная функциональная связь). Он измеряет связь между результатамивыполнения каждого задания теста, выраженными в бинарной форме(«справился / не справился»), и общей оценкой по данному тесту. Известно,что для валидного теста коэффициент биcсериальной корреляции не долженбыть меньше 0.2 для верного ответа и равен 0 для неверного ответа.В данном тесте он лежит в пределах 0.22–0.64 (см.
Приложение 6) со среднимарифметическим, равным 0.599 (табл. 7, п. 15).Приведенные выше характеристики теста свидетельствуют о еговысокой валидности.119В Приложении 6 представлены таблицы, содержащие расчетныестатистические характеристики для каждого тестового вопроса, а также длявариантов ответов на тестовый вопрос.Анализ полученных статистических данных по субтестам «Письмо» и«Использование языкового материала» показал следующее: Пропорция правильных ответов на данный тестовый вопрос может лежать впределах между нулем (это означает, что никто не смог выполнить задание, тоесть этот тестовый вопрос слишком сложный для данной выборки) и единицей(данный тестовый вопрос оказался слишком простым для выборки студентови, соответственно, все дали на него правильный ответ).
Пропорциявыполнения задания не должна быть более 0.9 и менее 0.3 (User’s Manual forthe ITEMAN…). В данном тесте только один тестовый вопрос, номер 14, имеетпропорцию выполнения 0.13, что значительно меньше нижней границы 0.3. Идва тестовых вопроса, номер 20 и 23, имеют соответствующие пропорциивыполнения 0.94 и 0.92, превышающие верхнюю границу 0.9, то есть ониявляются самыми простыми (см. Приложение 4). В субтесте «Чтение» медиана и мода пропорции выполнения тестовых заданийсовпадаютиравны0.61,ипрактическисовпадаютсосреднимарифметическим, равным 0.605, то есть этот субтест представляет среднийуровень сложности для данной выборки.
Причем первая часть задания смножественнымвыбором(медиана0.67)легче,чемвтораячасть«альтернативные ответы» (медиана 0.6). Важно отметить, что вторая частьвключает весь спектр сложности тестовых вопросов, от самых простых, спропорциями выполнения, лежащими в пределах от 0.70 до 0.94, среднегоуровня сложности, с пропорциями выполнения от 0.5 до 0,67, и сложных — от0.24 до 0.41. Субтест «Использование языкового материала» состоит иззаданий с пропорцией выполнения от 0.31 до 0.92 с медианой, равной 0.68,модой 0.72 и средним арифметическим 0.65, из чего следует вывод, что,несмотря на присутствие заданий с пропорцией выполнения 0.31–0.44,большинство студентов справилось с данным субтестом.120 Процент выбора дистракторов более 5% — это свидетельствует о том, чтодистракторы выполняют свою функцию.
Дистрактор не должен выбиратьсябольшинством тестируемых и не должен быть выбран менее 5% тестируемых(кроме заданий на установление соответствия). Коэффициент точечно-биссериальной корреляции показывает корреляциюмежду правильным ответом на тестовый вопрос и общим количествомправильных ответов. Положительное значение показывает, что тестируемые,ответившие на данный тестовый вопрос правильно, ответили на относительнобольшое количество тестовых вопросов по шкале в целом.
Отрицательноезначение — что тестируемый, ответивший правильно на данный тестовыйвопрос, ответил неправильно на относительно большое количество вопросов.В данном тесте все тестовые вопросы имеют положительный коэффициентточечно-биссериальной корреляции при выборе правильного значения иотрицательный при выборе альтернативного варианта ответа — дистрактора.Из вышесказанного следует, что все дистракторы работают, и тест в целомвалиден. Коэффициент дискриминации дает информацию о способности каждоготестовоговопросаразличать«сильных»и«слабых»тестируемых.Коэффициент дискриминации вычисляется как разница между пропорциямитестируемых, ответивших правильно на данный тестовый вопрос, в «сильной»и «слабой» группах.
В данном тесте только 5 тестовых вопросов имеюткоэффициент дискриминации, не превышающий значение 0.25. К нимотносятся: тестовый вопрос номер 10 с коэффициентом дискриминации 0.13,тестовый вопрос номер 20 с коэффициентом дискриминации 0.15, тестовыйвопрос номер 14 с коэффициентом дискриминации 0.16, тестовый вопросномер 23 с коэффициентом дискриминации 0.20 и тестовый вопрос номер 3 скоэффициентом дискриминации 0.24. Следовательно, данные тестовыевопросы являются очень простыми и плохо отделяют слабых студентов отсильных, что справедливо по отношению к тестовым вопросам 3, 10, 20 и 23 с121высокой пропорцией выполнения (см.
Приложение 6). Тестовый вопрос номер14 наряду с низким коэффициентом дискриминации имеет самую низкуюпропорцию выполнения, то есть является самым сложным (см. табл. 8).Таблица 8. Статистические характеристики тестового вопроса номер 14(см. Приложение 6)Номер шкалы к которой принадлежит тестовыйвопрос и номер тестового вопроса в этой шкалеПропорция правильных ответов (Prop. Correct)Коэффициент дискриминации (Disc. Index)Коэффициент точечно-биссериальной корреляции(Point Biser.)Варианты ответов (Alt.)Пропорция выбравших данный вариант ответа(Prop. Total)Слабые (Low)Сильные (High)Коэффициент точечно биссериальной корреляции(Point Biser.)ПодгруппаEndorsing140–140.130.160.2010.370.380.26-0.0520.500.570.52-0.0830.130.050.210.200.010.000.00-0.01Другие варианты ответов (Other)Правильный ответ (Key)Статистические характеристики всехвариантов ответов на тестовый вопрос(Alternative Statistic)Порядковый номер тестового вопроса (Seq No.)Статистические характеристикитестового вопроса(Item Statistics)*Данных, полученных в результате статистической обработки в рамкахклассическойтеориитестирования,недостаточно,чтобыразъяснить122возникшее противоречие, поэтому далее необходимо провести анализ теста вцелом и проблемных вопросов, в частности, по методу, предложенномуГеоргом Рашем (Rash, 1980).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
