Автореферат (1146737), страница 5
Текст из файла (страница 5)
Пример:If we get up in time, …………………………….. the train.A we catchС we had caughtB we caughtD we’ll catchПредлагается один правильный ответ – под литерой D. Но здесь возможен и другой ответ– под литерой A, не предусмотренный ключом и потому не засчитываемый.6. Использование заданий, представляющих двойную трудность для испытуемых, то естьнеобходимостьпродемонстрироватьзнаниеболеечемодноголексическогоилиграмматического явления (так, в одном из заданий проверялось одновременно знание фразовыхглаголов, правил построения условных предложений, а также использование лексическихединиц, выходящих за рамки лексического минимума, необходимого для данной группытестируемых).Баллы, полученные в тесте, были проанализированы с точки зрения трех групп оценок:общая оценка за тест; оценка, полученная по заданиям, составленным корректно, и оценка,полученная по заданиям, составленным некорректно.Данные, полученные при первичной статистической обработке, представлены в таблице 1:Таблица 1.
Статистические данные по экспериментальному тестуРазмахСреднееМедианаСтандартное отклонениеарифметическоеОбщая шкала6648,0644817,312Корректные задания3126,511279,695Некорректные задания3521,531228,102Из таблицы видно, что корректные задания характеризуются менее выраженнымдиапазоном изменчивости (размахом), чем некорректные. При этом как медиана, так и среднееарифметическое для корректных заданий превышают соответствующие величины длянекорректных заданий. Проверка с помощью критерия Стьюдента гипотезы о статистическойдостоверности различия средних арифметических величин для корректных и некорректныхзаданий показала, что эмпирическое значение критерия для выборки объемом 47 человек18составляет 3,57, что превышает критическое значение 3,52 на уровне значимости р=0,001.Следовательно, средняя оценка по корректным заданиям превышает с высокой степеньюстатистической достоверности среднюю оценку по заданиям, составленным с ошибками.
Этаразница свидетельствует о том, что учащиеся в целом значительно лучше справились скорректными заданиями теста, чем с некорректными.Графики распределения тестовых оценок изменение полигонов частот распределениятестовых баллов для общего теста и для его половин с корректными и некорректнымизаданиями.На графиках (рис. 1-3) по оси абсцисс расположены оценки по тесту, полученныеиспытуемыми; по оси ординат – частоты этих оценок, то есть количество тестируемых,получивших данные оценки в каждом выбранном интервале. Для построения распределенияобщее количество баллов было разделено на 8 интервалов с шагом 10 баллов для общего тестаи с шагом 5 баллов – для каждой из егополовин.График на рис.
1 показывает, чтораспределение оценок по общему теступриближаетсяявляетсякнормальномубимодальным.иВероятно,наличие второй моды (на интервале 21Рисунок 1. График распределения оценок по общемутесту30баллов)присутствиемвможнообъяснитьтестенекорректносформулированных заданий.Распределениеоценокдлянекорректных вопросов теста (Рис.
2)также приближается к нормальному, нов отличие от предыдущего графикаимеетоднумодуиявляетсяасимметричным. Это свидетельствует отом, что распределение сдвинуто вРисунок 2. График распределения тестовых оценокдля некорректных заданийсторону более низких оценок, то естьпривыполнениитестаснекорректными заданиями результаты испытуемых оказались хуже, чем при выполнении тестас корректными заданиями.19Из графика на рис. 3 видно, чтораспределение оценок по корректнымзаданиям приближается к нормальномуи является одномодальным.Присравненииграфиковнарисунках 2 и 3 можно заметить, что враспределенииоценокпотремпоследним интервалам (а именно поинтервалам 31-35, 36-40 и 41-45 баллов)обнаруживаются существенные различия между корректной и некорректной частями теста.
Вэтом диапазоне отражены оценки тех учащихся, которые справились с большинством заданийсоответствующих частей теста. Просуммировав общее количество тестируемых, попавших вдиапазон этих трех интервалов, можно обнаружить, что для некорректных заданий их числосоставляет 12,8% от общего количества испытуемых, тогда как для корректной части тестасоответствующий показатель составляет 42,6%. Таким образом, разница составляет 30,2%. Этоозначает, что число учащихся, справившихся с большинством корректных заданий, на 30,2%выше, чем число тех, кто справился с большинством некорректных заданий, и свидетельствуето том, что ошибки в составлении заданий оказывают значительное влияние на эффективностьвыполнения теста.Проведение стандартного теста.
Наряду с вышеописанным экспериментальным тестомавтором была разработана часть общего экзаменационного теста, направленная на оценкунавыков чтения и лексико-грамматических навыков (то есть тех же аспектов изучения языка,что и в экспериментальном тесте).Тестирование проводилось в несколько этапов. На первом этапе тестирование проходилиучащиеся 9 «Г» («гуманитарного») класса Академической гимназии, на втором и третьемэтапах – соответственно 10 «И» («исторического») и 10 «Г» классов. В состав теста вошлиразделы по чтению, грамматике и лексике.
Всего стандартный тест выполнили 89 человек,составившие контрольную группу.Тест был предъявлен испытуемым в нескольких вариантах, при этом основной вариантсодержал 97 заданий. Данные, полученные при применении различных вариантов исследуемоготеста, свидетельствуют о том, что ученики 9Г класса справились со своим вариантом теста всреднем на 87%, в 10И справились с усложненным вариантом на 82%; ученики 10Г классасамый сложный вариант теста выполнили в среднем на 80%. Эти данные вместе с некоторымидругими статистическими параметрами распределения оценок приведены в таблице 2:20Таблица 2.
Статистические данные по стандартному тестуКлассСреднее арифметическоеРазмахМедиана Стандартное отклонение9Г87,324,5988,55,39410И81,9234,483,338,8210Г79,6232,9879,387,49Сравнение результатов экспериментального и стандартного тестовСредние оценки выполнения стандартного теста составили для различных егомодификаций от 80 до 87 процентов от общего количества баллов. Сравним эти оценки сосредней арифметической, полученной в описанном ранее экспериментальном исследовании сприменением некорректных заданий.
Учитывая разницу в количестве тестовых заданий,выразим эту величину в процентных долях и сравним полученное значение (М=46.66) сосредними арифметическими, полученными для КГ. Вычисленные по критерию Стьюдентаоценки достоверности различий между средней арифметической для ЭГ и среднимиарифметическими для КГ составили соответственно для 9Г – 14,96; для 10И – 11,78 и для 10Г –11,48, что значительно превышает табличные значения и позволяет принять гипотезу остатистически достоверных различиях выборок по изучаемому признаку на уровне значимостир <0,001.Учитывая, что уровень сложности тестовых заданий и характеристики выборки для обеихситуаций тестирования были примерно одинаковы, вероятно, одной из основных причин такогорасхождения можно считать наличие в экспериментальном тесте большого количества заданий,составленных с ошибками.
Это может свидетельствовать об уровне искажений, которые такогорода некорректные задания способны вносить в результаты теста.Поскольку при использовании стандартного теста применялись разные его модификации,для более обоснованных со статистической точки зрения выводов мы можем сопоставитьмежду собой не только непосредственно вычисленные параметры, но и коэффициентывариации (ковариацию) во всех выборках, чтобы определить, насколько различается в нихразброс данных.По существу, коэффициент вариации (CV) представляет собой приведенные к одномумасштабу величины σ у разных распределений и выражается формулой:CV M 100% , где: σ – стандартное отклонение; М – выборочное среднее.Для стандартного теста в разных выборках получены следующие значения коэффициентавариации:9Г:CV1=5,4:87,3·100%=6,2%2110И:CV2=8,82:81,92·100%=10,8%10Г:CV3=7,49:79,62·100%=9,41%Выполнив аналогичные вычисления для экспериментального теста, получаем:CV4 =17.31: 48.07·100%=36.02%.
Из этих данных можно сделать заключение, что ученикигимназии показали достаточно однородные результаты по стандартному тесту (коэффициентвариации низок и колеблется в пределах 6.2-10.8), тогда как аналогичный показатель поэкспериментальному тесту заметно выше (36.02), что говорит о значительном расхождениирезультатов выполнения учащимися этого теста.
Это подтверждает сделанный ранее вывод отом, что некорректно составленные задания способны существенно искажать результаты припроведении тестирования уровня обученности иностранному языку.Этот вывод подтверждается двумя группами результатов. Во-первых, средние оценки позаданиям, составленным с недочетами в экспериментальном тесте, ниже оценок по корректносоставленным заданиям. Во-вторых, средние оценки, полученные по тесту, содержащемуполовину некорректных заданий, значительно ниже, чем оценки аналогичной выборки,выполнившей похожий тест, но состоящий только из корректных заданий.Анализ ответов учащихся на вопросы анкеты показал, что субъективно самыми сложнымизаданиями для них оказались задания, требующие от тестируемых культурологических знаний,которыми далеко не все они обладали.
При этом объективно самой сложной оказалась группазаданий с нечетко сформулированной инструкцией; в этой группе заданий все 100%тестируемых совершили ошибки, не указав при этом, что у них были сложности с пониманиеминструкции.Ошибки, связанные с оформлением заданий и организацией тестового материала, неоказали в данном случае непосредственного влияния на результаты теста, однако былиотмечены некоторыми испытуемыми в комментариях. Очевидно, что они повлияли навыполнениетестакосвенно,отвлекаяучащихсяотвыполнениязаданий,сокращаяпродуктивное время работы и вызывая негативные эмоции.В Заключении диссертации делается вывод о том, что задачи исследования выполнены иего цель достигнута, выдвинутая гипотеза получила подтверждение. В качестве его наиболеезначимых научных результатов отмечены следующие:Разработана классификация ошибок и недочетов в применении тестов, включая этапыразработки и проведения теста, обработки результатов тестирования, анализа и интерпретациирезультатов и их дальнейшего практического использования.
Выявлено, какие методические ипсихологические ошибки встречаются при использовании метода тестов. Описаны типывозможных ошибок, информация о которых поможет предотвратить их появление влингводидактических тестах.22Разработан и проведен экспериментальный тест, состоящий из заданий двух типов(корректных и ошибочных), включающий 103 задания на проверку использования лексики играмматики и на оценку навыков чтения. Тест предъявлен 47 учащимся 9-10 классовАкадемической гимназии имени Д. К.
Фаддеева в сочетании с анкетой для выясненияотношения испытуемых к процедуре тестирования и опросником с двухбалльной шкалой,выявляющей эмоциональную реакцию на задания теста.В качестве контрольного испытания разработан стандартный тест, содержащий лексикограмматическую часть и задания на оценку навыков чтения. Тест в 3 модификациях всоответствии со спецификой выборок предъявлен 89 учащимся 9-10 классов Академическойгимназии, составившим контрольную группу.Продемонстрировано, что на эффективность применения тестовых методик оказываютсерьезное влияние ошибки, которые совершаются при разработке и проведении тестов.Экспериментально доказано, что тест, содержащий некорректные (ошибочные) задания,способен существенно искажать объективную картину результатов при оценивании уровняобученности иностранному языку, приводя к снижению эффективности тестирования.Результаты эксперимента свидетельствуют о том, что своевременный учет и устранениеошибок в тестировании способствуют получению более адекватных результатов.На основе анализа проблемы обратного влияния тестов предложены рекомендации дляизмененияотношениямежду оцениваниемиобучениемидлясовершенствованияобразовательного процесса в связи с возрастающей ролью личностно-ориентированногопедагогического оценивания, что дает возможность не только констатировать уровеньдостижений, но и адаптировать процесс оценивания к интересам обучаемого.Перспективы дальнейшего исследования мы видим в выявлении корреляций междуиндивидуальными реакциями тестируемых на различные типы ошибок, встречающихся присоставлении и применении тестов, и индивидуально-психологическими и личностнымихарактеристиками испытуемых.Выполненное исследование дает возможность составления на его основе рекомендацийдля тест-дизайнеров и для работников образовательных учреждений, организующих ипроводящих тестирование, во избежание приведенных выше методических и психологическихошибок.Основноесодержаниедиссертацииотраженовследующихпубликацияхврецензируемых изданиях, рекомендованных ВАК Министерства образования и науки РФ:1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
