Диссертация (1146738), страница 26
Текст из файла (страница 26)
При выполнении этого задания число учащихся, несправившихся с ним, составило 81% выборки.1373.5. Описание стандартного теста, разработанного дляэкзаменационных испытаний в Академической гимназии имениД. К. ФаддееваАвтором настоящего исследования была разработана часть общегоэкзаменационного теста для Академической гимназии имени Д. К. Фаддеева,направленная на оценку навыков чтения и лексико-грамматических навыков (тоесть рассматривались те же аспекты изучения языка, что и в экспериментальномтесте, описанном выше в настоящем исследовании).Тестированиепроводилосьв несколькоэтапов.Напервомэтапетестирование проходили учащиеся 9Г класса Академической гимназии, на второми третьем этапах – соответственно 10И и 10Г классов.Специфика гимназии состоит в том, что обучение в ней начинается с 9класса.
В гимназию отбираются ученики, прошедшие конкурсный отбор, послеокончания 8 класса средней школы. Обучение ведется по специализированнымпрограммам: классы с литерой «Г» имеют гуманитарную направленность, слитерой «И» - проходят усиленную подготовку по историческим предметам. Всоответствии с этим для разных классов нами были разработаны различныеварианты теста с учетом уровня подготовки и специализации учащихся.В состав теста вошли разделы по чтению, грамматике и лексике.Выборка тестируемых состояла из трех групп:•9Г – 29 человек•10Г – 30 человек•10И – 30 человекТаким образом, всего в гимназии в ходе применения стандартного тестабыло протестировано 89 человек.Ученики Академической гимназии, ранее изучавшие английский язык ивыдержавшие конкурсный отбор, прошли обучение в гимназии по следующейпрограмме:1389Г класс – 1 год по учебникам:1.Prodromou L.
Rising Star: A Pre-First Certificate Course. SB.Macmillan, 20062.Kerr Ph., Prodromou L. Rising Star: A Pre-First Certificate Course.PB. Macmillan, Heinemann: English Language Teaching. 2006.10И класс – 1 год по тем же учебникам в объеме, принятом длягуманитарных классов средней школы, и 1 год по учебникам:1.Prodromou L.
“First Certificate Star”. SB. Macmillan, Heinemann:English Language Teaching. 2004.2.Prodromou L. “First Certificate Star”. PB: Grammar andVocabulary. Macmillan, Heinemann: English Language Teaching. 2004.10Г класс – по тем же учебникам, что и 10И, но в объеме, принятом дляклассов с углубленным изучением иностранного языкаПо оценкам преподавателей, подготовка учащихся 9 класса примерносоответствует уровню А2, подготовка учащихся 10И класса – уровню А2—В1,подготовка 10Г класса – уровню B1 по Шкале Совета Европы (CEFR).Первоначально экспериментальный тест планировался как тест достижений(Achievement test), для чего была проанализирована программа обученияшкольников 9 и 10 классов по учебникам “Rising Star: A Pre-First CertificateCourse” и “First Certificate Star” L.
Prodromou. Задания к тесту подбирались изметодической литературы, перечисленной ниже, в соответствии с пройденнымитемами.Описываемый тест относится к педагогическим (учебным) тестам. В этомкачестве его положение в классификации тестов (Павловская, Башмакова 2007,с.118) можно определить следующим образом:•по структуре построения – комбинированный•по периодичности применения – глобальный (подводящий итог болееили менее длительному периоду обучения)139•посодержанию–комплексный(проверяетзнаниелексики,грамматики и навыки чтения)•по форме выполнения – письменный•по условиям и месту проведения – аудиторный•по технике организации и проведения – бумажный•по способу приготовления и количественной обработке данных –стандартизованный•по предметной области - лингводидактический•по основной цели применения – как было сказано выше, тестпервоначально планировался как тест достижений, но с учетом произведенныхизменений может быть использован как диагностический, отборочный илираспределительный.Следует отметить, что в список литературы, из которой осуществлялсявыбор конкретных заданий, входят издания “British National Corpus”, одна из базданныхкоторого(“LearnerCorpus”)содержитинвентарьошибочныхвысказываний, совершаемых в процессе тестирования людьми, изучающимианглийский язык, как в письменной, так и в устной речи.Для отбора тестового материала были использованы следующие источники:1) Alexander, L.G.
Longman English Grammar Practice for IntermediateStudents. Pearson Education Ltd, 2001;2) Cambridge Examinations, Certificates and Diplomas: Preliminary EnglishTest. University of Cambridge, 1996;3) Carne P., Hashemi L.,Thomas B. Practice Tests for First Certificate. 1,2.Cambridge Examinations Publishing, 1997;4) D. Powell. Common Mistakes at CAE… and How to Avoid Them.Cambridge Books for Cambridge Exams, 2006. (C пометой: “Cambridge LearnerCorpus: Real English Guarantee”);5) Murphy R. English Grammar in Use: a Self-study reference and practice bookfor intermediate students.
Cambridge University press. 1998;1406) Popular Science Reader: for the 10th Form of the Secondary School.Compiled by S. A. Levina. Prosveshcheniye Publishers, 1971.Варианты стандартного тестаТест на проверку навыков чтения и владения грамматикой применялся вчетырех вариантах, различающихся не только по количеству заданий, но также ипо уровню их трудности.Наиболее коротким и простым является исходный вариант, подготовленныйдля 9 класса (в дальнейшем – тест 1). В него включено 61 задание. Для егоприменения в других выборках он подвергся серьезной переработке, и в конечномрезультате только 33 пункта из теста 1 остались в итоговом варианте теста.Для 10И класса (далее - тест 2) часть наиболее простых заданий былаудалена, в большинство остальных внесены формальные изменения (например,проведена замена имен собственных, встречающихся в тексте), полностьюизменен порядок следования вопросов.
(Это было сделано, главным образом,чтобы избежать утечки информации). Кроме того, в тест были введены новыезадания и полностью заменен материал для оценки навыков чтения. Так, в разделе«Грамматика» текст “Radio Waves” был заменен другим текстом со сходнойструктурой и тематикой “What are Electrons”; добавлен новый текст “The Horse inArt”. В разделе «Чтение» текст “Books” был заменен более сложными “Why DoesMilk Boil Over?” и” Unable to Think about It” (посвященный компьютернойтематике).
В конечном виде в тесте 2 содержится 90 заданий, 59 из которыхявляются общими с итоговым вариантом.Аналогичнойпереработкеподвергласьимодификациятеста,предназначенная для 10Г класса (тест 3, или итоговый вариант). В него вошли 97заданий. По сравнению с тестом для 9 класса, из которого 33 пункта сохранилисьпрежними (или с незначительными формальными изменениями), было включено64 новых задания. По сравнению с тестом 2, было включено 38 новых заданий.
Изсвязных текстов в раздел «Грамматика» вошли “What are Electrons” и “The Horse141in Art”, в раздел «Чтение» - “Why Does Milk Boil Over?” и “Perfect Beauty”,заменивший текст ”Unable to Think about It”.При отборе текстов для чтения учитывалась не только их сложность, но испецифика классов (возрастные интересы, гуманитарная или естественнонаучнаянаправленность, программа предметов для изучения в средней школе). Для тестапо чтению в 9 классе (самая младшая из выборок) был предложен текст срисунками, которые имели целью облегчение визуального восприятия заданий.Ученикам 10 классов предлагались более сложные по своей тематике тексты,связанные с физикой или искусствоведением. В 10 Г классе, значительную частькоторого составляли девочки, в состав заданий вошел текст “Perfect Beauty”.Таким образом, тест был предъявлен испытуемым в нескольких вариантах,при этом основной вариант содержал 97 заданий.
Данные, полученные приприменении различных вариантов исследуемого теста, свидетельствуют о том,что ученики 9Г класса справились со своим вариантом теста в среднем на 87%, в10И справились с усложненным вариантом на 82 %; ученики 10Г класса самыйсложный вариант теста выполнили в среднем на 80%. Эти данные вместе снекоторымидругимистатистическимипараметрами,характеризующимираспределение оценок, приведены в таблице:Класс9Г10И10ГСреднееарифметическое87,381,9279,62РазмахМедиана24,5934,432,9888,583,3379,38Стандартноеотклонение5,3948,827,49Таблица 2. Статистические данные по стандартному тесту3.6. Сравнение результатов экспериментального и стандартноготестовСредние оценки выполнения стандартного теста составили для различныхего модификаций от 80 до 87 процентов от общего количества баллов. Сравнимэти оценки со средней арифметической, полученной в описанном ранееэкспериментальномисследованиисприменениемнекорректныхзаданий.142Учитывая разницу в количестве тестовых заданий, выразим эту величину впроцентных долях и сравним полученное значение (М=46.66) со среднимиарифметическими, полученными для КГ.
Вычисленные по критерию Стьюдентаоценки достоверности различий между средней арифметической для ЭГ исредними арифметическими для КГ составили соответственно для 9Г – 14,96; для10И – 11,78 и для 10Г – 11,48, что значительно превышает табличные значения ипозволяет принять гипотезу о статистически достоверных различиях выборок поизучаемому признаку на уровне значимости р<0,001.Учитывая, что уровень сложности тестовых заданий и характеристикивыборки для обеих ситуаций тестирования были примерно одинаковы, вероятно,одной из основных причин такого расхождения можно считать наличие вэкспериментальном тесте большого количества заданий, составленных сошибками. Это может свидетельствовать об уровне искажений, которые такогорода некорректные задания способны вносить в результаты теста.Поскольку в разных выборках при использовании стандартного тестаприменялисьразныеегомодификации,дляболееобоснованныхсостатистической точки зрения выводов мы можем сопоставить между собой нетолько непосредственно вычисленные параметры, но и коэффициенты вариации(ковариацию) во всех выборках, чтобы определить, насколько различается в нихразброс данных.По существу, коэффициент вариации представляет собой приведенные кодному масштабу величины σ у разных распределений и выражается формулой:CV M 100 %,где:CV – коэффициент вариации;σ – стандартное отклонение;М – выборочное среднее.Так, для стандартного теста в разных выборках мы получим следующиезначения коэффициента вариации:1439Г:CV1=5,4:87,3·100%=6,2%10И:CV2=8,82:81,92·100%=10,8%10Г:CV3=7,49:79,62·100%=9,41%Выполниваналогичныевычислениядляэкспериментальноготеста,получаем:CV4 =17.31:48.07·100%=36.02Из этих данных можно сделать заключение, что ученики гимназии показалидостаточно однородные результаты по стандартному тесту (коэффициентвариации низок и колеблется в пределах 6.2-10.8), тогда как аналогичныйпоказатель по экспериментальному тесту заметно выше (36.02), что говорит означительной неоднородности результатов выполнения учащимися этого теста.Это подтверждает сделанный ранее вывод о том, что некорректно составленныезаданияспособнысущественноискажатьрезультатыприпроведениитестирования уровня обученности иностранному языку.Выводы1.