Диссертация (1146738), страница 23
Текст из файла (страница 23)
Во избежание таких ошибок при необходимостистатистическойобработкиианализаданныхлучшевоспользоватьсяконсультацией специалиста;З) намеренные искажения результатов тестирования. Они могут случаться втех ситуациях, когда велика социальная значимость определенного результата, тоесть когда он имеет далеко идущие последствия (для тестируемых или дляобразовательной организации, в которой проводится тестирование).2.4. Ошибки при анализе и интерпретации результатовНа этом этапе происходит анализ полученных при первичной статистическойобработке данных, их сопоставление и обобщение с целью «представления их вформе, удобной для пользователей, и интерпретациисогласно задачампедагогического контроля» (Ефремова 2001, с. 227).
«Сырые», или абсолютные,баллы «не дают информации о реальном уровне знаний. Интерпретациярезультата и его отнесение к категории плохих или хороших зависит от целогоряда факторов» (Ефремова 2001, с. 235).На этом этапе производится также выработка тестовых норм и выбор способанаглядного представления статистических данных, происходит их теоретическоеосмысление, делаются выводы для дальнейшей практической работы, принеобходимости используются методы углубленного математико-статистического118анализа для подтверждения или опровержения гипотез и построения прогнозов.На этапе анализа и интерпретации данных встречаются следующие типы ошибок.А) ошибки при интерпретации математических процедур, связанных соперированием статистическими данными (например, ошибочная трактовкакоэффициентакорреляции,когдавыноситсянеобоснованноерешениеопричинно-следственных отношениях между исследуемыми факторами; невернаяинтерпретация результатов факторного анализа, и т.д.);Б) выводы, сделанные без учета уровня статистической достоверности.Закономерности,выявленныевходетестирования,могутобъяснятьсяслучайными факторами, поэтому желательно учитывать уровень достоверностистатистического вывода;В) неправомерные обобщения, связанные с недостаточным учетом факторарепрезентативноститеста.Например,выводы,полученныенаспециализированной выборке, распространяют на всю генеральную совокупность.Подобная ситуация имела место в начале прошлого века в США, когда порезультатам выполнения армейских тестов интеллекта заговорили об угрозеслабоумия для нации, тогда как, возможно, низкие тестовые показатели вомногом объяснялись большим количеством иммигрантов со слабым знаниеманглийского языка среди тестируемых, о чем более подробно рассказано в разделе1.3.2.5.
Некорректное использование результатов тестированияПослетого,какрезультатытестированияпрошлиобработкуибылисоответствующим образом интерпретированы, полученные выводы можноприменять на практике в педагогической и административной деятельности.Однако их эффективному применению могут помешать следующие ошибки,характерные для данного заключительного этапа.119А) ошибки, связанные с принятием решения по поводу отдельноготестируемого.
Например, по результатам тестирования ученика определяют вгруппу, не соответствующую его уровню обучения. Пример во внешкольномконтексте: человек может ошибочно не получить допуска к какому-либо видуобучения или деятельности. Ошибки такого типа могут быть как случайными, таки намеренными – например, при отказе в предоставлении гражданства; в большомколичестве подобные примеры приведены в работе «Языковое тестирование:Социальное измерение» (McNamara, Roever 2006);Б) неправомерноеприменениерешений,принятыхпорезультатамнерепрезентативной выборки, к испытуемым, принадлежащим более широкойаудитории или другой генеральной совокупности (например, по результатамтестирования студентов технических специальностей принимаются решения,распространяющиеся на всех студентов определенной ступени обучения);В) ошибки, ведущие к необоснованным изменениям в деятельностиорганизации (без достаточных оснований даются рекомендации педагогам попроведению занятий, проводится перераспределение испытуемых по группам илиуровням, реформируется штат сотрудников, закрываются школы);Г) ошибочные решения по поводу изменения учебных планов, программ иметодов оценивания, принятые из-за неверного истолкования результатовтестирования (могут приниматься на разных уровнях, начиная от отдельногозаведения, в котором проводится тестирование, и заканчивая государственнымуровнем или еще более глобальным уровнем интернациональных организаций).Д) неправомерное использование результатов тестирования, связанное снеправильным выбором типа теста, когдатип теста не соответствуетпоставленным задачам в конкретной ситуации педагогического оценивания.А.
Б. Глыбина приводит в пример ситуацию, когда в процессе входноготестирования необходимо определить уровень владения языком в некоторомдиапазоне уровней, а не определить соответствие уровня владения заданному; втаком случае неправомерно использовать результаты теста на соответствиезаданному уровню владения языком. Так, низкий о том, «Так, низкий результат по120тесту FCE (уровень В2) не может свидетельствовать о том, что кандидат владеетязыком на уровне В1 и сможет успешно сдать тест более низкого уровня PET, авысокий — что он владеет языком на уровне С1 и сможет успешно пройти тестCAE (уровень С2).
Таким образом, если необходимо определить уровень владенияязыком в некотором диапазоне уровней, а не определить соответствие уровнявладения заданному, следует использовать тесты, разработанные для этой цели»(Глыбина, электронный ресурс).Очевидно, что среди перечисленных возможных ошибок в тестах можновыделить те, которые существуют по вине разработчика теста, а также те, которыевозникают благодаря недочетам в работе тестора (того, кто проводит процедурутестирования и оценку первичных данных) или аналитика (в роли которого чащевсеговыступаетпреподавательлибодругойработникобразовательнойорганизации) и, возможно, менеджера, ответственного за осуществление учебногопроцесса (человека, принимающего решения по результатам анализа данных).При этом серьезные ошибки на любом из этих этапов способны свести на нетусилия всех остальных участников процесса.Выводы1.
В процессе создания и применения тестовых методик и интерпретации ихрезультатов могут проявляться факторы, снижающие эффективность тестов. Этифакторы многообразны и разнородны, поэтому их анализ и классификация могутспособствовать повышению продуктивности использования тестовых методик наразных стадиях взаимодействия с ними, начиная с этапа конструирования тестови заканчивая практическими выводами по результатам их применения.Анализ существующих, наиболее часто используемых учебных пособий итестовых материалов для подготовки к ЕГЭ показал наличие недочетов инекорректных вопросов в данных материалах. Они представлены в типологии,121описанной выше. Типология учитывает различные этапы подготовки иприменениятеста,атакжеособенностиошибоксметодическойипсихологической точек зрения.
Ошибки классифицируются по следующимгруппам: 1) ошибки на этапах разработки и проведения теста, среди которыхошибки при подборе лингвистического материала, ошибки в организациитестового материала, организационные ошибки при планировании и проведениипроцедуры тестирования; 2) ошибки, связанные с психологическими факторами,влияющими на эффективность тестирования; к этой группе относятся ошибки,связанные с содержанием теста и ошибки в организации процедуры тестирования;3) Ошибки при обработке результатов тестирования; 4) Ошибки при анализе иинтерпретациирезультатов;5)Неправильноеиспользованиерезультатовтестирования.2. Некорректные задания встречаются как в стандартизованных тестах, так ив заданиях для подготовки к ним. В последнем случае такие ошибки не имеютсерьезных последствий для учащихся, как в случае с социально значимымитестами, по итогам которых принимаются важные решения.
Однако они такжеприносят вред, поскольку формируют ошибочные концепты у тестируемых.3. Предположение о том, что ошибки в разработке и применении тестовогоинструментария влияют на результаты выполнения тестов испытуемыми,нуждается в экспериментальной проверке. Целью ее является показать, что еслибудут учтены неудачи тестирования и проанализированы ошибки в примененииконтрольно-измерительных материалов, то результаты тестирования окажутсяболее точными и эффективность процедуры проведения теста возрастет, чтопозволит сделать менее болезненными социальные последствия при вынесениирешений по итогам выполнения теста.ГЛАВА III. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕЗНАЧЕНИЯ МЕТОДИЧЕСКИХ ОШИБОК В ТЕСТАХ3.1. Материалы для экспериментального исследования и способыпредъявления тестаДля проведения экспериментального исследования был подготовлен тест из103 заданий, включающих 80 заданий на проверку навыков использованиялексики и грамматики и 23 задания на оценку навыков чтения.В процессе составления теста (в дальнейшем – экспериментальный тест)использовано два типа заданий, составивших, таким образом, две половиныобщего теста.В первую часть вошли задания, в которых при их составлении былидопущены ошибки.
Во вторую часть вошли аналогичные им задания, нокорректно составленные. Вопросы обеих частей теста были в конечном итогепредъявлены испытуемым в случайном порядке.Длясоставлениявопросовиспользовалисьматериалыреальносуществующих тестов, вошедших в опубликованные сборники или учебники.Список использованных материалов дан в приложении.Тест был предъявлен для выполнения 47 учащимся 9-10 классовАкадемическойгимназииимениД. К. ФаддееваСанкт-Петербургскогогосударственного университета (далее - Академической гимназии). Тестовыезадания подбирались в соответствии с уровнем подготовки учащихся гимназии.По окончании выполнения теста учащимся было предложено ответить навопросы анкеты, состоящей из 4 пунктов:1. Какие из заданий были для вас самыми сложными?2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
