Автореферат (1146737), страница 4
Текст из файла (страница 4)
Ошибки при анализе и интерпретации результатов:1) ошибки при интерпретации математических процедур, связанных с оперированиемстатистическими данными (например, ошибочная трактовка коэффициента корреляции, когдавыноситсянеобоснованноерешениеопричинно-следственныхотношенияхмеждуисследуемыми факторами; неверная интерпретация результатов факторного анализа, и т. д.);2) выводы, сделанные без учета уровня статистической достоверности. Закономерности,выявленные в ходе тестирования, могут объясняться случайными факторами, поэтомужелательно учитывать уровень достоверности статистического вывода;3) неправомерныеобобщения,связанныеснедостаточнымучетомфакторарепрезентативности теста.5. Неправильное использование результатов тестирования:1) ошибки, связанные с принятием решения по поводу отдельного тестируемого (прираспределении по группам, при получении допуска к какому-либо виду обучения илидеятельности, при предоставлении гражданства и т.
д.);2) неправомерное применение решений, принятых по результатам нерепрезентативнойвыборки, к испытуемым, принадлежащим более широкой аудитории (например, по результатамтестированиястудентовтехническихспециальностейпринимаютсярешения,распространяющиеся на всех студентов определенной ступени обучения);3) ошибки, ведущие к необоснованным изменениям в деятельности организации (бездостаточных оснований даются рекомендации педагогам по проведению занятий, проводитсяперераспределение испытуемых по группам или уровням, реформируется штат сотрудников,закрываются школы);4) ошибочные решения по поводу изменения учебных планов, программ и методовоценивания, принятые из-за неверного истолкования результатов тестирования (могут14приниматься на разных уровнях, начиная от отдельного заведения, в котором проводитсятестирование, и заканчивая государственным уровнем);5) неправомерное использование результатов тестирования, связанное с неправильнымвыбором типа теста, когда тип теста не соответствует поставленным задачам в конкретнойситуации педагогического оценивания (например, неправомерно использовать итоговый тест вкачестве вступительного).Очевидно, что среди перечисленных возможных ошибок в тестах можно выделить те,которые существуют по вине разработчика теста, а также те, которые возникают благодарянедочетам в работе тестора или аналитика и, возможно, менеджера, ответственного заосуществление учебного процесса.
При этом серьезные ошибки на любом из этих этаповспособны нивелировать усилия всех остальных участников процесса.Предположение о том, что ошибки в разработке и применении тестового инструментариявлияют на результаты выполнения тестов испытуемыми, нуждается в экспериментальнойпроверке, цель которой – показать, что если будут учтены неудачи тестирования ипредупреждены ошибки в применении контрольно-измерительных материалов, то результатытестирования окажутся более точными и эффективность процедуры проведения теста возрастет.В главе 3 «Экспериментальное исследование значения методических ошибок втестах» описан педагогический эксперимент, для проведения которого было подготовлено дватеста: экспериментальный и стандартный.
Экспериментальный тест состоял из 103 заданий,включающих 80 заданий на проверку использования лексики и грамматики и 23 задания наоценку навыков чтения. В процессе составления экспериментального теста использовано дватипа заданий, составивших, таким образом, две половины общего теста. В первую часть вошлизадания, в которых при их составлении были допущены ошибки. Во вторую часть вошлианалогичные им задания, но корректно составленные.
Вопросы обеих частей теста были вконечном итоге предъявлены испытуемым в случайном порядке. Для составления вопросовиспользовались материалы из опубликованных сборников или учебников (Albery D. «LanguageLeader Teacher's Book and Test Master CD-ROM»; Evans V., Dooley J. «Upstream Intermediate:Test Booklet» и других).Тест был предъявлен 47 учащимся 9-10 классов Академической гимназии имениД. К. Фаддеева СПбГУ. Тестовые задания подбирались в соответствии с уровнем подготовкиучащихся гимназии.
По окончании выполнения теста учащиеся ответили на вопросы анкеты,состоящей из 4 пунктов:1.Какие из заданий были для вас самыми сложными?2.Все ли задания и инструкции к ним были понятны? Если нет, то какие были непонятны?3.Были ли среди заданий такие, которые вам хотелось бы исключить из теста?154.Ваши комментарии по выполнению теста (по желанию).Кроме этого, учащимся в ответных бланках предлагалось выразить свое отношение котдельным пунктам теста по двухбалльной шкале, для чего напротив каждого задания былиразмещены по два эмотикона: и . Тестируемые могли выбрать один из них дляхарактеристики своего отношения к заданиям непосредственно во время их выполнения.Были использованы следующие варианты некорректно составленных тестовых заданий.1.
Субтест из 10 заданий, к которым дана общая неверно составленная инструкция: «Putthe correct present form (perfect, continuous or simple) of the verb in the brackets in the blanks».Эта группа заданий была использована авторами-составителями в тестах к учебнику«Language Leader (Upper Intermediate)» (Albery 2008). В данном задании желанием разработчикабыло дифференцировать использование учащимися двух перфектных форм настоящеговремени глагола, а именно – present perfect и present perfect continuous. Но в связи с нечеткойформулировкой инструкции задание воспринималось большинством тестируемых кактребование сделать выбор из трех форм настоящего времени (present perfect, present continuousor present simple), что сбивало с толку многих студентов, заставляя их заведомо неправильноприменять в ответах указанные видовременные глагольные формы. Влияние восприятия,подготовленного таким образом в процессе учебы, оказалось настолько сильным, что 100%тестируемых в ходе выполнения этого задания поняли инструкцию неверно, выбрав средипрочих ответов и те глагольные формы, которые не относились к перфектным.2.
У второй группы заданий инструкция также была неверно составлена, но уже по другойпричине. Она была сформулирована следующим образом: «Вставьте необходимые предлоги».На самом деле не во всех заданиях субтеста было необходимо вставлять предлоги, внекоторых заданиях ничего не нужно было вставлять. Обычно в инструкциях к заданиям такогорода пишут: «Вставьте предлоги там, где это необходимо». Предлагаемая составителямиинструкция могла трактоваться двояко и понималась некоторыми учащимися так, что во всехзаданиях необходимо было вставлять предлоги.
Поэтому они стремились подобратьподходящий, с их точки зрения, предлог даже там, где этого не требовалось, увеличивая темсамым количество неверных ответов. Ответы испытуемых показали, что, в отличие отпредыдущего задания, инструкция была неправильно понята 48,9% учащихся.3. Ряд вопросов теста требовал от учащихся культурологических знаний, которыми далеконе все они обладали, в частности, вопросы №1, 2, 3, 6, 8, 11, 13, 14 к тексту “Who are the mostpopular British writers?”, в котором проверялись навыки чтения. Приведем пример такихзаданий.16The (A11__) of Jane Austen (1775-1817) are known for their subtlety of (12__) and irony,together with their penetrating insight into the (A13__) life of the middle-classes in the (A14__) part ofthe 19th century.Предлагаемые ответы:A111 stories2 poems3 fairytales4 novelsA121 observation2 transformation3 fascination4 informationA131 dangerous2 provincial3 prosperous4 boringA141 later2 second3 early4 stormyОчевидно, что для выполнения этих заданий необходимо некоторое знакомство створчеством Дж.
Остин, а для остальной части теста – с творчеством В. Шекспира иЧ. Диккенса. Более половины (8 из 15) вопросов теста требуют от тестируемыхдополнительных знаний, имеющих лишь опосредованное отношение к оценке навыков чтения.Это несоответствие нашло отражение и в субъективном отношении тестируемых школьников квыполнению задания, что было отражено в их анкетах. Некоторые записи передаютвозмущение, испытываемое школьниками при выполнении таких заданий - например, утестируемого №28: «Я не читал Джейн Остин, откуда спрашивается брать информацию о ней иее произведениях?» (синтаксис источника сохранен).4.
Ошибки, связанные с оформлением заданий и организацией тестового материала.Были намеренно допущены следующие ошибки: в бланке задания по чтению напечатаналишняя табличка для ответов на 6 вопросов, которых не было в тесте; один из вопросов взадании V повторялся дважды; в бланке задания VI столбики с номерами заданий поменялисьместами. В ходе исследования выяснилось, что непосредственно на результат выполнения тестаэти ошибки не повлияли, но, согласно ответам анкеты, вызвали негативные эмоции утестируемых и отвлекли внимание, а значит, оставили меньше времени на выполнение другихзаданий.Одно из заданий на трансформацию предложений приводилось с сохранением опечаткисоставителя:Students must present an ID card when entering the library.allowedStudent’s …………………………...... the library without an ID card.Здесь в слове «Student’s» допущена опечатка, слово должно писаться без апострофа.
Вданном случае эта ошибка в задании мешает понять его смысл, и это отразилось в ответахтестируемых. 34% выборки догадались о правильной структуре предложения в задании, но 17% испытуемых не смогли дать никакого ответа на вопрос; 30% учащихся не поняли смыслапредложения или сформулировали свой ответ с ошибкой, еще 17% дали грамматически верныйответ, который не совпадал с ключом составителя к данному заданию, и потому не17засчитывался. Только один из тестируемых отметил, что в тексте имеется опечатка, и дал дваварианта ответа – по одному для каждой возможной ситуации.Таким образом, одни ошибки и опечатки при оформлении тестовых заданий могутприводить к снижению результатов выполнения теста, другие могут не влиять непосредственнона количество баллов, но отвлекают тестируемых от выполнения заданий, сокращают время,оставшееся на их выполнение, и способствуют негативному отношению к тесту.5.Узкий контекст задания, допускающий домысливание ситуации, иное ее понимание, непредусмотренное ключом.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
