Диссертация (1146738), страница 19
Текст из файла (страница 19)
Рассмотрим подробнее эти категории.2.1.1. Ошибки при подборе лингвистического материалаВ процессе разработки тестов на владение иностранным языком на первыйплан обычно выходит отбор лингвистического материала, адекватного задачампедагогического оценивания. В процессе такого отбора встречаются следующиенедочеты:А) языковые ошибки (например, использование устаревших грамматическихнорм или отсутствие учета лексической многозначности слова). Пример задания,котороенерекомендуетсяиспользоватьвтестахиз-заустаревшейграмматической нормы (Голицынский 2006 а, б). Дана инструкция: «Раскройтескобки, употребляя глаголы в Present Continuous, Present Simple или в FutureSimple».96I (to play) chess tomorrow.В качестве ответа предлагается единственный вариант «I shall play».Современная норма «I will play» не рассматривается как верный ответ;Б) неадекватный подбор тестовых заданий с точки зрения языка: высокийуровень абстракции (не соответствующий контингенту испытуемых или целиисследования), логически непоследовательное изложение, малоупотребительнаялексика, упоминание социокультурных реалий, не знакомых тестируемому или несоответствующих реалиям настоящего времени.Приведемпримерподобноготестасустаревшимсодержанием,разработанного на основе текста из учебника английского языка для VIII классасредней школы А.
П. Старкова и др. (1984, с. 53):Newspapers and magazines play a very (1) role in our life. There is (2) nofamily that does not receive (3) or two newspapers and magazines. Each (4) on the5th of May the (5) people of the Soviet Union celebrate (6) traditional Press Day.The working people (7) the heroes of our time. They (8) described in articles,stories and reports. (9) Soviet press pays much attention to (10) cultural needs andcommunist education. It (11) against bourgeois ideology and everything that (12)in the way of progress.
The (13) of the Soviet press are proletarian (14) andfriendship, they are the ideals (15) Communism.(Ключ: 1 — important; 2 — practically: 3 — one; 4 — year; 5 — working; 6 —their; 7 — are; 8 — are; 9 — the; 10 — their; 11 — struggles; 12 — stands; 13 —ideals; 14 — internationalism; 15 — of);В) недостаточное или избыточное количество тестового материала.В качестве примера недостаточного объема языкового материала приведемфрагмент теста, составленного на основе учебника «Английский язык дляпсихологических факультетов: учебное пособие» (Мельник, Зенкевич 2006,с.185).
Инструкция сформулирована следующим образом: «Two of the words ineach group below are similar in form or meaning. Check the word that doesn’t belong».1. resentment2. confidentencouragementsureangerdependentВ каждом из этих примеров возможен выбор не одного, а двух ответов. Винструкции предлагается определять лишнее слово как по форме, так и позначению.
Если ориентироваться на лексическое значение слов, то ответами будутencouragement и dependent, а если принимать в расчет морфологию и особенностисловообразования, то правильные ответы – anger и sure. Такой двусмысленностине возникло бы, если бы в задании присутствовало еще по одному слову,определяющемуокончательныйкритерийвыбора(лексическийилиморфологический).
Например, добавив в первое задание слово indignation, мыполучим единственный правильный ответ – encouragement (по лексическомукритерию), или же, добавив слово assessment, получим единственный ответ anger(по морфологическому критерию).Пример избыточного количества материала в тестах – тексты, содержащиепробелы, которые нужно заполнить. Если такие тексты содержат длинныефрагменты из предложений, в которых пробелов нет, то их эффективность будетневысока, поскольку испытуемые должны будут тратить время на чтение иосмысление отрывков, не вносящих вклад в общую тестовую оценку;Г) несоответствие сложности заданий уровню подготовки испытуемых слексико-грамматической точки зрения (неоправданно широкий или, напротив,узкий лексический спектр, использование в большом количестве грамматическиеконструкций, заведомо незнакомых испытуемым, либо использование заданий сизлишне упрощенной грамматической структурой для оценивания испытуемых свысоким уровнем языковой подготовки);Д) использованиеиспытуемого,тоестьзаданий,представляющихнеобходимостьдляегодвойнуютрудность дляуспешноговыполненияпродемонстрировать знание более чем одного лексического или грамматическогоявления.Рассмотрим, к примеру, такое задание из теста (Блинова 2005, с.
71):98If I ……………………….. a launch here I ………………………… this afternoon.Предлагаемые варианты ответов:A can hireA get offB could hireB will get offC could have hiredC would get offЗадание направлено на оценивание знаний раздела «условные предложения»,но для его выполнения необходимо также знание фразовых глаголов (get off).Кроме того, в задании присутствует еще одна сложность – лексическая: переводвыражения to hire a launch, где launch в значении существительного (моторнаялодка, катер) по своему частотному употреблению совсем не обязательно должновходить в лексикон испытуемого. Получается, что перед ним в одном заданиипоставлены сразу три проблемы.
Конечно, можно разрешить воспользоватьсясловарем для ответа на вопросы теста, но будут ли оправданы при этом затратывремени и энергии испытуемого, если все, на что задание было направлено позамыслу разработчика, – это построение второго типа условных предложений? Помнению А.
Н. Майорова, задание в тесте должно проверять только один элементзнания, в противном случае будет непонятно, что именно послужило причинойневерного ответа (Майоров 2001);Е) несоответствие содержания заданий целям тестирования (проверка общейкомпетенции, а не знания языка)Как пример, рассмотрим следующее тестовое задание (Evans, Dooley 2009,р.
14):Fill in the correct word derived from the word in bold.Pandas are considered to be a(n) …………………… species.DANGERВ качестве ответа нужно вставить слово ENDANGERED, подразумевающее,что панды, о которых идет речь в задании, находятся на грани исчезновения какбиологический вид. Однако автору данной работы пришлось столкнуться сситуацией, когда некоторые студенты, очевидно, не имея представления ни обопасности, угрожающей этим милым и безобидным животным, ни о самих этих99животных, посчитали панду опасным зверем (это же медведи!) и выбрали ответDANGEROUS.При этом их нельзя на основании этого задания упрекнуть в незнаниианглийского языка: с лексико-грамматической точки зрения все выполнено верно.Проблема заключается в недостатке так называемых «фоновых знаний», инымисловами, студенты оказались не слишком эрудированными.Так или иначе,задание было выполнено неправильно, но это характеризует не уровеньобученности языку, а кругозор студентов, то есть уровень их общей компетенции;Ж) неравномерное отражение различных разделов изучаемого материала,подлежащего проверке в тесте.
Так, в тесте Oxford Placement Test в разделеGrammar из 100 вопросов теста целый блок из 10 заданий (то есть десятая частьобщего объема) посвящен разделительным вопросам (disjunctive questions), чтонепропорциональноотражаетсодержаниеграмматическогоматериала,подлежащего проверке (Павловская 2003);З) несоответствие содержания заданий жизненному опыту и возрастнымособенностямтестируемых.Например,«…когдатесты,первоначальнопредназначавшиеся для детей и разрабатывавшиеся применительно к школьнойобстановке, вследствие их расширения впервые проводили на взрослых, те частоотносились к таким тестам враждебно и критично…» (Анастази, Урбина 2001,с.
138);И) низкие показатели надежности и валидности теста.В научных исследованиях такие примеры встречаются редко, посколькунадежность и валидность считаются основополагающими свойствами любогостандартизованного теста, и они всегда принимаются в расчет, прежде чем тестбудет использоваться на практике. Но для определения этих характеристиктребуются математические процедуры, которые достаточно трудоемки и требуютспециальных знаний, поэтому на уровне преподавательских тестов они далеко невсегда целенаправленно измеряются, в результате чего надежность и валидностьтаких методик часто бывает недостаточна;100К) недостаточное или чрезмерное количество альтернативных ответов (взаданиях с множественным выбором).В качестве примера рассмотрим фрагмент преподавательского теста наоснове материала учебника «Английский язык для психологических факультетов:учебное пособие» (Мельник, Зенкевич 2006, с.114-115), составленный педагогамидля промежуточного контроля при обучении студентов-психологов:-2- Adler man is a whole -3- a sum of his parts.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
