Диссертация (1097366), страница 29
Текст из файла (страница 29)
Этот показательподсчитывается 2 раза — для всего теста и затем для теста, из которогоудаленытакназываемые«экстремальные»задания/утверждения,выполненные определенными тестируемыми (так называемые экстримы).В данном случае первая величина составила 0,68, а вторая — 0,71.Очевидно, что удаление нескольких экстримов не влияет на показания пошкале;полученнаяшкаланадежна.Ещеодниминформативнымпоказателям является показатель «страты» (strata), который говорит о том,сколько групп тестируемых данный тест различает статистически. Вданном случае «страта» для всего теста 2,28, а для тестов с удаленнымиэкстримами — 2,43.
Эти показатели похожи друг на друга. Так, несмотряна то что в данной выборке по тесту на понимание прочитанногосуществуют экстримы, они несущественно влияют на показатели теста.Величины «страт» говорят о том, что тест статистически надежноразличает слабых, средних и сильных тестируемых. Диапазон латентнойспособности испытуемых в данной выборке варьировался от 4,14 (этасамая высокая оценка была дана учащейся 2-го класса) до –5,36 (эта самаянизкая оценка была дана учащемуся 2-го класса).Таким образом, приведенный здесь тест на понимание прочитанного,будучи проанализированным с помощью MFRM, обладает адекватнымипсихометрическими свойствами, покрывает большой диапазон возрастовпри возможности проведения тестирования в относительно короткий срокразными перекрывающимися формами теста и позволяет статистическидифференцировать по крайней мере 3 группы тестируемых. Однаковозникает вопрос: как сопоставляются результаты по этому тесту,полученные в контексте НП (MFRM), с результатами, полученными вконтекстеКП(т.е.методом простогоподсчета правильныхинеправильных ответов)? Для получения ответа на этот вопрос былипроведены 2 анализа.159Во-первых, был подсчитан простой суммарный балл по тесту напонимание.
Этот балл был прокоррелирован с оценкой латентнойспособности, полученной методом MFRM. Корреляция составила r = 0,32(р < 0,001). Очевидно, что 2 метода переработки информации, полученнойот тестируемых, даже когда данные собраны на одном и том же тестовомматериале и в одной и той же выборке, дают суммарные баллы, которыевесьма далеки друг от друга.
Без сомнения, это важная информация кразмышлению, говорящая о том, что простой подсчет правильных ответов,скорее всего, неадекватно отражает уровень процесса пониманиятестируемых.Во-вторых, эта глава была начата со сравнения одинаковыхпоказателей, полученных двумя тестируемыми — оба тестируемых имелиодно и то же количество баллов, но в одном случае эти баллы былиполучены на более легких, а в другом — на более трудных заданиях. Длятого чтобы продемонстрировать преимущество показателей, полученныхНП (MFRM), по сравнению с полученными КП, из большой выборки былавыбрана небольшая группа испытуемых, сгруппированных в несколькоподгрупп по классам, в которых они обучаются. При анализе методамиКП, в силу отличий между выполняемыми заданиями и несмотря на то чтодля каждого набора существовали перекрывающиеся номера, данные,полученные в разных классах школы (4, 6 и 8), несопоставимы иконтринтуитивны, поскольку средние для каждой из групп составили:среднее4 = 74,74; среднее6 = 44,26; среднее8 = 85,55.
Средние на латентнойшкале способностей, однако, сравнимы друг с другом и полностьюсоответствуют ожидаемым: среднее4 = 1,13; среднее6 = 1,45; среднее8 =1,54.В-третьих, как было проиллюстрировано выше, КП не показываетэтиологии заданий/утверждений; так, один и тот же показатель по КПможет занимать 2 разные позиции на шкале латентной способности,произведенной в контексте НП. MFRM предлагает несколько вариантов160интерпретации совместного распределения баллов, полученных длязаданий/утверждений и латентной шкалы способностей.
Одним из такихвариантов является анализ так называемых «неожиданных ответов» —ответов, данных конкретным испытуемым на данное конкретное задание включе, который не соответствует паттерну ответов, зарегистрированныхдля этого тестируемого.§ 8.3. КомментарииИтак, в данной главе коротко описаны основные принципы MFRM иданы иллюстрации этих принципов. Применение MFRM при работе синструментарием для изучения процесса понимания прочитанногопозволило следующее.
Во-первых, было показано, как создать первичнуюбазу данных, с помощью которых теперь возможно исследовать процесспонимания прочитанного более-менее систематически, опираясь на наборпараграфов из данного исследования как некий базовый, и постояннодополнять банк параграфов (и соответственно заданий) новыми единицамиили заменять старые, неудачные с психометрической точки зренияпараграфы и задания новыми.
Во-вторых, НП, в отличие от КП, позволяетобъединить в одном анализе ответы на вопросы множественного выбора иоткрытые утверждения. В-третьих, на одну шкалу латентных способностейбыли рядоположены тестируемые очень разных возрастов. Это огромноепреимущество НП по сравнению с КП при исследовании выборок,включающих несколько поколений (например, выборок, состоящих изсемей; см. главу 10).161Рисунок 8.1. Распределения тестируемых (левая колонка), рэйтеров(средняя колонка) и заданий/утверждений (правая колонка) на шкалелатентной способности (по FACETS)Vertical = (1*,2A,3*,S) Yardstick (columns lines low high extreme)= 0,5,-4,5,End+------------------------------------------------------+|Measr|+Subject|-raters|-items| S.2 ||-----+------------+------------------+----------+-----||5 + .+++ (5) ||||||||| .|||||| .|||||| .|||||4 ++++||||||||| .|||||| .|||||| .|||||3 + .+++||| .|||||| .|||||| .|||||| *.||| --- ||2 + **.++ **+||| **.|| *|||| ****.|| **|||| ****.|| *****| 4 ||| ******.|| ******** |||1 + ********.
++ *****+||| *******.|| ***|||| *********. || *| --- ||| *******.| Rater03| *|||| *******.|| *||*0 * *****.** ***** 3 *|| ****.| Rater01 Rater02 | *****|||| **.|| ***|||| **.|| ***| --- ||| *.|| *****||| -1 + .++ ****+||| .|||||| .|| *| 2 ||| .|| ****|||| .||||| -2 + .++ *+||| .||| --- ||||| *|||||| ***|||| .||||| -3 +++ *+||| .||||||||||||||||||||||| -4 + .+++ (1) ||-----+------------+------------------+----------+-----||Measr| * = 45|-raters| * = 1| S.2 |+------------------------------------------------------+162Рисунок 8.2. Зависимость оценок рэйтеров от уровня латентнойспособности (по FACETS)163Глава 9.
Понимание прочитанного и его предикторы§ 9.1. ВведениеКак упоминалось выше (см. главу 2), с момента получения в 2000 г.первых результатов тестирования при выполнении Программы помеждународной оценке учащихся (Programme for International StudentAssessment,PISA),проводимойОрганизациейэкономическогосотрудничества и развития (Organization for Economic Cooperation andDevelopment, OECD), стало понятно, что Россия с точки зренияпоказателей тестирования 15-летних школьников среди стран ОЕСD(Организации экономического сотрудничества и развития) и их партнероввыглядит неудовлетворительно.Результаты российских школьников по PISA вызывают большуютревогу и значительный интерес среди ученых России (Цукерман,Ермакова, 2003). Были проведены попытки понять паттерн результатовшкольников и опубликованы несколько гипотез причин их невысокихзначений (Каспржак, Митрофанов, Поливанова и др, 2004).
Интересноотметить, что по своему характеру эти причины были сформулированы науровненеспособностишкольников,покрайнеймеревовремявзаимодействия с заданиями PISA, гибко самоорганизоваться и применятьметакогнитивные навыки при попытке сформулировать правильный ответ.Было сделано утверждение, что российские ученики в целом умеют читатьи понимать тексты и давать на них ответы в различных формах (Каспржаки др., 2004), подразумевающее, что разброса по психологическимпроцессам, связанным с умением читать, среди наших школьников илинет, или он несущественный.
Это утверждение косвенно подтверждаетсянаблюдениями в процессе международного исследования 10-летнихшкольников PIRLS (Progress in International Reading Literacy Study —исследования, проводящегося каждые 5 лет организацией InternationalAssociation for the Evaluation of Educational Achievement) 2006 г., где наши164четвероклассникипоказалиочень хорошие результаты(Цукерман,Ковалева, Кузнецова, 2007). В данной главе рассматривается допущение отом, что понимание прочитанного у российских школьников не связано свариативностью по показателям процессов низкого уровня применительнок чтению (они же все умеют читать, поcмотрите на результаты 4-гокласса!).
Иными словами, в данной главе рассматривается степень того,насколько показатели понимания прочитанного (то есть показатели, посути, идентичные тем, которые используются в исследованиях PIRLS иPISA) зависят от показателей более «низкого» уровня переработкиинформации(тоестьпоказателейфонетико-фонематических,орфографических и морфологических) не только в младшей школе, но и напротяжении всей школьной карьеры (то есть и в старшей школе тоже).Пониманиеиерархическийпсихологическихпрочитанногопроцесс,представляеткоторыйпроцессовразныхвключаетуровней;всобойсложныйсебямножествокачествоиглубинапонимания прочитанного определяется не только качеством когнитивныхпроцессов«высокого»уровня(например,показателямипроцессоввыделения критической информации из текста, инференциальнымипроцессами, процессами формулирования и проверки гипотез, связанных снахождением правильного ответа).
Соответственно, индивидуальныеразличия по каждому из этих составляющих процессов вносят вклад вобщие показатели разброса по индикаторам понимания прочитанного. Сточкизрениямеханическойвертикальнойструктурыпониманияпрочитанного обычно выделяют несколько уровней: 1) пониманиезначений читаемых слов; 2) понимание предложений, которые составленыиз этих слов; 3) понимание текста из этих предложений. Каждый изпоследующих уровней подразумевает понимание не обязательно полное,но достигающее определенного критического значения на предыдущемуровне(так понимание параграфа приходит легче, если понятыпредложения, составляющие этот параграф). Однако это движение по165уровням понимания осуществляется и в обратном направлении.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
