Диссертация (1099176), страница 22
Текст из файла (страница 22)
Всего в исследовании приняли участие 1800 учащихся школ России, Великобритании, и США. В российскую выборку вошли 700 учащихся шести средних общеобразовательных школ г. Москвы (в возрасте от 8 до 14 лет, M =
-
78, SD = 1.39; 49% жен.). В английскую выборку вошли 700 учашихся тридцати семи школ г. Хартлпул и г. Ньюкасл (в возрасте от 7.83 до 13.08 лет, M = 11.75, SD = 1.32; 49% жен.) Американскую выборку составили 400 учащихся пяти школ г. Нью-Йорк и г. Баффало в возрасте от 7.92 до 13.83 лет (M = 11.46, SD = .69; 54% жен.).
Группы статистически значимо не различались по гендерному соотношению, ! (2) = 3.87, p > .05. Однако группы различались по возрасту, F(2,1797) = 9.91, p < .001. Post-hoc анализ по методу Бонферонни обнаружил, что американские школьники были моложе, чем английские и российские школьники (оба p < .001), при этом не было различий между российскими и английскими школьниками (p > .05). Отметим, что несмотря на наличие значимых различий, величина эффекта в данном случае является незначительной - американские школьники в среднем на 4 месяца моложе, чем российские (d = - .28) и английские школьники (d = - .28).
§5.1.2. Тестовая батарея Аврора-а
В исследовании на выборках учащихся средних школ применялся диагностический инструментарий, построенный для других возрастов аналогично тестовой батарее ROADS, использованной на выборках студентов. Соответствующая тестовая батарея Аврора была разработана в рамках проекта, начатого в 2004 г. Р. Стернбергом и Е.Л. Григоренко (Chart et al., 2008; Kornilov et al., 2012; Tan et al., 2009), и представляет собой многопрофильный модуль диагностики способностей, основанный на теории успешного интелекта Р. Стернберга (Sternberg, 1999d). Аврора состоит из пяти модулей: групповых тестов (Аврора-a и Аврора-g), структурированного интервью для родителей (Аврора-i), оценочной шкалы для учителей (Аврора-r), модуля индивидуального тестирования и наблюдения (Аврора-o), а также опросника
147
для детей (Аврора-^). Все они включают диагностику трех типов способностей
-
аналитических, творческих, и практических.
В настоящей работе был использован групповой тестовый модуль Аврора-а (от англ. augmented - расширенный), который включает 17 субтестов, разработанных на основе схемы, представленной в Таблице 5.1.2.1: максимальный охват способностей ребенка в различных сферах достигается за счет привязки структуры теста к теории, позволяющей получить оценки способностей согласно виду стимульного материала (вербальный, визуальный и числовой) и типу способностей (аналитические, творческие и практические), что обеспечивает максимально гибкий подход к диагностике способностей. Отличительной особенностью модуля Аврора-а является стремление к элиминации эффектов потолка за счет включения заданий и субтестов различной сложности и различного типа: от традиционных «закрытых» заданий со множественным выбором до заданий, предполагающих короткие и «открытых заданий», предполагающих генерацию развернутых ответов. Открытые задания оценивались группами экспертов (см. ниже). В 2007 г. факультет психологии Московского государственного университета имени М.В. Ломоносова в сотрудничестве с Йельским университетом начал адаптацию субтестов Аврора-а. По результатам пилотажного исследования к 2008 г. в субтесты были внесены изменения, связанные с унифицированием и упрощением инструкций, заменой редко используемых и незнакомых детям слов (см. Tan et al., 2009). Предварительные психометрические данные были опубликованы для расширенной выборки величиной около ~100 учащихся (Корнилов и др., 2009).
§5.1.3. Успеваемость В качестве показателей успеваемости для 326 из 700 участвующих в исследовании российских школьников были получены средние баллы за последние две четверти по следующим предметам: литература, русский язык, математика, изобразительное искусство.
В качестве показателей успеваемости для английских школьников были получены результаты прохождения ими обязательных национальных экзаменов по системе Key Stage 2 (KS-2), направленных на выявление соответствия уровня успешности обучения учащихся чтению, навыкам письма, наукам и математике национальным стандартам. Показатели были получены для 591 из 700 английских школьников (см. описание KS-2 у Kornilov et al., 2012)
|
Таблица 5.1.2.1. Субтесты Аврора-а, сгруппированные по типу стимульного материала (по горизонтали) и типу способностей (по вертикали) | Аналитические | Творческие | Практические |
| Визуальный | Фигуры: необходимо найти недостающую часть фигуры (10 заданий) (МВ) Плавающие лодки: необходимо найти схожую с образцом структуру связей (10 заданий) (МС) | Книжные обложки: необходимо проинтерпретировать абстрактное изображение и придумать историю (5 заданий) (О3) Способы использования предметов: надо придумать три возможных способа использования различных предметов (5 заданий) (03) | Разрезание бумаги: необходимо найти соответствующий сложенному образцу «развернутый» ответ (10 заданий) (МВ) Игрушечные тени: необходимо найти тень, которую отбрасывает игрушка в определенном положении (8 заданий) (МВ) |
| Вербальный | Слова, которые звучат одинаково (Омофоны): необходимо закончить предложение, используя омофоны (21+28 заданий) (КО) Метафоры: необходимо описать сходство между несвязанными объектами (9 заданий)(О3) | Разговоры: необходимо придумать диалог между неживыми объектами (10 заданий) (О3) Интересные выражения: необходимо опознать предложение, могущее идти следующим за содержащим фразеологизмы (12+12 заданий) (МВ) | Заголовки: необходимо найти забавное альтернативное значение реального газетного заголовка (11+11 заданий) (КО) Решения: надо составить список «за» и «против» принятия решения из имеющихся альтернатив (13 заданий) (КО) |
| Числовой | Числовые карточки: надо найти цифру, которая соответствует букве в уравнении (5 заданий) (КО) Текстовые задачки: необходимо предложить решение задачи с двумя и более неизвестными (5 заданий) (КО) | Говорящие числа: необходимо разъяснить ситуацию общения между числами (7 заданий) (О3) | Карты: необходио найти наилучший маршрут между домами друзей и пунктом назначения (10 заданий) (КО) Деньги: необходимо разделить сложные счета между друзьями (5 заданий) (КО) |
Примечание. МВ - задания со множественным выбором, КО - задания с коротким ответом, 03 - открытые задания.
Показатель Успеваемость (Усп. в Таблице 5.3.4.1) был получен путем усреднения всех доступных показателей отдельно для обеих выборок.
§5.1.4. Процедура
Все учащиеся принимали участие в групповом тестировании добровольно. Субтесты Авроры-a были сгруппированы в 4 пакета, которые предъявлялись в прямом и обратном порядке (субтесты внутри пакетов также предъявлялись в прямом и обратном порядке), таким образом, что в каждом пакете были представлены задания, направленные на измерение каждого из трех типов способностей.
Американские и английские студенты проходили тестирование по всем четырем пакетам, тогда как в виду временных ограничений российские школьники проходили тестирование только по двум пакетам. Проведение каждого пакета занимало 45-50 минут. Для получения максимальной информации об уровне развития аналитических, творческих и практических способностей российских школьников, мы использовали несбалансированный
с» с» с» 1—'
якорный блочный дизайн. Были выбраны два «якорных» пакета, продемонстрировавшие максимальные психометрические свойства на пилотажной выборке. Эти пакеты предъявлялись учащимся вместе с еще одним пакетом таким образом, чтобы все комбинации якорных пакетов с остальными двумя пакетами были предъявлены приблизительно одинаковому количеству учащихся различных возрастов.
§5.2. Результаты
§5.2.1. Психометрический анализ субтестов батареи Аврора-а и предварительные межгрупповые сравнения
Для установления психометрических свойств семнадцати субтестов батареи Аврора-a нами применялась однопараметрическая модель Раша. Значения показателя надежности IRT-R варьировали от .17 до .87 (Med = .62), что представлено в Таблице 5.2.1.1. Отметим, что данные коэффициенты являются приемлемыми в контексте анализа отдельных субтестов, количество заданий в которых варьировало от 3 до 49. В Таблице 5.2.1.1. также представлены параметры сепарации IRT-S, свидетельствующие о том, что практически все субтесты (за исключением одного - Текстовые Задачки) позволяют выявлять более, чем один уровень способностей школьников. Процент дисперсии, объясняемый моделью Раша, варьировал от 20.35% до 76.58% для различных субтестов.
Дальнейший анализ проводился в рамках IRT-подхода при использовании данных всех трех выборок для установления дифференциального функционирования заданий (DIF) и разницы в значениях по вычисляемому показателю латентных переменных способностей. Анализ аналитических субтестов выявил значимые DIF задания для 4 из 6 субтестов. В большинстве случаев различия были связаны с дифференциальной сложностью
С» U U С» U U
заданий для российской выборки в сравнении с американской и английской выборками - как и в случае с батареей ROADS (см. предыдущую главу), простые задания оказывались проще для российских школьников, чем для американских и английских, а сложные - сложнее. Предварительный однофакторный ANOVA анализ средних выявил значимые различия (см. Таблицу 5.2.1.2) для трех из шести аналитических субтестов - российские школьники в целом демонстрировали более высокое развитие аналитических способностей, чем английские и американские школьники51. Отличия между английскими и американскими школьниками были обнаружены для одного вербального субтеста и одного числового субтеста; при этом американские школьники демонстрировали более высокий уровень развития аналитических способностей. Для одного из субтестов, Омофоны, выявление DIF не было возможным из-за специфичности вербального материала, поэтому прямое сравнение баллов, полученных для трех выборок, невозможно.
DIF-анализ творческих субтестов52 также выявил наличие DIF для трех из пяти субтестов. Однако в данном случае DIF проявлялось в повышенной легкости сложных заданий для российских школьников по сравнению с английскими и американскими школьниками, т.е. российские школьники выполняли сложные задания лучше при схожем с американскими и английскими школьниками уровне развития творческих способностей. DIF- задания были исключены из дальнейшего анализа. Сравнение средних выявило наличие слабых, но значимых различий в уровне развития творческих способностей школьников - так, российские и английские школьники демонстрировали более низкие значения, чем американские школьники, по двум из пяти творческих субтестов. Для одного из субтестов, Интересные Выражения, выявление DIF не было возможным из-за специфичности вербального материала, поэтому прямое сравнение баллов, полученных для трех выборок, невозможно.
|
Таблица 5.2.1.1. Итоговые параметры IRT-моделей для субтестов Аврора-а Субтест | N заданий | N DIF заданий | а | Итог. N заданий | Метод избавления от DIF | % диспе рсии | IRT-R | IRT-S |
| Фигуры | 10 | 5 | .002 | 5 | Исключение | 20.35 | .40 | 1.12 |
| Плав. лодки | 10 | 0 | .002 | 10 | - | 27.91 | .64 | 1.32 |
| Омофоны | 21+28 | - | - | 21+28 | - | 50.46 | .68 | 1.45 |
| Метафоры | 9 | 4 | .002 | 5 | Исключение | 40.65 | .73 | 2.54 |
| Числ. карт. | 5 | 1 | .003 | 4 | Исключение | 76.58 | .33 | 1.27 |
| Текст. задач. | 5 | 2 | .003 | 3 | Исключение | 74.40 | .17 | .45 |
| Книж. обл. | 5 | 1 | .003 | 4 | Исключение | 62.55 | .87 | 3.79 |
| Спос. исп. пр. | 5 | 0 | .003 | 5 | - | 57.53 | .85 | 3.48 |
| Разговоры | 10 | 4 | .002 | 6 | Исключение | 48.24 | .85 | 3.46 |
| Инт. выраж. | 12+12 | - | - | 12+12 | - | 33.31 | .62 | 2.02 |
| Говор. числа | 7 | 3 | .002 | 4 | Исключение | 49.15 | .78 | 2.81 |
| Разрез. бумаги | 10 | 0 | .002 | 10 | - | 36.59 | .61 | 2.00 |
| Игруш. тени | 10 | 0 | .002 | 10 | - | 29.01 | .54 | 1.78 |
| Заголовки | 11+11 | - | - | 11+11 | - | 43.35 | .73 | 2.52 |
| Решения | 17 | 1 | .001 | 16 | Исключение | 45.99 | .56 | 1.83 |
| Карты | 10 | 2 | .002 | 8 | Исключение | 36.30 | .60 | 1.95 |
| Деньги | 5 | 2 | .003 | 3 | Исключение | 60.77 | .41 | 1.45 |
Примечание. N DIF заданий - количество заданий, продемонстрировавших значимый DIF. % объясненной дисперсии, IRT-R (надежность) и IRT-S (сепарация) приведены для итоговой модели, корректирующей или исключающей DIF задания. а - значение а, на основе которого принималось решение об отвержении Н0 об отсутствии DIF.
|
Таблица 5.2.1.2. Описательные статистики для субтестов Аврора-а и результаты ANOVA | ! (2) | Россия | Великобр. | США | ||||||
| Субтест | F | p | p | M | SD | M | SD | M | SD | |
| Фигуры | 6.92 | .001 | 1.70 | .42 | -.62а | 1.16 | 5 о\ і' | 1.22 | b 7 o\ -. | 1.20 |
| Плав. лодки | 1.01 | .366 | .30 | .88 | .00а | 1.69 | -.17а | 1.67 | -.17а | 1.70 |
| Омофоны* | 13.64 | .000 | 41.6 | .00 | 4 .7 | 2.48 | 2 .6 | 2.41 | 1.47а | 2.48 |
| Метафоры | .28 | .755 | 7.10 | .03 | 6а .7 | 1.59 | .66а | 1.43 | .68а | 1.04 |
| Числ. карт. | 34.30 | .000 | 65.8 | .00 | 1.46а | 1.51 | .66b | 1.59 | 1.39а | 1.46 |
| Текст. задач. | 50.98 | .000 | 2.60 | .27 | .40а | 1.69 | -.60b | 1.58 | -.62b | 1.71 |
| Книж. обл. | 7.48 | .001 | 34.4 | .00 | 2.01а | 3.15 | 1.26ь | 2.38 | 1.93а | 2.24 |
| Спос. исп. пр. | 1.63 | .197 | 4.00 | .13 | 1.71а | 2.49 | 1.90а | 1.91 | 2.11а | 2.10 |
| Разговоры | 9.50 | .000 | 10.8 | .00 | 1.12а | 2.14 | 1.17а | 2.38 | 1.82b | 1.47 |
| Инт. выраж.* | 3.43 | .033 | 34.5 | .00 | 8 .8 | 1.50 | 5 .8 | 1.71 | 1.13а | 1.64 |
| Говор. числа | 5.79 | .003 | 8.10 | .02 | а6 .3 | 2.34 | а2 .4 | 1.81 | .86b | 1.72 |
| Разрез. бумаги | .36 | .697 | 5.70 | .06 | -.12а | 1.55 | -.05а | 1.41 | -.03а | 1.40 |
| Игруш. тени | 6.40 | .002 | 17.8 | .00 | -.02а | 1.54 | -.04а | 1.45 | 6 .3 -. | 1.41 |
| Заголовки* | 37.91 | .000 | 16.8 | .00 | а4 .5 | .96 | а 9 .6 -. | 1.97 | b 4 .4 -. | 1.88 |
| Решения | 3.68 | .026 | 11.2 | .00 | 1.41а | 1.42 | 1.57аь | 1.36 | 1.72b | 1.31 |
| Карты | 19.93 | .002 | 16.5 | .00 | 1.95а | 1.44 | 1.28b | 1.41 | 1.28b | 1.47 |
| Деньги | 8.78 | .000 | .60 | .72 | -.15а | 1.77 | b b 3 тг l' | 1.79 | -.71b | 2.07 |
Примечание. * - субтесты с неидентичными заданиями. Буквами a,b,c отмечены
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
