Диссертация (Кросс-культурная инвариантность аналитических, творческих и практических способностей российских, английских и американских учащихся2), страница 13

,

уровень строгости при выставлении оценок). Трое тренированных экспертов⁴⁷ оценивали рассказы по четырем приведенным выше шкалам.

1. Субтест на практический интеллект “Студенческий опросник” (Clanciolo et al., 2006; Sternberg et al., 2006) представляет собой опросник на выявление неявного знания, состоящий из 10 проблемных “жизненных” ситуаций, связанных со студенческой жизнью (например, проблема оплаты обучения, распределение времени между учебой и работой, выбор специализации и научного руководителя и т.д.). К ситуациям прилагается набор (от 8 до 16) уникальных альтернатив поведения, приемлемость которых оценивается испытуемым по 7-балльной шкале: от “абсолютно не подходит” до “полностью подходит”. Итоговый балл для каждой из проблемных ситуаций представляет собой значение показателя расстояния Махаланобиса (D_M), указывающего на отклонение вектора оценок испытуемого от среднего образца из выборки, который считается “эталоном”⁴⁸.

§4.1.3. Успеваемость Переменная успеваемость для российских была построена на основе усреднения академической успеваемости (экзаменационных баллов) по результатам трех семестров: одного, в течение которого проводилось тестирование, и двух предыдущих. Для американских студентов показатель успеваемости состоял из общей средней успеваемости за все время обучения.

Лонгитюдные показатели успешности обучения для российских студентов были построены как совокупность средних баллов академической успеваемости по каждой сданной сессии за все время обучения в вузе (вплоть до 9-го семестра у отдельных групп)⁴⁹. Дополнительно, для части российской

Для американской выборки - два аспиранта факультета психологии МГУ им. Ломоносова и лаборант PACE- центра Йельского ун-та (США). Для российской выборки - студент, выпускник и аспирант факультета психологии МГУ им. Ломоносова в возрасте 18-25 лет, имеющие опыт научно-исследовательской работы в области психологии творчества.

Для вектора ^{х =} ('^с1>^;с2>^;,!:3’--”>^л:лг) при среднем У"⁼ и ковариационной матрице S,

D_M (•*) - — А⁴) $ (■* “ И) (De Maesschalck et al., 2000). Средний профиль оценок экспертов (идентифицированных как обладающих высоким уровнем развития практических способностей) и средний профиль ответов в крупных выборках высоко коррелируют (r от .91 до .95) и являются взаимозаменяемыми в исследовательских целях (Clanciolo et al., 2006).

Пересдачи без уважительных причин кодировались как «2».

98

выборки были получены показатели успешности обучения по курсу «Экспериментальная психология» как успешности выполнения рубежных контрольных работ (о процедуре и психометрических свойствах контрольных работ - см. Корнилова, Корнилов, Чумакова, 2010).

§4.1.4. Процедура

Все испытуемые принимали участие в тестировании добровольно. Российские студенты принимали участие в исследовании в рамках выполнения требований к курсу «Экспериментальная психология» или «Педагогика и психология». Американские студенты были приглашены к участию в исследовании в рамках проекта Transitions in Development of Giftedness («Переходные периоды в развитии одаренности»).

§4.2. Результаты

§4.2.1. Психометрический анализ субтестов батареи ROADS и предварительные межгрупповые сравнения Для установления психометрических свойств двух использованных субтестов CFIT (Классификация и Топология) и Словарного субтеста (Шкалы Милл-Хилл), нами был проведен анализ надежности как внутренней согласованности при использовании коэффициента а Кронбаха (Cronbach, 1951a). Значения коэффициента а были умеренными по величине и сопоставимы для двух выборок: для субтеста Классификация, а = .54 и .73 для российской и американской выборки; для субтеста Топология, а = .50 и .61 для российской и американской выборки, соответственно. В сумме, эти показатели свидетельствуют об умеренном³⁷ уровне внутренней согласованности субтестов Шкалы 3 CFIT. Высокие показатели внутренней согласованности были получены для Словарного субтеста как для российской (а = .84), так и для американской (а= .79) выборок.

Предварительный анализ средних с использованием /-критерия вымвил значимые различия в средних для обоих субтестов CFIT - для субтеста Классификация (t(₉₉₈) = -13.55, p < .001, d = -.86), для субтеста Топология (t(₉₉₈) = -15.07, p < .001, d = -.95). В обоих случаях российские студенты продемонстрировали значимо более высокие баллы флюидного интеллекта, чем американские. Отметим при этом большой размер эффекта (d), свидетельствующий о разнице в средних двух выборок в почти одно стандартное отклонение для обоих субтестов.

Дальнейший анализ проводился в рамках IRT-подхода при спецификации логистической модели Раша для дихотомических заданий (Bond, Fox, 2007) в программе FACETS for Windows v. 3.67 (Linacre, 2010) при использовании данных обеих выборок для установления дифференциального функционирования заданий (DIF) и разницы в значениях по вымисляемому показателю латентной переменной флюидного интеллекта. При этом американская выборка была разделена на две подвыборки по показателю принадлежности к этническому меньшинству, поскольку предварительный анализ выявил различия между двумя подвыборками.

Для субтеста Классификация было установлено, что Модель1 Раша объясняет 49.54% дисперсии в показателях выполнения заданий субтеста. Выявленный показатель надежности IRT-R³⁸ = .71, сепарация IRT-S³⁹ = 1.58, что свидетельствует в пользу рассмотрения субтеста как дифференцирующего студентов с высокими и низкими показателями флюидного интеллекта и обладающего удовлетворительной надежностью. Анализ локальных индексов

53

пригодности InfitMS и OutfitMS не вымвил заданий, демонстрирующих низкуюпригодность в рамках модели (Таблица 4.2.1.1). Все задания были оставлены для дальнейшего DIF анализа.

Аналог ANOVA-анализа в рамках модели Раша выявил значимые различия в уровнях флюидного интеллекта по шкале Классификация (% (₂) = 72.70, p < .01). Последующий анализ вычисленных показателей по латентной переменной флюидный интеллект в шкале логитов, проведенный с помощью однофакторного ANOVA-анализа, также выявил групповые различия в уровне развития флюидного интеллекта, диагностируемого с помощью субтеста Классификация (F(₂,₉₉₇) = 42.94, p < .001, # _p = .08). Post-hoc анализ при поправке на количество попарных сравнений по методу Бонферонни показал, что все три группы отличаются друг от друга (все p < .05), при этом российские студенты демонстрировали самый высокий уровень флюидного интеллекта по шкале Классификация (M = .21, SD = 1.59), чуть более низкий показатель демонстрировали американские студенты из группы большинства (M = -.39, SD = 1.51), а самые низкие показатели - студенты, относящиеся к группе этнических меньшинств (M = - .79, SD = 2.03).

Примечание. М - среднее. Сложность - показатель сложности в шкале логитов. S.E. - стандартная ошибка. InfitMS, OutfitMS - локальные индексы пригодности. * отмечены задания, показавшие значимое дифференцированное функционирование в двух выборках (DIF) и исключенные из дальнейшего анализа

На Рисунке 4.2.1.1 отображена сложность (в логитах) каждого задания для трех групп. Как видно из этого рисунка, сложность заданий возрастает от начала к концу субтеста. Хотя оценки сложности заданий высоко коррелировали между выборками (г = .98 для двух американских подвыборок, .93 для российской и американского меньшинства, .96 для российской и американского большинства), наблюдалось расхождение между групповыми оценками сложности заданий. Формальный статистический DIF анализ взаимодействий между фактором группы (российские студенты и американские студенты - представители большинства или меньшиств) и заданиями при

-54

поправке на количество проводимых сравнений выявил всего три задания, функционирующих (при поправке на общий уровень способности в группе) дифференцированно в трех группах⁴⁰. Так, задание 11 оказалось проще, чем ожидалось в рамках модели, для американских студентов из группы большинства ((₁₇₆) = 4.25, p < .05) и меньшинства ((₁₈₈) = 3.82, p < .05), и сложнее для российских студентов ((₄₉₈) = -4.18, p < .05). Задание 5 также

Рисунок 4.2.1.1. Сложность заданий субтеста Классификация для трех групп студентов

оказалось более сложным, чем ожидалось, для российских студентов (t(₄₉₈) = - 4.18, p < .05), и более простым для американских студентов из группы меньшинства (t(₁₈₈) = -3.72, p < .05). Задание 6, в свою очередь, было менее сложным для российских студентов (t(₄₉₈) = 5.05,p < .05) и более сложным - для американских студентов из группы меньшинства (t(₁₈₈) = -5.26, p < .05).

Последовательные попарные групповые сравнения уровня выполнения каждого задания не выявили различий в функционировании заданий между двумя американскими подвыборками (все p > .05), в то время как для всех указанных выше заданий (5,6,11) результаты совпадали с таковыми при сопоставлении ожидаемых и полученных баллов при учете общего уровня способностей (см. выше), т.е. качественные различия в функционировании заданий (проявляющиеся в виде неожиданно высоких-низких баллах при контроле уровня способностей внутри группы) были также выявлены при сравнении трех групп. Таким образом, задание 6 было более легким для российских студентов, чем американских студентов того же уровня способностей, в то время как для заданий 5 и 11 наблюдалась обратная картина (все p < .05). Наличие DIF свидетельствует не только о групповых различиях в уровне выполнения заданий субтеста Классификация, но об избирательной сложности трех заданий для американских и российских студентов одного уровня способностей. Задания 5 и 11 сходны по типу материала - в обоих заданиях классификация осуществляется на материале изображений, содержащих разное количество маленьких фигур - точек. Задание 6 представляет собой задание на классификацию, где принципом классификации является уровень наклона элемента. Возможно, дифференцированное функционирование заданий является производным разного опыта испытуемых в решении задач с подобным материалом.

Задания, показавшие DIF, были исключены из дальнейшего анализа для получения новых показателей способностей по субтесту Классификация, следуя рекоммендациям Ф. Ван де Вийвера (van de Vijver и Leung, 1997), рассматривающего отсутствие DIF как необходимое условие для проведения кросс-культурных сравнений. Повторный анализ не выявил других заданий, демонстрирующих значимый DIF (все p > .05). Значимые же различия в средних показателях способностей по субтесту Классификация сохранились (!(2) = 47.50, p < .01; F(₂,₉₉₇) = 42.81, p < .001, #²_p = .08). Post-hoc анализ показал, что исключение заданий с DIF устраняет различия между американскими подвыборками большинства и меньшиства (M = -.85, SD = 2.12 и M = -.53, SD = 1.72, соответственно, p > .05), при этом российские студенты демонстрируют значимо более высокие результаты, чем обе американские подвыборки (M = .24, SD = 1.37, обаp < .001).

Аналогичный анализ был проведен для субтеста Топология. Для субтеста Топология было установлено, что Модель₁ Раша объясняет 53.43% дисперсии в показателях выполнения заданий субтеста. Выявленный показатель надежности IRT-R = .51, сепарация IRT-S = 1.04, что свидетельствует об ограниченности субтеста в разделении студентов с разными уровнями развития флюидного интеллекта. Анализ локальных индексов пригодности InfitMS и OutfitMS не выявил заданий, демонстрирующих низкую пригодность в рамках модели (Таблица 4.2.1.2). Все задания были оставлены для дальнейшего DIF анализа.

На Рисунке 4.2.1.2 представлена сложность (в логитах) каждого задания субтеста Топология для трех групп: сложность заданий возрастает от начала к концу субтеста. Оценки сложности заданий высоко коррелировали между

Примечание. М - среднее. Сложность - показатель сложности в шкале логитов. Б.Б. - стандартная ошибка. МШМБ, ОиИММБ - локальные индексы пригодности. * отмечены задания, показавшие значимое дифференцированное функционирование в двух выборках (БГР) и исключенные из дальнейшего анализа