Диссертация (1099176), страница 15
Текст из файла (страница 15)
построена многофасеточная43 модель Раша. Модель1 объясняла 60.2% дисперсии в показателях оценок по субтесту Креативные Рассказы. Были получены высокие индексы надежности и сепарации - IRT-R = .85, IRT-S = 2.42, свидетельствующие о том, что субтест надежно и дифференцированно диагностирует уровень развития творческих способностей студентов. Анализ локальных индексов пригодности (см. Таблицу 4.2.1.6) заголовков рассказов, шкал и экспертов не выявил элементов, нарушающих измерительные свойства
модели. При этом наблюдался разброс в показателях строгости экспертов (от
2 2 .03 до .95 в шкале логитов; % (4) = 218.6, p < .01) и шкал (от - .56 до 1.37, % (3) =
1333.00, p < .01). Так, самым строгим оказался один из российских экспертов, а
самой сложной для получения баллов шкалой оказалась шкала
Эмоциональность. Анализ DRF в контексте взаимодействия экспертов и страны
не выявил значимого DRF - таким образом, осуществленное перекрытие
оценок позволило установить сопоставимость оценок, проставляемых
экспертами для российской и американской выборки (все p > . 05). Однако
было выявлено дифференцирование шкал44 - так, обе американские подвыборки
демонстрировали неожиданно более высокие значения по шкале
Эмоциональность (t(215) = 5.29, p < .05 и t(185) = 4.56, p < .05), а российская
выборка демонстрировала неожиданно низкие значения (t(922) = -4.64, p < .05),
что представлено на Рисунке 4.2.1.5. Как и для субтеста Топология, нами было
принято решение скорректировать искажения, связанные с DIF шкалой
Эмоциональность путем включения в модель отдельного элемента. Новая
Модель2 (Рисунок 4.2.1.6) объясняла 60.87% дисперсии, IRT-R = .86, IRT-S =
2.44. Не было обнаружено элементов, демонстрирующих DIF или DRF (все p >
.05)
.Заголовок М Сложность Б.Е. InfitMS OutfltMS 1 | 2.69 | .16 | .05 | .94 | .93 | ||
2 | 2.91 | -.26 | .05 | 1.06 | 1.06 | ||
3 | 2.76 | -.05 | .04 | .98 | .99 | ||
4 | 2.65 | .07 | .05 | 1.01 | 1.03 | ||
5 | 2.67 | .08 | .05 | 1.00 | 1.02 | ||
Шкала | М | Сложность | Б.Е. | ПйМБ | OutfltMБ | ||
Оригинальность | 2.84 | -.26 | .04 | 1.09 | 1.11 | ||
Сложность | 2.96 | -.56 | .04 | .71 | .72 | ||
*Эмоциональность | 2.18 | 1.37 | .04 | 1.37 | 1.34 | ||
Соответствие задаче | 2.96 | -.55 | .04 | .85 | .85 | ||
Эксперт | М | Строгость | Б.Е. | ПйМБ | OutfltMБ | ||
10 - Россия | 2.58 | .95 | .04 | .96 | .96 | ||
20 - Россия | 2.68 | .93 | .05 | .99 | .99 | ||
30 - Россия | 2.76 | .80 | .05 | 1.04 | 1.04 | ||
91 - США | 2.96 | .03 | .06 | 1.02 | 1.07 | ||
108 - США | 2.99 | .47 | .06 | 1.01 | 1.02 |
Примечание. М - среднее. Сложность - показатель сложности/строгости в шкале логитов. Б.Б. - стандартная ошибка. 1пЙМ8, ОиИНМБ - локальные индексы пригодности. * отмечены задания/шкалы/эксперты, показавшие значимое дифференцированное функционирование в двух выборках (БШЮКЕ) и скорректированные при дальнейшем анализе.
Рисунок 4.2.1.5. Сложность шкал Креативных Рассказов для трех групп студентов (Модель 1)
При анализе полученных показателей уровня развития креативности студентов, свободных от дифференцированного функционирования шкал и экспертов и пригодных для межгрупповых кросс-культурных сравнений, нами не было установлено значимых различий в средних показателях креативности
Рисунок 4.2.1.6. Скорректированная сложность шкал Креативных Рассказов для трех групп студентов (Модель2)
2 2 по субтесту Креативные Рассказы (% (2) < 0.01, p > .05; F(2 763) = .3 1, p > .05, # p <
.01) между тремя группами (для post-hoc анализа - все p > .05). При объединении двух американских подвыборок в одну не было обнаружено различий между российскими (M = -.07, SD = 1.67) и американскими студентами (M = .00, SD = 2.06) в уровне развития творческих способностей, t(764) = .48, p > .05, d = .04, т.е. российские и американские студенты обладали схожим уровнем развития креативности.
Для оценки уровня развития практических способностей использовался Студенческий Опросник (CLQ), содержащий 10 различных проблемных «практических» ситуаций, альтернативы поведения в которых студенты оценивали по степени приемлемости. При анализе характеристик CLQ использовался структурный подход с применением эксплораторного факторного анализа (ЭФА). Мы также привлекли трех экспертов - студентов 3,
-
и 5 курсов факультета психологии МГУ имени М.В. Ломоносова - для оценки конструктной валидности опросника в контексте соответствия переведенных задач реалиям российского студенчества. Эксперты оценивали все 10 задач по шкале от 1 (абсолютно не подходит) до 7 (абсолютно подходит). В качестве
критерия соответствия было выбрано среднее значение 5 по этой шкале: таким образом, 7 из 10 задач были оценены экспертами как соответствующие российским реалиям (см. Таблицу 4.2.1.7). Стоит отметить, что ни одна из задач не получила балл ниже 4, свидетельствуя о приемлемости использования задач для измерения практического интеллекта российских студентов. Отдельно были вычислены коэффициенты корреляции между средними профилями ответов американской и российской выборок для каждой задачи при использовании данных на уровне отдельных альтернатив. В качестве критерия дифференциального функционирования задачи (differential vignette functioning, DVF) было выбрано значение r = .70: всего 2 задачи (4 и 5) были идентифицированы как обладающие DVF в двух выборках (т.е. профили ответов российских и американских студентов демонстрировали низкую линейную зависимость).
В целом, шкала практического интеллекта CLQ продемонстрировала высокую согласованность в обеих выборках (а = .73 и .82 для российской и американской выборки, соответственно). Для установления структуры опросника и ее эквивалентности в двух выборках был использован ЭФА (ЭФА1; экстракция факторов методом максимального подобия45, maximum likelihood, ML). В обоих случаях анализ собственных значений факторов и графика осыпи показал, что однофакторное решение является приемлемым для обеих выборок (см. Рисунок 4.2.1.7). Для американской выборки извлеченный фактор объяснял 43.22% дисперсии (коэффициент Кайзера-Мейера-Олкина (КМО) = .89, тест сферичности Бартлетта !(45) = 921.24, p < .001), схожий показатель был получен и для российской выборки - 41.68% дисперсии (КМО = .90, тест сферичности Бартлетта !(45) = 1366.21, p < .001). Анализ сопоставимости структуры был проведен при сопоставлении матриц факторных нагрузок (Таблица 4.2.1.8) с помощью коэффициента
пропорциональности Такера ф62 (Tucker’s ф) и коэффициента корреляции r Пирсона. При сопоставлении факторных нагрузок была выявлена высокая пропорциональность (ф = .98) и средняя линейность (г = .22) нагрузок.
Поскольку для ситуации 4 была обнаружена самая низкая согласованность средних профилей ответов в двух выборках (г = .45), наименьшая нагрузка на фактор практического интеллекта в американской выборке (.33, тогда как .32 является минимальным приемлемым показателем, свидетельствуя о приблизительно 10% общей дисперсии с другими ситуациями, см. Tabachnick, Fidell, 2001), а также максимальные различия в факторных нагрузках для двух выборок (разница = .27), мы провели анализ сензитивности показателей конгруэнтности факторных нагрузок, исключив ситуацию 4 из повторного эксплораторного факторного анализа.
Второй ЭФА (ЭФА2) показателей, полученных для 9 ситуаций, выявил однофакторную структуру Студенческого Опросника в обеих выборках. Для американской выборки извлеченный фактор объяснял 46.04% дисперсии (КМО = .89, тест сферичности Бартлетта % (36) = 874.12, p < .001), схожий показатель был получен и для российской выборки - 42.32% дисперсии (КМО = .89, тест сферичности Бартлетта % (з6) = 1165.74, p < .001). Факторные нагрузки представлены в Таблице 4.2.1.8.
Анализ к)нгруэнтн)сти нагруз)к п)казал их практически идеальную пропорциональность (ф =.99) и средний уровень линейности (г = .45), свидетельствуя в пользу факторной эквивалентности CLQ в двух выборках при измерении практического интеллекта. Анализ надежности сокращенной версии показал высокую степень внутренней согласованности CLQ как для американской (а =.85), так и для российской (а = .82) выборки. Таким образом,