Диссертация (1099176), страница 27
Текст из файла (страница 27)
ситуации 1-10 (за исключением 4) из CL
Рисунок 4.2.2.2. Структурная однофакторная модель (М2А и Мза) батареи ROADS для российских и американских студентов. В целях обеспечения ясности представления результаты на рисунке не отображены два параметра, связывающих ошибки для ситуаций 7,9,10 для американской выборки.
Рисунок 4.2.2.3. Структурные двухфакторные модели (М2АТ и МзАт снизу, М2АП и Мзап сверху) батареи ROADS для российских и американских студентов. В целях обеспечения ясности представления результаты на рисунке не отображены два параметра, связывающих ошибки для ситуаций 7,9,10 для американской выборки.
Приложение 6. Согласованность российских экспертных оценок субтестов открытыми заданиями батареи Аврора-а
Российские эксперты | |
Субтест | r Cohen's к |
Книжные обложки | .79 | .56 |
Способы использования | .58 | .30 |
предметов | ||
Метафоры | .88 | .81 |
Г оворящие числа | .74 | .70 |
Разговоры | .83 | .76 |
Примечание. r - r Пирсона, Cohen's к- каппа Коэна
Рисунок 5.2.2.2. Структурная однофакторная модель (М2А) батареи Аврора-а для российских школьников.
Рисунок 5.2.2.З. Структурные двухфакторные модели (Мзат снизу, М4АП сверху) батареи Аврора-а для российских школьников.
2 Одна из наиболее обширных коллекций определений интеллекта (в т.ч., психологических) приводится Ш. Леггом и М. Хаттером (Legg, Hutter, 2007).
7 В ранней редакции - триархическая (triarchic) теория интеллекта, в последней редакции получила название «мудрость, интеллект, и креативность в синтезе» (МИКС; wisdom, intelligence, and creativity synthesized, WICS; Sternberg, 2006b).
8 Важно отметить, что абсолютно все из критикуемых Талызиной положений либо находят поддержку, либо преодолеваются в современных исследованиях и концепциях, посвященных, например, наследуемости интеллекта (Davies et al., 2011; Mackintosh, 2006) и использованию принципов когнитивной психологии для
35
обеспечении конструктной валидности тестирования в рамках современной психометрики (Embretson, Gorin, 2001; Tatsuoka, 1995), а также при использовании метода динамического тестирования (Guthke et al., 1993; Sternberg, Grigorenko, 2002), о концептуальных сходствах которого с подходом Талызиной речь пойдет в Главе 2.
14 Одним из последних комплексных определений креативности является определение X. Ма, в основу которого лег мета-анализ переменных, связанных с креативностью. Согласно Ма, креативность это «способность к реорганизации доступного знания, информации, подсказок, фактов и/или навыков в «арсенале» человека для генерации новых идей или полезных решений» (Ma, 2009, c. 39).
16 К примеру, обеспечение в традиционных заданиях на индукцию инструкции с необычной посылкой «танцоры едят туфли» вместо «танцоры носят туфли», которую испытуемые должны использовать, как если бы она была истинной (Sternberg, 2006b).
20 Понятие экспертизы в ассессменте как экспертной деятельности (Иванченко, Леонтьев, 2006) по применению технологий экспертизы для оценки образовательных систем и программ и разработки образовательных стандартов (Ясвин, 2001) отличается от понятия экспертизы в ассессменте как непосредственного содержания и желаемого уровня овладения профессиональными знаниями и компетенциями.
45 Нам не известны исследования, аналогичные исследованию Дж. Эллиотта и коллег (Hufton, Elliott, Illushin, 2001) и выявляющие кросс-культурные различия в понимании роли оценки в высшей школе. Формулировка этой гипотезы, таким образом, не предполагает направленности кросс-культурных различий в наличии и величинах функциональных связей между уровнями развития трех видов способностей и успешностью обучения. Настоящая работа является первой попыткой (эксплораторного) выявления таких различий.
53 InfitMS и OutfitMS- локальные индекс пригодности (фита - fit), вышисляемые для каждого элемента IRT модели (например, заданий). Индексы свидетельствуют о предсказуемости паттернов ответов на задания в рамках модели, где более высокие значения свидетельствуют об избыточной вариативности (непредсказуемости), тогда как более низкие значения свидетельствуют о малой вариативности (высокой
100
детерминированности). Рекомендации относительно приемлемых уровней локальных индексов пригодности варьируют от .70 - 1.30 для тестов со множественными выбором и .50 - 1.70 для открытых шкал (Bond, Fox, 2007) до менее жестких критериев, где в качестве приемлемых принимаются значения от .50 до 2.00 (Linacre,
2010).
54 При установленном a priori aFW = .05, скорректированное значение для отвержения Н0 об отсутствии DIF функционирования заданий при 14 заданиях и трех группах для 42 сравнений а = aFW / n = .05 / 42 = .0012. См. (Abdi, 2007).
57 При установленном a priori aFW = .05, скорректированное значение для отвержения Н0 об отсутствии DIF функционирования заданий при 10 заданиях и трех группах для 30 сравнений а = aFW / n = .05 / 30 = .0017.
65 Поскольку показатели практического интеллекта представляют собой отклонения от среднепрофильного вектора оценок, более высокие значения свидетельствуют о более низком уровне развития практического интеллекта. Таикм образом, отрицательные корреляции с успеваемостью, наблюдаемые в Таблице 4.3.4.1, свидетельствуют о положительной связи между уровнем развития практического интеллекта и успеваемости.
128
иерархическом линейном моделировании предшествует построение необусловленных моделей, позволяющих оценить форму и характеристику кривых развития в случае их анализа (Raudenbush, Bryk, 2002).
70 Показатели %2 (176) для случайных эффектов r0 , r1 и r3 были равны 398.03, 240.57, 397.95, p < .01, соответственно, т.е. есть значительная вариативность во всех трех показателях, свидетельствующая о возможности построения обусловленной модели.
1 Так, наряду с представлением о врожденных задатках и индивидулаьно формирующихся на их основе способностях защищается и представление о отом, что способности не базируются на задатках, а и те и другие имеют врожденные компоненты (Шадриков, 2010).
2 Т.е. направленной на измерение (measurement), классическим определением которого является «...присвоение индивидам количественных показателей систематическим образом для отражений их свойств» (Allen, Yen, 1979, p. 5). Психометрика при этом понимается как междисциплинарная область знаний, направленная на разработку методологических оснований, принципов и методов измерения (Nunnally, 1970).
19
3 Бине не конвертировал показатели по тесту в IQ (intellectual quotient, коэффициент интеллекта). Показатель IQ был предложен В. Штерном (Stern, 1912) как соотношение умственного возраста к хронологическому, умноженное на 100.
4 Были предприняты и попытки построения неирархических теорий - например, теория Дж. Гилфорда (Guilford, 1967), в которой таксономия способностей была обусловлена моделью взаимодействия интеллектуальных операций, их продуктов, и содержания, комбинации которых представляли в поздней версии теории до 150 независимых факторов первого, 85 второго и 16 третьего порядка. Эмпирического подкрепления эта теория не нашла (см. Kelderman et al., 1981).
5 Психометрические модели интеллекта сталкиваются с похожей проблемой, связанной с применением вращения при использовании факторного анализа, результаты которого отражают субъективный выбор тестовых показателей и связей между ними, тогда как любое вращение является математически корректным и адекватным в Евклидовом пространстве (Sternberg, 2006b).
23
6 См., например, исследование, выполненное Холодной и ее коллегами (Холодная и др., 2005), в котором на первый план в контексте связей с интеллектуальными достижениями вышли уровни развития общих когнитивных способностей, размер эффекта для которых был несопоставим с таковым для собственно стилевых мета-когнитивных свойств.
7 См. также главу А. Кауфмана (Kaufman, 2000) для обзора ранних и поздних редакций этого и других популярных батареи, направленных на измерение интеллекта.
8Батарея TTCT (ККТМ; являющаяся наиболее используемой для диагностики креативности и по настоящее время) предполагает оценку вербальных или рисуночных ответов на стимульный материал по параметрам беглости (количества идей), гибкости (количества категорий), оригинальности (определяемой по частотному соотношению ответов в выборке стандартизации) и разработанности.
43
9 Другими методами являются анализ критических ситуаций и иные формы анализа профессиональной деятельности (ШееЫеу, ИоуИаг!, 2005).
10 Принципиальной позицией в теориях успешного и практического интеллектов является указание на несводимость практического интеллекта к социальному и эмоциональному при признании определенного перекрытия между конструктами (Stemler, Sternberg, 2005).
47
11 В зарубежной психологии образования принято схожее разделение форм контроля и ассессмента на суммирующий (на финальных этапах обучения с целью предоставления информации о достигнутом уровне успешности обучения) и формативный или формирующий (в процессе учения с целью направления и корректировки процесса учения; Popham, 2005).
12 Показатель успеваемости как среднего академического балла является смешанным, т.к. отражает как степень достижения заданных целей обучения, так и ранги внутри класса и т. д.
13 Примеры построения показателей успеваемости в отечественных исследованиях приведены в кандидатской диссертации A.A. Чумакова (2006), который выделяет следующие показатели: общее количество оценок «5», «4» и «3», набранных студентом в процессе обучения, оценка за госэкзамен по профилирующему предмету, балл диплома или рейтинговый показатель студента, отражающий его положение в распределении итоговых баллов по тесту достижений относительно других студентов.
14 Тесты академических навыков предполагают диагностику т.н. «базовых» компонентов успешности обучения как ключевых навыков, на развитие которых направлено обучение. Применение тестов академических навыков выходит за рамки настоящей работы и подробно обсуждается, в т.ч. в контексте соответствия тестов образовательным программам, Е. Шапиро (Shapiro, 2004).