Диссертация (1136762), страница 22
Текст из файла (страница 22)
Первый недостаток связан с тем, чтоучастие в разных видах учебной деятельности предполагает разнуюстепень студенческой вовлеченности. Например, нельзя приравнятьзначениядляобщегопоказателястуденческойвовлеченности138заданного студентом вопроса на занятии и написанием им работыобъемом более 10000 слов. Эти виды деятельности требуютсовершенно разных усилий, а также интеллектуальных и временныхресурсов.
Второй недостаток носит методический характер и связан стем, что расстояние между шкальными значениями порядковых шкал,используемых в NSSE, неодинаково, как в случае с интервальнымишкалами. Так, мы не можем говорить, что расстояния междупунктами шкалы «никогда», «иногда», «часто» и «очень часто» равнымежду собой.В данном разделе будет предложена авторская методикаконструированияиндексовстуденческойвовлеченности,позволяющая преодолеть обозначенные недостатки существующихподходов. Однако перед тем как перейти собственно к построениюсуммарных индексов студенческой вовлеченности, опишем основныеположения теории измерения и построения суммарных шкал ииндексов.Процедура построения индекса предполагает переход от такназываемых первичных шкал к вторичной, производной шкале[Воронов, Ершова 1969]. В качестве первичных обычно выступаютнаблюдаемые переменные, в качестве вторичной – латентныйпризнак, на измерение которого нацелен индекс. Индексы позволяютсоизмерять сложные социально-экономические явления, состоящие изнепосредственно несопоставимых единиц.
При их построении нетчетко прописанных правил. Задача индексного метода состоит вадекватном измерении явлений, выбор же математической формы ивесов для индекса определяется характером исследуемых процессов[Аладьев, Харитонов 2006]. Социальными исследователями индексопределяется как обобщенный индикатор, сформированный из139исходныхпоказателейпосредствомматематическихопераций[Татарова 1999.]В нашей работе индексы студенческой вовлеченности будутотноситься к динамическим и представлять шкалы суммарныхоценок. Эти шкалы были изобретены еще Ренсисом Ликертом (1932г.), который описал технику построения шкалы для оценки установок[Spector 1992].
Для суммарной шкалы характерны следующие черты:Шкала должна суммировать или комбинировать в себе1.множество пунктов;Каждый пункт должен измерять явление, в основании2.которого лежит количественный континуум (т.е. мы измеряем то, чтоотноситсяскореекколичественным,анеккачественнымхарактеристикам);Каждый пункт не имеет правильного ответа (это отличает3.суммарную шкалу от тестов);Каждый пункт в шкале содержит в себе утверждение,4.которое респондент должен оценить (to rate) [Spector 1992].Несмотря на то, что в третьем пункте обязательное условие длясуммарной шкалы – отсутствие правильного ответа, процедурапостроения и проверки качества для суммарной шкалы и теста оченьпохожи.
Кроме того, рассмотрение особенностей измерения втестовой традиции будет полезно нам при разработке процедурыконструирования индексов студенческой вовлеченности.Тест в наиболее общем виде представляет собой совокупностьвопросов, каждый из которых представляет определенную задачу.Количество верных ответов представляет собой балл [Осипов 2003].Этотбаллсодержитвсебеслучайнуюошибкуизмерения,вызываемую влиянием случайных факторов на ответы респондентовна вопросы [Бодалев, Столин, Аванесов 2000.].140Построение шкал и тестов основывается на классической теорииизмерения, которая декларирует наличие двух значений измеряемойпеременной – истинного (true score) и наблюдаемого (observed score).Верноезначение–этотеоретическоезначениеисследуемойпеременной для каждого объекта.
Это значение не наблюдаемонапрямую и может быть измерено только косвенным способом[Spector 1992]. Соотношение между истинным и наблюдаемымзначениями может быть выражено с помощью следующей формулы:Наблюдаемое значение = Истинное значение + СлучайнаяошибкаПри увеличении количества наблюдений среднее значениеслучайной ошибки уменьшается и начинает стремиться к нулю(«отрицательныеиположительныевеличиныошибоквзаимопогашаются» [Девятко 1993, С.
63.]), что приводит кповышению точности измерения [Spector 1992].Также и каждый пункт шкалы представляет собой некоторуюоценку верного значения, следовательно, среднее значение или суммаоценок, исходя из рассуждений, сделанных ранее, будет давать болееточное измерение, чем индивидуальный пункт. Однако, по мнениюСпектра, не стоит доверять этому утверждению вслепую, и строитьшкалу с использованием «слабых пунктов», в надежде, что среднеезначение случайных ошибок будет равно нулю.
В данном случае мыможем достичь надежности шкалы, однако пункты шкалы необязательно будут валидны [Spector 1992].Кроме того, классическая теория тестов предполагает отсутствиекорреляции ошибок измерений и истинных баллов по одномуизмерению, ошибок измерения и истинных баллов по разнымизмерениям и корреляции ошибок измерения [Девятко 1993].141Критика классической теории измерения состояла в том, что онане учитывает влияния, оказываемого на респондентов при ответе навопросы, составляющие пункты в шкале. Описанное выше пониманиеизмерения должно быть расширено и в него должно быть включеносмещение (систематическая ошибка) [Девятко 1993].
Следовательно,формула для наблюдаемого значения выглядит следующим образом:Наблюдаемое значение = Верное значение + Случайная ошибка +СмещениеОдин из проблемных источников смещения является социальнаяжелательность (social desirability). Опасность смещений заключается втом, что они не могут быть выявлены конкретно, однако их можносократить с помощью использования аккуратных, нейтральных,тщательно выверенных формулировок [Spector 1992].В данной работе будет описана процедура построения трехдинамических индексов, которые соответствуют трем измерениямстуденческой вовлеченности, описанным в концептуальной модели:Индекс 1: индекс индивидуальной студенческой вовлеченности,отражающий самостоятельные усилия студента по достижениюакадемических целей;Индекс2:индексинституциональныхусловийдля«вовлеченного» обучения, отражающий то, насколько существующиевуниверситетеусловия,форматзанятий,используемыепреподавателями методики и прочие характеристики способствуютвовлечению студентов в учебный процесс;Индекс 3: индекс социальной интеграции – включенностьстудентов в социальные группы в университете.Индексыстуденческойвовлеченностибылипостроеныизначально на эмпирических данных, полученных в 2011 г.
Затем,процедура анализа была повторена для данных, полученных в142результате опроса 2012 г. Конструирование индексов было проведенотолько для данных национального исследовательского университета,поскольку в данной работе была поставлена цель апробироватьметодику, а не получить содержательные выводы для каждого извузов. Национальный исследовательский университет был выбран дляэтой цели поскольку в нем были получены данные за 2 года, чтопомогалопроверитьустойчивостьвесовыхкоэффициентов(факторных нагрузок), используемых для расчета индексов.Дляпостроенияиндексаиндивидуальнойстуденческойвовлеченности (Индекс 1) использовалось 12 показателей:1.
Оценка студентом доли лекций, которую он посетил втекущем учебном году;2. Оценка доли семинаров, которую посетил студент втекущем учебном году;3. Оценка доли обязательной литературы, прочитаннойстудентом в текущем учебном году;4. Оценка доли дополнительной литературы, прочитаннойстудентом в текущем учебном году;5. Оценка частоты, с которой студент задавал вопросы насеминарских занятиях в текущем учебном году;6. Оценка частоты участия студента в общегрупповыхдискуссиях на семинарских занятиях в текущем учебном году;7.
Оценка частоты выступлений студента с докладом илипрезентацией на семинарских занятиях в текущем учебномгоду;8. Оценка частоты решения задач у доски на семинаре илиответов на вопрос преподавателя по содержанию учебногокурса в текущем учебном году;1439. Оценка частоты, с которой студент приходил насеминар с невыполненным домашним заданием в текущемучебном году;10. Оценка частоты, с которой студент присутствовал насеминаре или лекции, но не вникал в материал, не слушалпреподавателя в текущем учебном году;11. Оценка частоты, с которой студент объединял идеиразных дисциплин при подготовке заданий или во время участияв дискуссиях на занятиях в текущем учебном году;12.
Оценка частоты, с которой студент работал наддополнительными заданиями по курсу, выполнение которыхнеобязательно для получения отличной оценки в текущемучебном году.Каждый показатель (начиная с четвертого) изначально былизмерен по пятибалльной шкале: «очень часто», «часто», «иногда»,«крайне редко», «никогда». Таким образом, для конструированияиндекса мы использовали 4 интервальных показателя и 8 порядковых.Наличие порядковых переменных накладывает ограничения наиспользуемые методы, для построения индекса.
Поэтому для нашихзадач мы использовали категориальный факторный анализ (CategoricalPrincipal Components Analysis, CatPCA). Этот метод был разработанспециально для работы с нечисловыми данными, которые всоциальных и поведенческих науках встречаются гораздо чаще, чемчисловые. Данный метод, также как и классический факторныйанализ, основывается на предпосылке, что наблюдаемые переменныеявляются проявлением некоторого числа латентных признаков[Ростовцев, 2001]. В основе категориального факторного анализалежитпринципминимизацииоптимальногофункциипотерьшкалирования(lossfunction)испроцедурапомощью144итерационного метода наименьших квадратов (altering least square)[Наумова 2010].Оптимальное шкалирование - это способ, с помощью которогоможноприписыватьколичественныезначениякачественным(порядковым и номинальным) характеристикам [Meulman 2009].