Учебник - общая психодиагностика - 2006 (846296), страница 27
Текст из файла (страница 27)
Очевидно, что недостоверным следует считать вопрос, ответы на который будут изменены в фальсифицированной ситуации в определенном систематическом направлении. Здесьпригодится простейший критерий значимости изменений, основанныйна распределении «хи-квадрат» (Рунион Р., 1982, с. 57-61). Для каждого пункта строится четырехклеточная матрица сопряженности:«После»+«До» +-А=40В=36С=22D=48Здесь в клеточке А указана частота сохранения ответа «верно»на некоторый /-и вопрос (из 76 ответивших «верно» таких оказалось131только 40 испытуемых), в клеточке В - частота изменения ответа«верно» на ответ «неверно» и т.
д. Как видим, смена инструкции привела к значительным изменениям. Но для оценки значимого направления этих изменений автор критерия Макнимар предложил сравниватьмежду собой по критерию «хи-квадрат» только элементы В и С этойматрицы:xe2 ( B C 1) 2(3.3.3)BCгде xe2 - вычисленное эмпирическое значение статистики хиквадрат2с одной степенью свободы. Для нашего примера xe =2,91, что2ниже, чем граничное значение x гр =3,84, и, следовательно, нулеваягипотеза об отсутствии значимых направленных изменений не можетбыть отвергнута - пункт не является значимо нагруженным артефактным фактором социальной желательности и может быть включен в диагностический вариант теста-опросника без изменений.По результатам такого исследования удобно составить табличкуК 2: в первом столбце -показатели корреляции пунктов со шкалойлжи, во втором - показатели значимости изменений при переходе кфальсификации.
Безусловно достоверными можно считать только тепункты, которые не получили значимых :коэффициентов ни в первом,ни во втором столбце. Если таких пунктов оказывается слишком малодля составления надежной шкалы и если среди недостоверных пунктов достаточно много таких, которые обладают существенной внутренней (корреляция с суммарным баллом по основной шкале) иливнешней (корреляция с критерием) валидностью, то следует прибегнуть к тактике балансирования: ввести в основную шкалу одинаковоеколичество «прямых» и «обратных» пунктов по шкале социальной желательности так, чтобы все четыре квадранта на рис.
13 были заполнены пунктами равномерно (среди «прямых» по основной шкале былобы поровну «прямых» и «обратных» по желательности, и среди «обратных» по основной - также поровну).132Без указанных предосторожностей тест-опросник неизбежно будет давать систематическое искажение результатов (в сторону повышения или понижения баллов по основной шкале) всякий раз, когдаиспытуемый будет квалифицировать диагностическую ситуацию какситуацию экспертизы.Указанные проблемы и приемы обеспечения достоверности относятся не только к тест-опросникам, но и к другим техникам стандартизованного самоотчета, подверженным мотивационным искажениям. Существует теоретическая возможность преодолеть все эти проблемы. Нонапрактике это оборачиваетсяогромной эмпирико-методической работой.Другой путь - управление процессами категоризации в ходе самой диагностики. В так называемой «репертуарной модификации»тест-опросника испытуемому специально предлагают выполнять тестне только от своего имени, но и от имени определенного репертуараролей: «большинство людей», «моральный человек», «преуспевающийчеловек» и т.
п. (Шмелев А. Г. и др., 1984). Извлечение практическихвыгод из подобной модификации обусловлено возможностью компьютерной обработки результатов либо сразу же после тестирования,либо даже в ходе самого тестирования (см. раздел 3.6).Порядок действий психолога при проверке валидности. Оченьтрудно выделить универсальный алгоритм работы психолога по проверке валидности, ибо существуют различные подходы к обеспечениювалидности, обусловленные теоретико-методологическими различиямиопределенных психологических школ. Для прагматически ориентированных тестологов (каковыми традиционно являлись до недавнеговремени почти все англо-американские специалисты) главный момент- поиск операционально строго заданного социально-прагматическогокритерия валидности, по отношению к которому диагностические тесты и их составные части (пункты) подбираются как бы автоматически в ходе эмпирико-статистических процедур сбора и корреляционногоанализа результатов.
Но, конечно, неверно было бы приписывать этому подходу «бездумность в опоре на статистику»: ведь статистикатолько тогда позволяет выявить валидное подмножество пунктов, когда исходное множество подобрано не случайно - с использованиемаприорных корректных содержательно-психологических представле133ний.Современные методологи психологического тестирования фактически единодушно приходят к признанию (как наиболее оптимальной)рационально-эмпирической стратегии конструирования теста и проверки валидности.
Перечислим этапы этой стратегии.1. Теоретический анализ диагностического конструкта, разработка теоретической концепции тестируемого психического свойства.Выявление (с использованием литературы) системы взаимосвязанныхдиагностических конструктов, внутри которой новый диагностическийконструкт характеризуется определенными структурно-функциональными связями и отношениями. Прогнозирование результатов корреляционных экспериментов по проверке конструктной валидности.2.Выделение составных частей теоретического конструкта,формулирование системы «эмпирических индикаторов» - операционально однозначных показателей, фиксирующих проявление конструкта в различных поведенческих ситуациях. Конструирование пунктов теста.3.Формулирование релевантного социально-прагматическогокритерия для проверки валидности.4. Планирование и проведение корреляционного исследования(или квазиэксперимента) на специально подобранной выборке испытуемых, для которых известно значение критериального показателя, атакже результаты по родственным психологическим тестам.
При необходимости на этих испытуемых проводятся дополнительные тесты сцелью получить возможность корреляционной проверки конструктнойвалидноститеста(экспертныеоценкивданномслучаерас-сматриваются в статусе одной из возможных параллельных процедурполучения критериальной или психологической информации). Оценкавалидности эмпирических индикаторов.5. Исследование достоверности результатов (если используетсясамоотчет и диагностическая ситуация может быть воспринята испытуемыми с настороженностью). Оценка достоверности эмпирическихиндикаторов.6. Отсев пунктов, не удовлетворяющих критериям валидности идостоверности. Измерение надежности для сокращенной шкалы, состоящей только из валидных пунктов. Если надежность оказывается134невысокой, то психолог снова возвращается к этапу 1 - уточняет теоретические представления.3.4. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИКРассматривая в предыдущем разделе вопрос о порядке проверкивалидности, мы вплотную подошли к вопросу о целостной стратегиисоздания, эмпирической апробации и внедрения методики в практику.Создание оригинальной методики или адаптация зарубежнойметодики не могут сводиться только к проверке (или перепроверке)отдельных психометрических свойств - репрезентативности, надежности, валидности, достоверности - в произвольной последовательности.В одних случаях целесообразно начинать с одного этапа работы, вдругих - с другого.В действительности любая реальная ситуация использования теста не является ситуацией только «конструирования» или только«применения».
Можно без преувеличения сказать, что существуетконтинуум между крайними полюсами:«конструирование» __________________ «применение»и каждая ситуация до определенной ступени удалена от обоихполюсов. Трудно назвать такой случай, когда бы конструирование совершенно нового теста начиналось с нуля, «на пустом месте». Такжетрудно найти и такие случаи, когда все аспекты тестирования были быполностью неизменными и воспроизводили бы уже совершенно исследованную нормативную ситуацию применения готового теста.Но все это многообразие ситуаций, всю комбинаторику независимых параметров психологи-практики, как правило, пытаются свестик двум-трем типовым ситуациям.1.
Ситуация применения. Тест кем-то разработан (возможно, В:других социокультурных условиях), известны тестовые нормы, полученные на представителях данной языковой культуры (несоответствиевыборки стандартизации и выборки применения по половозрастнойструктуре и профессионально-культурным признакам признается несущественным).1352. Ситуация адаптации. Тест кем-то разработан – проверенынадежность и валидность, но отсутствуют тестовые нормы (как правило, отсутствуют вообще для любых представителей данной языковойкультуры). Задача адаптации сводится, таким образом, к построениютестовых норм.3.
Ситуация конструирования. Есть концепция психическогосвойства, но нет процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Надо придумать измерительную процедуру, проверить ее надежности валидность, построить тестовые нормы.Остановимся прежде всего на вопросах адаптации так называемых переводных тестов. Путь быстрого пополнения репертуара методик за счет множества готовых зарубежных методик кажется многимпсихологам наиболее экономичным, кратчайшим путем к надежной ивалидной психодиагностике. Но ведь если при этом адаптация сводится только к построению нормативного распределения тестовых баллов,то это означает, что валидность и надежность адаптированной методики в новых условиях принимаются на веру, а теоретическая концепцияавтора теста и содержание использованных им критериев валидностипросто переносятся в наши условия без изменений (ведь для любой, втом числе и для невалидной и ненадежной методики, можно получитьраспределение).Подобный перенос дает пренебрежимые погрешности только длятестирования относительно элементарных психических свойств (таких,как свойства нервной системы, функциональные состояния, сенсомоторные параметры, элементарные когнитивные функции, причем с использованием объективных процедур (психофизиологическая регистрация, тесты с «физическими» критериями успеха и т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
