Критерии эффективности практической работы психодиагноста

Критерии эффективности практической работы психодиагноста

Критерии эффективности практической работы психоди­агноста связаны со следующими важнейшими факторами его профессиональной деятельности:

— обобщенной теорией;

— средствами и способами получения психологической информации;

— средствами и способами передачи психологической ин­формации.

Если обобщенная теория, особенности владения ею отра­жают как уровень развития науки, так и степень профессио­нальной зрелости психодиагноста, то средства и способы получения психологической информации специфичны тем, что сама процедура их применения включает взаимодействие психодиагноста и обследуемого человека. Это значит, что в результате измерений получаются данные, которые будут за­висеть не только от психодиагноста и уровня его квалифика­ции, но и от тактики и стратегии поведения обследуемого.

Диапазон, в котором можно использовать стандартные психо­диагностические методы, довольно узок и реально имеет смысл только на той выборке исследуемых, для которой он был создан и проверен на надежность, валидность, репрезентативность.

Эффективность работы практического психолога со стан­дартным, психометрическим методом будет определяться соответствием целей применения теста или методики для исследуемой выборки. Перенесение без предварительной перепроверки устойчивости тестовых норм теста с одной выборки на другую приводит к ошибкам.

Рекомендуемые материалы

Если психодиагност применяет тест, он должен точно знать тестовые нормы для исследуемой выборки.

Ошибки, которые возможны при отсутствии такой провер­ки, отражаются на прогностической валидности теста. Осо­бенно это относится к зарубежным тестам, которые отече­ственные психологи склонны использовать без соответству­ющей нормативной проверки. Реальные языковые и межкуль­турные различия могут оказать существенное влияние на ре­зультаты — получение и интерпретация психологической ин­формации будут существенно искажены.

Для того чтобы убедиться в пригодности того или иного теста, психодиагност должен уметь повторить процедуру, с помощью которой конструировался и обосновывался тест его создателями.

Психодиагност, применяющий методики, должен знать требования к методикам разного типа — это тоже показатель эффективности его работы, так как владение требованиями к методикам отражает ориентацию психодиагноста на профес­сионально оправданные процедуры получения психологичес­кой информации, а не на уровень житейской или обыденной психологии.

Остановимся на требованиях к методикам, которые сформу­лированы в отечественной психологии'. Измерительные мето­ды (тесты) должны удовлетворять следующим требованиям:

— должны быть однозначно сформулированы цели, пред­мет и область применения методики. Предмет, диагностичес­кий конструкт должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релеван­тность. Область применения должна быть четко выделена и обозначена, указан контингент обследуемых. Необходимо четко обозначить цели использования результатов;

— процедура проведения должна быть задана в виде од­нозначного алгоритма, который можно было бы передать ЭВМ или специалисту, не имеющему специальных психологичес­ких знаний;

— процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестовым нор­мам). Выводы (диагностические суждения) на основе тесто­вого балла должны сопровождаться указанием на вероятнос­тный уровень статистической достоверности этих выводов;

— тестовые шкалы должны быть проверены на репрезен­тативность, надежность и валидность в заданной области при­менения. Другие разработки и пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы);

— процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволя­ющими автоматически отсеивать недостоверные протоколы;

— головная методическая организация определенного ве­домства (область применения) должна вести банк данных, собранных по тесту, и проводить периодическую коррекцию всех стандартных методик. Экспертные методы:

— должны быть однозначно сформулированы цели, пред­мет и область применения метода. Предмет должен быть со­отнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность. Область применения, кон­тингент испытуемых должны быть четко обозначены. Необ­ходимо также четко обозначить цели использования резуль­татов. Инструкция по применению снабжается указанием на требуемую квалификацию экспертов, их необходимое коли­чество для получения надежных данных по методу независи­мых оценок;

— инструкции к проведению должны пройти специаль­ные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (те­стов, рисунков, звуко- и видеозаписей и т. п.);

— процедура обработки результатов должна включать в себя протоколирование промежуточных этапов обработки дан­ных, которое дало бы возможность перепроверить конечный результат другому эксперту;

— пользователи и разработчики должны иметь возмож­ность повторить нормативное исследование по измерению эк­спертной согласованности на эталонном наборе данных;

— головная организация должна вести банк данных, обес­печивая подготовку пользователей и переподготовку их в со­ответствии с пересмотренными стандартами методики.

Все методики должны проходить аттестацию в рамках го­ловных методических организаций, которые составляют ка­талог методик, прошедших аттестацию.

Критерии эффективности работы практического психоди­агноста во многом определяются его возможностями в состав­лении программы обследования — в подборе батареи мето­дик. Ее составление основывается на принципе — максимум надежности при минимуме затрат.

Планирование программ обследования предполагает осу­ществление следующих операций:

1. Определить, на что метод направлен: на простое или интегративное качество личности; на действие или на переживание или на содержание когнитивных процессов. Исходя из этого выбира­ется либо методика, либо батарея методик или тестов. Далее вы­бирается определенный тип метода: для изучения действий и пе­реживаний чаще всего используются оценочные шкалы и самооценочныс шкалы. Для изучения качеств личности используются опросники, проективные или другие методы.

Батарея тестов состоит из нескольких тестов для изуче­ния различных аспектов одного качества внутреннего мира человека (например, векслеровские шкалы интеллекта). На­бор тестов состоит из нескольких тестов, посредством кото­рых исследуется несколько разных, взаимно не связанных ка­честв внутреннего мира человека (например, 16-факторный опросник Кеттела, ММР1 и др.).

2. Решить вопрос о том, каким образом с помощью выб­ранного метода будет определяться изучаемое свойство внут­реннего мира человека.

Любая методика представляет собой стимульный матери­ал, организующий ситуацию работы с ним, материал методи­ки и будет определять способы действия исследуемого, в ко­торых будет проявляться исследуемое качество. С этой точки зрения, по психологическому механизму порождения отве­тов, методы будут делиться следующим образом:

а) методы, требующие от субъекта лишь выражения опре­деленного отношения (согласие, ожидание, отрицание);

6) методы, требующие активности памяти (дидактические тесты, тесты способностей, анамнестические беседы);

в) методы, работа в которых зависит от практического мышления;

г) методы, предполагающие поиск и установление слож­ных связей и отношений;

д) методы, основанные на идее проекции состояний ис­следуемого на материал стимулов.

3. Основным вопросом, который необходимо решить, яв­ляется вопрос о том, с помощью чего мы будем определять, исследует ли наш метод то, на что он направлен. С точки зре­ния построения и стандартизации это вопрос о критериях валидности. Имеется ли такой критерий вообще в нашем рас­поряжении? Является ли он репрезентативным пользовате­лем исследуемой характеристики личности? Является крите­рий простым или комплексным? Комплексный критерий со­стоит из нескольких относительно легко познаваемых ком­понентов. Например, вождение автомобиля — это комплексный критерий, содержащий такие элементы, как скорость реакции, острота зрения, наблюдение за движением транс­порта, за дорожными знаками, готовность к решению слож­ных ситуаций, надежность и т. д. Поставленный психиатром диагноз «невротик», «здоровый» — это простой критерий, не­смотря на то, что за ним стоят сложные явления внутреннего мира человека, но с точки зрения, например, проверки опрос-ника для дифференциации здоровых и невротиков можно понимать упрощенно.

4. Надо решить вопрос о том, для какой цели метод создан? Для постановки диагноза, или даже дифференцированного диагноза, или для отбора и распределения кадров. Чем сложнее цель, для которой метод создан, тем он должен быть чувствительнее и разработанное. Разница есть и в методах, предназначенных для практической диагностики и для научных исследований. Первые должны иметь разработанные нормы и понятную интерпретацию результатов, в то время как для научных исследований достаточно представить данные в первичных результатах и интерпретировать их на уровне операциональных определений или в теоретических понятиях.

5. Кто будет пользователем методами? Этот вопрос требу­ет решения, так как если это психолог, тогда метод должен быть гораздо сложнее, чем когда им пользуется обученный неспециалист.

6. Надо определить, для какой популяции метод предназ­начен. Решающее значение будет иметь то, кто с помощью этого метода будет обследоваться — дети или взрослые, боль­ные или здоровые, грамотные или неграмотные испытуемые, предназначен он для группового или индивидуального обсле­дования и т. д.

7. Есть ли какие-нибудь требования ко времени проведе­ния обследования? Этот момент важен, так как время может быть фактором, влияющим на показатели результативности обследуемого, — время решения задачи, качество задач, ре­шенных за единицу времени, — важный показатель в тестах достижений.

8. Надо определить требования к экономичности метода -нужны ли специальные пособия, место для проведения об­следования, оборудование и т. п.

9. Только после решения этих вопросов, обдумывания бо­лее или менее внешних предпосылок можно подойти к соб­ственному построению метода. При построении его посто­янно учитывается формальное и содержательное соответствие отдельных заданий теоретическим и практическим основам метода.

Основным критерием качества метода является его валид-ность, то есть обоснованность, достоверность.

С формальной точки зрения валидность бывает подлин­ная, которая выражает отношение между результатами мето­да и тем, что с помощью метода изучалось, и ложная, в кото­рой зафиксирована видимость ценности метода. Подлинная валидность в зависимости от характера критерия, с помощью которого она проверяется, разделяется на эмпирическую и теоретическую, текущую и прогностическую.

Ложная валидность, как показывают исследования, имеет следующие варианты: очевидная валидность, валидность, основанная на опыте, на убеждении и на желании.

Очевидная валидность исходит из того, что якобы данный метод исследует реально существующие факты и закономер­ности. Например, неуверенность в себе исследуется с помо­щью вопросов на неуверенность, а знания по истории с помо­щью конкретных вопросов по истории и т. п. Очевидная ва­лидность соответствует подлинной валидность по содержа­нию только в том случае, если это дидактические тесты или тесты знаний. Во всех остальных случаях надо исследовать тест на валидность.

Валидность, исходящая из опыта, основывается на лич­ном чувстве психолога, что так он «понимает испытуемого».

Валидность. опирающаяся на убеждение, исходит из нео­боснованного убеждения, что метод хорош, так как, напри­мер, хорошей является теория или результаты, полученные с его помощью.

Валидность всех психодиагностических методов, кроме дидактических, проверяется психометрическими методами. Процесс валидизации осуществляется с помощью подсчета различных коэффициентов корреляции для подсчета отноше­ния между результатами метода и значением критерия. Коэф­фициент валидности может быть выражен и с помощью тес­та, коэффициента энтропии, теста X², с помощью прогности­ческих таблиц и иных мер отношений.

Теоретическая валидность определяется на основе логи­ческого доказательства и эмпирического подтверждения по­следствий, вытекающих из теории, определяющей метод и его интерпретацию. Преимуществом теоретической валиди-эации является применение факторного или дискриминаци­онного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать фак­торы и синдромы.

Валидность отвечает на вопрос: «Измеряем ли мы то, что думаем измерять». С этой точки зрения можно говорить о следующих типах валидности:

1. По содержанию выражает соответствие между тестом и исследуемой характеристикой. Пригодность методики оп­ределяется, например, на основании репрезентативного сход­ства между содержанием вопросов (заданий) и компонента­ми изучаемой характеристики личности; способ ее определе­ния — логико-семантический.

2. Текущая валидность выражает соответствие между резуль­татами и параллельно применяемыми критериями. Часто используется метод известных групп и сравниваются результа­ты обеих групп. Важна точная идентификация известных групп.

3. Прогностическая валидность выражает соответствие между результатами теста и критерием спустя определенное время. Например, при исследовании тревожности мы анали­зируем поведение и сопоставляем его с результатами тести­рования. Подходящим критерием, например, может быть ус­певаемость в школе и т. п.

4. Конструктная солидность выражает соответствие меж­ду тестом и изучаемой модальностью внутреннего мира чело­века. В этих целях часто результаты тестирования сравнивают­ся с надежными тестами, измеряющими эту модальность.

Эмпирически очевидные показатели, которые служат для проверки валидности теста, обозначаются термином крите­рий. В большинстве процедур по валидизации имеет место внешний критерий. Обычно им является знакомый и очевид­ный индикатор психической характеристики, для определе­ния которой и создается метод.

Критерием чаще всего бывает проявление изучаемой ха­рактеристики в повседневной жизни. Однако это должны быть такие данные, которые сами по себе не могут заменить ме­тод, иначе было бы бессмысленно создание методики. Дос­таточно тогда было бы использовать в качестве метода сам критерий. В патопсихологии критерием является диагноз вра­ча. В промышленности — количество аварий, количество по­ощрений или изобретений и др. В школе критерием может быть оценка успеваемости и поведения.

Критерий — это очевидный показатель тех характеристик личности, именно показатель, определяемый независимо от предъявления теста. Было бы ненаучным, если бы критерий исследовался и выражался — сознательно или неосознанно — в зависимости от знания тестовых результатов отдельных ис­пытуемых.

Критерием может служить и ранее проверенный практи­ческий тест или общепринятая хорошая теория.

Критерием может быть и возраст, при условии, что с воз­растом регулярно повышаются или снижаются показатели изучаемого явления.

В группу деятельностных критериев относят, например, производительность труда, качество результатов труда, зара­боток и др. К постоянным и объективно данным критериям относят возраст, пол, количество пропусков на работе, теку­честь кадров и т. п.

Результаты критерия редко бывают представлены в шкаль-ных единицах (то есть интервалах или в равных единицах измерсния в системе измерения). Чаще всего в единицах кван-тила: это порядковые степени, порядковое место или только качественные (номинальные) категории (типы). Тест имеет столько валидностей, сколько имеется критериев. В традици­онной теории тестов одним из основных критериев качества теста является его надежность.

Имеется в виду, что надежность метода обозначает, что ре­зультаты одних и тех же испытуемых не меняются даже при повторном обследовании после более длительного времени.

Надежность проявляется в том, что в руках разных экспе­риментаторов выявляется одно и то же, результаты также не­зависимы и от социодемографических факторов.

Источники результатов исследования можно рассматривать на следующих уровнях:

а) несовершенство психодиагности­ческого метода, который порождает постоянные и случайные ошибки;

б) ситуация обследования (влияет на результаты вре­мя дня, размещение испытуемых при групповом тестирова­нии и т. п.);

в) личность экспериментатора; роль, в которой он выступает для обследуемых;

г) психическое функциональ­ное состояние обследуемых;

д) способ оценивания результа­тов и их интерпретация.

Интерпретация результатов является объективной и одно­значной только при условии, что она касается однозначного сравнения диагностической информации с эталоном или ко­личественной нормой. Но когда психолог пытается объяснить, какой смысл имеет диагностическая информация, какое мес­то она занимает в структуре деятельности субъекта, он попа­дает в область не науки, а искусства.

Таким образом, критерий эффективности практической работы психодиагноста определяется надежностью инстру­ментов его работы и его профессиональной позиции, в кото­рой большое место занимает рефлексия на содержание обоб­щенной психологической теории и его личное отношение к своей профессии, позволяющее строить отношение с клиен­том, заказчиком и пользователем при получении психологи­ческой информации.

Вопросы

1. Перечислите основные шаги психодиагноста, получившего прак­тический запрос.

2. С какой целью психодиагностика используется в школе?

3. Каковы особенности применения психодиагностики в профотбо­ре и профконсультации?

4. В чем специфика психодиагностического обследования в меди­ко-психологической консультации?

5. Перечислите основные проблемы применения психодиагности­ки в судебно-психологической экспертизе.

Рекомендуемая литература

Вопросы практической психодиагностики и психологического кон­сультирования в вузе / Под ред. Н. Н. Обозова. — Л., 1984.

Люди также интересуются этой лекцией: ВРУБЕЛЬ Михаил Александрович.

Гуревич К. М. Что такое психологическая диагностика. — М., 1985.

Гуревич К. М. Проблемы дифференциальной психологии. — М.; Во­ронеж, 1998. - С. 108-142.

Дубровина И. В. Школьная психологическая служба. — М., 1991. — С. 104-117.

Кабанов М. М., Личко А. Е., Смирнов В. М. Методы психологической диагностики и коррекции в клинике. — Л., 1985. — С. 22-25.

Кулагин Б. В. Основы профессиональной диагностики. — М., 1970.

Рубинштейн С. Л. Экспериментальные методики патопсихологии. — М., 1970.