Валидность

Вопрос № 4       Валидность

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до сих пор представля­ется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и на­сколько хорошо он это делает» .

Валидность по своей сути — это комплексная характеристика, вклю­чающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, ка­кова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

1. Валидность в первом ее понимании имеет отношение к самой мето­дике, т. е. это валидность измерительного инструмента.

Такая проверка называется теоретической валидизацией.

2. Валидность во втором пони­мании уже относится не столько к методике, сколько к цели ее ис­пользования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

Рекомендуемые материалы

♦ при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

♦ при прагматической валидизации суть предмета измерения (пси­хологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое ме­тодикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматиче­ской, порой оказывается значительно труднее.

Не вдаваясь пока в кон­кретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравни­ваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической ме­тодики.

Для определения теоретической валидности найти какой-либо не­зависимый критерий, лежащий вне методики, гораздо труднее. Поэто­му на ранних стадиях развития тестологии, когда концепция валидно­сти только складывалась, бытовало интуитивное представление о том, что именно данный тест измеряет:

1) методика называлась валидной, так как то, что она измеряет, просто «очевидно»;

2) доказательство валидности основывалось на уверенности иссле­дователя в том, что его метод позволяет «понять испытуемого»;

3) методика рассматривалась как валидная (т. е. принималось ут­верждение, что такой-то тест измеряет такое-то качество) толь­ко потому, что теория, на основании которой строилась методи­ка, «очень хорошая».

Принятие на веру голословных утверждений о валидности методи­ки не могло продолжаться длительное время. Первые проявления дей­ствительно научной критики развенчали такой подход: начались по­иски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диа­гностировать умственное развитие детей, надо проанализировать, дей­ствительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Следовательно, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой ме­тодики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и ана­логичной, уже проверенной методикой указывает на то, что разработан­ная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиа­гносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто применяется в дифференциаль­ной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Но теоретическая валидность доказывается путем сопоставления не только с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть.

Таким образом, для про­верки теоретической валидности важно,

- с одной стороны, установить степень связи с родственной методикой (конвергентная валидность),

- а с другой — отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидностъ).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с та­кой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изу­чаемом свойстве, анализ теоретических предпосылок и эксперимен­тальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет со­поставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработа­на в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повсе­дневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоре­тические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то ин­терпретация полученных показателей становится более ясной и одно­значной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой име­ет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в опре­деленных видах деятельности. Ей придают большое значение особен­но там, где встает вопрос отбора.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводи­ло к псевдонаучным выводам, к неоправданным практическим реко­мендациям. Нельзя было точно назвать те особенности, качества, ко­торые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать кри­тики со стороны тех ученых, которые в разработке тестов призывали опи­раться не только на «голую» эмпирику и практику, но и на теоретиче­скую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни.

 Такими кри­териями могут быть:

1) успеваемость (для тестов способностей к обучению, тестов до­стижений, тестов интеллекта);

2) производственные достижения (для методик профессиональной направленности);

3) эффективность реальной деятельности — рисование, моделиро­вание и т. д. (для тестов специальных способностей);

4) субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних крите­риев, выделили четыре их типа:

1) критерии исполнения (в их число могут входить такие, как коли­чество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении вли­яния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т. д.);

4)  критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, ко­торые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

1) он должен быть релевантным;

2) свободным от помех (контаминации);

3) надежным [43].

Под релевантностью имеется в виду смысловое соответствие диа­гностического инструмента независимому жизненно важному крите­рию. Другими словами, должна быть уверенность в том, что в крите­рии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний крите­рий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородны­ми по психологической сущности.

Если, например, тест измеряет индивидуальные особенности мышле­ния, умение выполнять логические действия с определенными объекта­ми, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятель­ности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вы­текает существование нескольких критериев выполнения профессио­нальной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффек­тивностью в целом. Необходимо найти такой критерий, который по ха­рактеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он из­меряемому свойству или нет, то сопоставление с ним результатов психо­диагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оцен­ку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, кото­рые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследо­вания такие группы людей, которые находятся в более или менее оди­наковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно ста-тистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней произво­дительности рабочих, имеющих аналогичные условия труда.

Когда говорят, что критерий должен иметь статистически достовер­ную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось подыскать подходящего критерия для их проверки. В частности, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и каче­ственный характер.

Для вычисления количественного показателя — коэффициента ва­лидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию тех же лиц. Используются разные виды линейной корреля­ции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше 50, однако луч­ше всего более 200. Часто возникает вопрос, какой должна быть вели­чина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент ва­лидности был статистически значим.

- Низким признается коэффи­циент валидности порядка 0,2-0,3,

- средним — 0,3-0,5

- и высоким — свыше 0,6.

Но, как подчеркивают А. Анастази, К. М. Гуревич и др„ не всегда для вычисления коэффициента валидности правомерно ис­пользовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорцио­нален успеху в выполнении диагностической пробы. Позиция зару­бежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Более высокий показатель в тесте уже не имеет никакого значения для профессии.

Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью — это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наи­более адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошли бы диспер­сионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статис­тическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидно­сти методик используют другую модель — клинические оценки. Это не что иное, как качественное описание сущности изучаемого свой­ства. В этом случае речь идет об использовании приемов, не опира­ющихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особен­ностями диагностических методик, а также временным статусом внеш­него критерия. Однако чаще всего называются следующие.

1. Валидность «по содержанию». Этот прием используется, напри­мер, в тестах достижений. Обычно в тесты достижений включа­ется не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельству­ют об усвоении всего материала? На это и должна ответить про­верка валидности по содержанию. Для этого проводится сопо­ставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность «по одновременности», или текущая валидность, определяется с помощью внешнего критерия, по которому инфор­мация собирается одновременно с экспериментами по проверя­емой методике. Другими словами, собираются данные, относя­щиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними сопоставля­ют результаты успешности по тесту.

3.           «Предсказывающая» валидность (другое название — «прогности­ческая» валидность). Определяется также по внешнему крите­рию, но информация по нему собирается некоторое время спустя , после испытания. Внешним критерием обычно бывает выражен­ная в каких-либо оценках способность человека к тому виду дея­тельности, для которой он оценивался по результатам диагнос­тических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успеш­ности, — применять его очень трудно. Точность диагноза нахо­дится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измере­ния, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4.           «Ретроспективная» валидность. Она определяется на основе критерия, отражающего события или состояние качества в прош­лом. Может быть использована для быстрого получения сведе­ний о предсказательных возможностях методики. Так, для про­верки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностически­ми показателями.

При приведении данных о валидности разработанной методики важ­но точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.).

Желательно также сообщать сведения о чис­ленности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той груп­пы, к которой он собирается его применять.

Как и в случае с надеж­ностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой — низкой.

Поэтому, если исследователь планирует использовать методику на выборке испыту­емых, существенно отличающейся от той, на которой проводилась про­верка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим толь­ко к группам испытуемых, подобных тем, на которых он определялся.

Вопросы

1. Что такое дифференциальная психометрия? В чем ее отличие от
общей психометрии?

2. Дайте определение понятию «стандартизация методик».

3. Что такое репрезентативная выборка? Как она строится?

4. Назовите приведенные в главе критерии оценки результатов диа­гностических испытаний.

5. Что такое надежность методики? Назовите виды надежности.

6. Что такое валидность методики? Назовите ее основные виды.

Рекомендуемая по теме литература

Анастази А. Психологическое тестирование: В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. - М, 1982. - Кн.1. - С. 66-179. Бурлачук Л. Ф. Психодиагностика. - СПб., 2003. - С. 105-107, 161-176.

Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологиче­ской диагностике. — Киев, 1989.

Гайда В. К., Захаров В. П. Психологическое тестирование. — Л., 1982.

Гуревич К. М. О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии. — М., 1969. — Т. 6.

Гуревич К. М. Надежность психологических тестов // Психологи­ческая диагностика. Ее проблемы и методы. — М., 1975.

"Богатство" - тут тоже много полезного для Вас.

Гуревич К. М. Статистика — аппарат доказательства психологи­ческой диагностики // Проблемы психологической диагностики. — Таллин, 1977.

Гуревич К. М. Что такое психологическая диагностика. — М., 1985.

Гуревич К. М. Проблемы дифференциальной психологии. — М.; Во­ронеж, 1998. - С. 242-254, 256-272.

Носе И. Н. Введение в технологию психодиагностики. — М., 2003. — С. 83-98.

Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина, 1987.-С. 15-17,53-90.

Основы психодиагностики / Под ред. А. Г. Шмелева. — Ростов н/Д, 1996.-С. 131-156.