Надежность

Вопрос № 3     Надежность

Прежде чем психодиагностические методики могут быть использо­ваны для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффек­тивность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В ре­зультате появилась возможность оградить психологию от всевозмож­ных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических мето­дик относятся надежность и валидность.

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были раз­работаны как формально-логический, так и математико-статистический аппарат (прежде всего корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рас­смотрения надежности методик.

Надежность

В традиционной тестологии термин «надежность» означает отно­сительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Как пишет А. Анастази, вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу — 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы.

Таким образом, можно сказать, что надежность методики — это такой кри­терий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные ре­зультаты.

Рекомендуемые материалы

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений и их классификация.

 Ана­лиз показывает, что среди них наиболее часто называют следующие: » нестабильность диагностируемого свойства;

♦ несовершенство диагностических методик (небрежно составле­на инструкция, задания по своему характеру разнородны, нечет­ко сформулированы указания, как методику предъявлять испы­туемым, и т. д.);

♦ меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, на­личие или отсутствие посторонних шумов и т. д.);

♦ различия в манере поведения экспериментатора (от опыта к опы­ту по-разному предъявляет инструкции, по-разному стимулиру­ет выполнение заданий и т. д.);

♦ колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утом­ление и т. д.);

♦ элементы субъективности в способах оценки и интерпретации ре­зультатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно до­биться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики яв­ляется единообразие процедуры обследования, его строгая регламента­ция:

- одинаковые для обследуемой выборки испытуемых обстановка и условия работы,

- однотипный характер инструкций,

- одинаковые для всех временные ограничения, способы и особенности контакта с ис­пытуемыми,

- порядок предъявления заданий и т. д.

При такой стандар­тизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и та­ким образом повысить их надежность.

На характеристику надежности методик большое влияние оказы­вает исследуемая выборка. Она может как снижать, так и завышать этот показатель.

Например, надежность может быть искусственно завышена, если в выбор­ке небольшой разброс результатов, т. е. если результаты по своим значе­ниям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изме­нения ранговых мест испытуемых будут незначительными, и, следователь­но, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от дру­га результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делает­ся описание выборки, на которой определялась надежность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т. е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т. п. Для каж­дой такой выборки приводятся свои коэффициенты этой характерис­тики. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяет­ся к выборке, отличающейся от той, на которой проверялась ее надеж­ность, то эта процедура должна быть проведена заново.

Как подчеркивают многие авторы, разновидностей надежности ме­тодик так же много, как и условий, влияющих на результаты диагнос­тических испытаний. Однако практическое применение находят лишь несколько ее видов.

Так как все виды надежности отражают степень согласованности двух независимо полученных рядов показателей, то основной математико-статистический прием, с помощью которого устанавливается на­дежность методики, — это корреляции (по Пирсону или Спирмену). Подробное описание вычислительной процедуры приводится в при­ложении 2. Надежность тем выше, чем ближе полученный коэффици­ент корреляции подходит к единице, и наоборот.

В данной лекции при описании видов надежности основной упор де­лается на работы К. М. Гуревича, который, проведя тщатель­ный анализ зарубежной литературы по этой проблеме, предложил тол­ковать надежность как:

♦ надежность самого измерительного инструмента;

♦ стабильность изучаемого признака;

♦ константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначать следующим образом:

♦ показатель, характеризующий измерительный инструмент, пред­лагается называть коэффициентом надежности;

♦ показатель, характеризующий стабильность измеряемого свой­ства, — коэффициентом стабильности;

♦ показатель оценки влияния личности экспериментатора — коэф­фициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку ме­тодики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже пос­ле этого при необходимости заняться критерием константности.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.

Определение надежности измерительного инструмента.

От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измере­ния. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод «расщепления». Обычно задания делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они смогли успеть ре­шить (или попытаться решить) все задания. Если методика однород­на, то большой разницы в успешности решения по таким половинкам не будет, и, следовательно, коэффициент корреляции будет достаточ­но высоким.

Можно делить задания и другим путем. Например, можно сопоста­вить первую половину теста со второй, первую и третью четверть со второй и четвертой и т. п. Однако «расщепление» на четные и нечет­ные задания представляется наиболее целесообразным, поскольку именно этот способ наиболее независим от влияния таких факторов, как врабатываемость, тренировка, утомление и пр.

Методика признается надежной, когда полученный коэффициент не ниже 0,75-0,85. Лучшие по надежности тесты дают коэффициенты порядка 0,9 и более.

Следует обратить внимание на тот факт, что на начальном этапе раз­работки диагностической методики можно получить невысокие коэф­фициенты надежности, например порядка 0,46-0,5. Это означает, что в разрабатываемой методике присутствует некоторое число заданий, которые в силу своей специфичности ведут к снижению коэффициен­та корреляции. Такие задания необходимо специально проанализиро­вать и либо переделать их, либо вообще изъять.

Чтобы легче было установить, за счет каких заданий снижаются коэф­фициенты корреляции, необходимо проанализировать таблицы с вы­писанными данными, подготовленными для корреляций. Следует от­метить, что любые изменения в содержании методики — изъятие заданий, их перестановка, переформулировка вопросов или ответов — требуют заново высчитывать коэффициенты надежности.

При ознакомлении с коэффициентами надежности не следует за­бывать, что они зависят не только от правильного подбора заданий с точки зрения их взаимосогласованности, но и от социально-психо­логической однородности той выборки, на которой проверялась на­дежность измерительного инструмента.

В самом деле, в заданиях могут встретиться понятия, мало извест­ные одной части испытуемых, но хорошо известные другой части. От того, как много в методике таких понятий, будет зависеть и коэффи­циент надежности; задания с такими понятиями могут случайно распо­ложиться и в четной, и в нечетной половине теста. Очевидно, показа­тель надежности не следует приписывать только методике как таковой и нельзя уповать на то, что он будет неизменным, с какой бы выборкой ни проводилось тестирование.

Определение стабильности изучаемого признака.

Определить на­дежность самой методики — это не значит решить все вопросы, связан­ные с ее применением. Нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со вре­менем меняется, нет ничего опасного для надежности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что ис­пытуемый по непонятным причинам оказывается то в начале, то в се­редине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленности измеряемого признака у такого испытуемо­го нельзя. Таким образом, колебания признака не должны иметь не­предсказуемый характер. Если не ясны причины, по которым проис­ходит резкое колебание, то такой признак не может быть использован в диагностических целях.

Для проверки стабильности диагностируемого признака, свойства используется прием, известный под названием тест-ретпест. Он за­ключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреля­ции между результатами первого и второго обследований. Он будет свидетельствовать о сохранении или несохранении каждым испыту­емым своего порядкового номера в выборке.

На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико. Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тес­тирование проводилось в утренние часы, то и повторное должно быть проведено утром; если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т. д.

При определении стабильности признака большое значение имеет промежуток времени между первым и вторым обследованиями. Чем ко­роче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возраста­ет число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод о том, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности: если срок между первым и вторым опытами небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы по памяти и таким образом отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлений методики уже нельзя рассмат­ривать как независимые.

Трудно четко ответить на вопрос, какой срок можно считать опти­мальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она про­водится, особенностей выборки испытуемых, должен определить этот срок. При этом такой выбор должен быть научно обоснован. В тестологической литературе наиболее часто называются временные интер­валы в несколько месяцев (но не более полугода). При обследовании детей младшего возраста, когда возрастные изменения и развитие про­исходят очень быстро, эти интервалы могут быть порядка нескольких недель.

Важно помнить, что коэффициент стабильности не следует рассмат­ривать только с его узко формальной стороны, по его абсолютным значениям. Если методика исследует свойство, которое в период диагностирования находится в процессе интенсивного развития (на­пример, умение проводить обобщения), то коэффициент стабильности может оказаться невысоким, но это не следует истолковывать как недостаток методики. Такой коэффициент стабильности должен интерпре­тироваться как показатель определенных изменений, развития исследу­емого свойства. В этом случае, например, К. М. Гуревич рекомендует рассмотреть по частям ту выборку, на которой устанавливался коэффи­циент стабильности. При таком рассмотрении выделится часть ис­пытуемых, проходящих путь развития в одинаково ровном темпе; дру­гая часть — где развитие шло особенно быстрыми темпами; и часть выборки, где развитие у испытуемых практически совсем нельзя за­метить. Каждая часть выборки заслуживает специального анализа и ис­толкования. Следовательно, недостаточно просто констатировать, что коэффициент стабильности низкий, нужно понять, от чего это зависит.

Совсем другое требование предъявляется к коэффициенту ста­бильности, если автор методики считает, что измеряемое свойство уже сформировано и должно быть достаточно устойчивым. Коэффи­циент стабильности в этом случае должен быть достаточно высоким (не ниже 0,8).

Лекция "2 Социально-экономическое развитие" также может быть Вам полезна.

Таким образом, вопрос о стабильности измеряемого свойства реша­ется не всегда однозначно. Решение зависит от сущности самого диа­гностируемого свойства.

Определение константности, т. е. относительной независимости ре­зультатов от личности экспериментатора. Поскольку методика, разра­ботанная для диагностических целей, не предназначена для того, что­бы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности эксперимен­татора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указыва­ющими, как проводить эксперимент, однако регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, вы­ражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требо­ваниями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т. п.).

Хотя в тестологической практике критерием константности пользуют­ся нечасто, однако, по мнению К. М. Гуревича, это не может служить основанием для его недооценки. Если у авторов методики возникают подозрения по поводу возможного влияния личности эксперимента­тора на исход диагностической процедуры, то целесообразно прове­рить методику по этому критерию. При этом важно иметь в виду сле­дующий момент. Если под воздействием нового экспериментатора все испытуемые в одинаковой степени стали работать немного лучше или немного хуже, то сам по себе этот факт (хотя и заслуживает внима­ния) на надежность методики не окажет влияния. Надежность изме­нится лишь тогда, когда воздействие экспериментатора на испыту­емых различно: одни стали работать лучше, другие хуже, а третьи так же, как и при первом экспериментаторе. Другими словами, если испы­туемые при новом экспериментаторе изменили свои порядковые мес­та в выборке.

Коэффициент константности определяется путем корреляции ре­зультатов двух опытов, проведенных в относительно одинаковых ус­ловиях на одной и той же выборке испытуемых, но разными экспери­ментаторами. Коэффициент корреляции не должен быть ниже 0,8.

Выше были рассмотрены три показателя надежности психодиагности­ческих методик. Может возникнуть вопрос, нужно ли при создании методик осуществлять проверку каждого из них? В профессиональ­ной литературе еще идет дискуссия по этому поводу. Одни исследова­тели считают, что все способы определения надежности в какой-то мере идентичны, и поэтому достаточно проверить надежность мето­дики каким-то одним из них.

Например, автор неоднократно переиздававшейся в США книги по ста­тистике для психологов и педагогов Г. Гэррет не находит принципиаль­ных различий между способами проверки надежности. По его мнению, все эти способы показывают воспроизводимость тестовых показателей. Иногда тот, иногда другой обеспечивают лучший критерий. Другие иссле­дователи придерживаются иной точки зрения. Так, авторы «Стандартных требований к педагогическим и психологическим тестам» в главе «На­дежность» отмечают, что коэффициент надежности — это родовое поня­тие, включающее в себя несколько видов, и каждый вид имеет свой осо­бый смысл. Разделяет эту точку зрения и К. М. Гуревич [44]. По его мнению, когда говорят о разных способах определения надежности, то имеют дело не с лучшей или худшей мерой, а с мерами разной по су­ществу надежности. В самом деле, чего стоит методика, если не ясно, надежна ли она сама по себе как измерительный инструмент или не ус­тановлена стабильность измеряемого свойства? Чего стоит диагнос­тическая методика, если не известно, могут ли изменяться результаты в зависимости от того, кто ведет эксперимент? Каждый в отдельности показатель никак не заменит других способов проверки и, следователь­но, не может рассматриваться в качестве необходимой и достаточной характеристики надежности. Только методика, располагающая полной характеристикой надежности, наиболее пригодна для диагностико-практического применения.