Психометрические требования к построению и проверке методик

Лекция № 4

Психометрические требования к построению и проверке методик

Учебные вопросы:

1. Введение в тему

2. Стандартизация

3. Надежность

4. Валидность

Вопрос № 1  Введение в тему

Рекомендуемые материалы

Диагностические методики обычно называют измерительными ин­струментами, а психологическую диагностику — психометрией.

Психометрия — область психологической диагностики, связанная с теорией и практикой измерений в психологии.

Это понятие было введено немецким исследователем X. Вольфом, который ставил перед собой задачу измерить величину внимания по­средством продолжительности аргументации, за которой человек в со­стоянии проследить.

Реализация идеи измерений психических явлений началась с работ по психофизике. Первоначально под психометрией понималось из­мерение временных характеристик психических процессов. Однако очень скоро область психометрии расширялась — к ней стали относить измерения не только ощущений, но и более сложных психических функций. Другими словами, все то, что связано с количественным оп­ределением психических явлений, стали включать в понятие «психо­метрия», которое затем переросло в понятие «общая психометрия».

С появлением такой области исследований, как дифференциальная психология, психометрия получила свое новое развитие, поскольку ста­ли возникать особые правила и требования к принципам измерения, следование которым обеспечивало его точность и достоверность. В связи с этим обнаружилась необходимость использовать понятие, более точно определяющее данную область измерений. Оно должно было отражать не всю совокупность психологических и психофизических измерений, а только ту, которая имеет отношение к дифференциально-психологи­ческим характеристикам. В качестве такого понятия предлагается ис­пользовать термин «дифференциальная психометрия».

В ряде работ по психологической диагностике обосновывается це­лесообразность отличать понятие «дифференциальная психометрия» от понятия «общая психометрии». Как первое, так и второе понятие связано с теорией и практикой измерений в психологии. В то же время важно отметить следующее.

1. К общей психометрии относятся измерения общепсихологического (свойственного всем людям) характера, т. е. функциональные за­висимости между свойствами стимула и свойствами субъектив­ных реакций.

           Так, в психофизике определяется зависимость меж­ду физическими характеристиками стимулов и субъективными характеристиками ощущений (например, объективная прибавка веса и порог субъективного ощущения увеличения тяжести). В социально-психологических областях выявляется соответствие между рядами социальных объектов и психологическими реак­циями (например, социальные объекты — разные виды реклами­руемых товаров, психологические реакции — от «очень нравится» до «очень не нравится»).

2. К дифференциальной психометрии относятся измерения, каса­ющиеся индивидуальных различий между людьми по способнос­тям, когнитивным функциям (внимание, память, мышление и т. д.), мотивам, эмоциональным особенностям и пр. Здесь числовые зна­чения (баллы, ранги, шкальные значения) приписываются не сти­мулам, а индивидам.

Дифференциальная психометрика по отношению к психодиагнос­тике и дифференциальной психологии выступает в качестве технолого-методической дисциплины. Она обосновывает требования, которым должны удовлетворять психодиагностические методики, процедуру их разработки и применения. К числу таких требований относятся стандартизация, надежность и валидность методик.

Выше говорилось о том, что психодиагностические методики назы­вают измерительными инструментами. Однако возникает вопрос, пра­вомерно ли их так называть, являются ли они таковыми, подобными, например, тем, которые используются в физических измерениях?

Ответ на этот вопрос можно найти в работах К. М. Гуревича. На примере анализа тестов он показывает, что такое определение диагностических методик носит условный характер. Сначала нужно вспомнить, что представляет собой измерение. Измерить — значит определить какой-либо мерой величину измеряемого. Для этого нуж­но, чтобы были соблюдены по крайней мере два условия.

1. Первое условие касается самого измерительного инструмен­та: он должен иметь на протяжении всего измерения одну и ту же, тож­дественную самой себе меру. Нельзя измерять инструментом, у которого нет такой тождественной самой себе меры (например, если бы на линей­ке расстояния от одного деления до другого были неодинаковы на раз­ных участках).

2. Второе условие — нужно, чтобы то, что измеряется, во всех случаях оставалось одним и тем же, т. е. также было тождественно самому себе. К. М. Гуревич считает, что соблюсти эти два условия в психодиагностических исследованиях крайне затруднительно.

Например, в тесте предложены задания на умение производить такую логическую операцию, как классификация понятий. Так, даны понятия пшеница, чечевица, кукуруза, бамбук, ячмень. Испытуемый должен за­черкнуть слово, которое не подходит к четырем основным. Обычно ис­пытуемые зачеркивают бамбук. Это ошибка. Бамбук, как пшеница, яч­мень и кукуруза, относится к злаковым, а чечевица— к бобовым. Это слово и следует зачеркнуть.

Чем можно объяснить, что не все испытуемые дают правильный ответ?

К. М. Гуревич называет несколько причин:

1) испытуемый слабо владеет такой логической операцией, как клас­сификация;

2) испытуемый владеет логической операцией, но не знает того ма­териала, на котором ее надо применить;

3) испытуемый знает материал, владеет логической операцией, но он не способен работать в том обычно довольно быстром темпе, ко­торый требуется при выполнении теста.

Возникает вопрос, что же измеряет в действительности данное задание?

Как было показано выше, у одних испытуемых оно измеряет что-то одно, у других — другое. У испытуемых, владеющих соответствующим материалом, оно измеряет то, на что направлено, — владение логиче­ской операцией. У тех же испытуемых, которым материал задания мало­знаком, измеряется их знание. Кроме того, у тех и других измеряется их индивидуальный темп.

Этот анализ К. М. Гуревич продолжает дальше. Тест состоит из цело­го набора заданий; иногда их число доходит до 40. Можно ли выполнен­ное задание считать мерой, через которую определяется количествен­ный показатель измеряемой стороны психики?

Нельзя, так как эта мера измеряет разные стороны психики. У одних вы­является владение логическими действиями, у других — знание тех по­нятий, которые представлены в тесте, у третьих фактически измеряется их темп; у одних эта мера имеет одно, а у других — другое содержание.

На основании проведенного анализа К. М. Гуревич делает вывод о том, что данные, которые получаются в тестировании, нельзя считать из­мерениями в подлинном смысле слова. Тест не является измерительным инструментом в том понимании, которое существует, например, в фи­зических измерениях, хотя какую-то оценку той стороны психики, на диагностирование которой он направлен, тест показывает — правда, не в количественном выражении.

Тест можно считать инструментом сравнения. При сравнении не подчеркивается, что из двух сравниваемых объектов один больше другого на столько-то единиц. В этом случае достаточно установить, что такой-то объект больше другого (или других). По результатам сравне­ния можно расположить все изучаемые объекты в определенном по­рядке — от меньшего к большему или наоборот. Сравнение не предпо­лагает обязательного измерения, а значит, не предполагает и единицы измерения. При сравнении устанавливается только последовательность, порядок сравниваемых объектов по их величине.

Сделанный К. М. Гуревичем вывод относительно тестов с полным правом может быть перенесен и на другие диагностические методики.

Вопрос 2   Стандартизация

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Как отмечает А. Анастази, стандарти­зация — это единообразие процедуры проведения и оценки выпол­нения теста.

Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре экспе­римента и как определение единого критерия оценки результатов диа­гностических испытаний.

Стандартизация процедуры эксперимента подразумевает унифи­кацию инструкций, бланков обследования, способов регистрации ре­зультатов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведе­нии эксперимента, можно отнести такие:

♦ инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

♦ ни одному испытуемому не следует давать никаких преимуществ перед другими;

♦ в процессе эксперимента не следует давать отдельным испыту­емым дополнительные пояснения;

♦ эксперимент с разными группами следует проводить в одинако­вое по возможности время дня, в сходных условиях;

♦ временные ограничения в выполнении заданий для всех испыту­емых должны быть одинаковыми и т. д.

Обычно авторы методики в руководстве приводят точные и подроб­ные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми,

Другим важным моментом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результа­тов диагностических испытаний, поскольку диагностические методи­ки не имеют заранее определенных стандартов успешности или неуда­чи в их выполнении.

Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117.

Хорошо это или плохо ?

Часто ли такой показатель встречается у детей данного возраста?

Количественный результат как таковой ничего не означает. Получен­ный дошкольником балл нельзя интерпретировать как показатель отно­сительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, аб­солютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании ин­дивидуальные и групповые данные.

Возникает вопрос, что за эту точку отсчета брать?

В традиционном тестировании такая точка добывается статистиче­ским путем — это так называемая статистическая норма.

В общих чертах стандартизация диагностической методики, ориен­тированной на норму, осуществляется путем ее проведения на боль­шой репрезентативной выборке того типа, для которой данная мето­дика предназначена (подробно о том, что такое репрезентативная выборка, будет сказано ниже). Относительно этой группы испыту­емых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его отно­сительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в вы­полнении диагностической пробы. Это позволяет определить положе­ние конкретного испытуемого относительно нормативной выборки или выборки стандартизации.

Для вычисления статистической нормы психологи-диагносты об­ратились к давно применяемым в биологии приемам математической статистики. Рассмотрим пример.

На призывной пункт явилось несколько тысяч молодых людей. Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного людей будет очень маленького и очень высокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распределение рас­сматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения доста­точно знать два показателя — среднее арифметическое и так называ­емое стандартное отклонение, которое получается путем несложных вы­числений.

Назовем среднее арифметическое х, а стандартное отклонение — а (сигма малая). При нормальном распределении все изучаемые величи­ны практически находятся в пределах

х± 5а. Нормальное распределе­ние обладает многими преимуществами, в частности, оно позволяет заранее рассчитать, сколько случаев будет расположено в определен­ном удалении от среднего арифметического при использовании для определения удаленности стандартного отклонения. Для этого име­ются специальные таблицы. Из них видно, что в пределах х ±а нахо­дится 68 % изучаемых случаев. За этими пределами — 32 % случаев, а так как распределение симметрично, то по 16 % с каждой стороны. Итак, преобладающая и наиболее представительная часть распределе­ния находится в пределах х ± а. Все расчеты и рассуждения нужны только для того, чтобы дать оценку индивидуальным данным, получа­емым при выполнении тестов.

Рассмотрим стандартизацию диагностической методики на примере тестов Стэнфорд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выпол­нении тестов было близко к нормальному. Этого результата удалось до­биться далеко не сразу; в некоторых случаях ученым приходилось заме­нять одни задания другими. В конце концов эта работа была закончена, и были подготовлены тесты по каждому возрасту со средним арифмети­ческим, равным 100, и со стандартным отклонением, равным 16, с рас­пределением, близким к нормальному.

Выше говорилось о том, что при измерении роста новобранцев было получено нормальное распределение данных по их росту. Никто не вме­шивался в процесс измерения, не заменял одних новобранцев другими. Все получилось естественно, само собой. Но при работе с психологи­ческими методиками дело идет не так. Опытным психологам, неплохо представляющим психические возможности детей, приходилось за­менять некоторые задания, чтобы приблизить полученные результаты к нормальному распределению. Результаты диагностических испытаний в психологии очень редко укладываются в рамки нормального закона; их приходится для этого специально подгонять. Причины этого явления нужно искать в самом существе теста, в обусловленности его выполне­ния подготовкой испытуемых.

Для чего нужно распределение, близкое к нормальному?

Для того, чтобы классифицировать весь полученный при стандар­тизации по каждому возрасту материал, т. е. результаты тестирования. Для такой классификации используются стандартное отклонение а и среднее арифметическое х. Принимается, что результаты в пределах х± а показывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При а = 16 и х = 100 границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, на­ходятся в пределах нормы. Те, чьи результаты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей классификации. Тогда результаты в пределах от х — а до х — 2 а интерпретируются как «не­сколько ниже нормы», а от х — 2сигма до х — З сигма — как «значительно ниже нормы». Соответственно классифицируются результаты, находящие­ся выше нормы.

Вернемся к результату, полученному ребенком шести лет, о кото­ром упоминалось выше. Его успешность по тесту равна 117. Этот ре­зультат выше нормы, но очень незначительно (верхняя граница нор­мы 116).

Кроме статистической нормы, основой для сравнения, интерпрета­ции результатов диагностических испытаний могут стать и такие по­казатели, как процентили.

Процентиль — это процентная доля индивидов из выборки стандар­тизации, первичный результат которых ниже данного первичного показателя. Например, если 28 % людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соот­ветствует 28-й процентиль (Р₂₈). Процентили указывают на относи­тельное положение индивида в выборке стандартизации. Их также можно рассматривать как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начи­нать отсчет сверху, т. е. с лучшего члена группы, получающего ранг 1. В случае же процентилей отсчет ведется снизу, поэтому чем ниже про­центиль, тем хуже позиция индивида.

50-й процентиль (Р₅₀) соответствует медиане — одному из показа­телей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнитель­но низкие показатели. 25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для описания распределения показателей и сравнения с другими распре­делениями.

Процентили не следует смешивать с обычными процентными пока­зателями. Последние являются первичными показателями и представ­ляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от об­щего числа членов группы. Первичный результат, который ниже любо­го показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Р_о). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (Р₁₀₀). Эти процентили, однако, не означают нулевого или абсолютного ре­зультата выполнения теста.

Процентильные показатели обладают рядом достоинств, в частности:

1) их легко рассчитать и понять даже сравнительно неподготовлен­ному человеку;

2) их применение достаточно универсально и подходит к любому типу тестов.

Однако недостаток процентилей — это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки рас­пределения. При использовании процентилей (как уже отмечалось вы­ше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.

В психодиагностике существует и другой подход к оценке результа­тов диагностических испытаний. В нашей стране под руководством К. М. Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает не статистическая норма, а не зависимый от резуль­татов испытания, объективно заданный социально-психологический норматив. Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставле­ния индивидуальных или групповых результатов тестирования про­водятся с тем максимумом, который представляется в тесте (а это пол­ный набор знаний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется раз­работанная схема представления групповых количественных данных. Для анализа данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как 100 %-ное вы­полнение всего теста, все испытуемые подразделяются по результатам тестирования на пять подгрупп:

1) наиболее успешные — 10 %;

2) близкие к успешным — 20 %;

3) средние по успешности — 40 %;

4) мало успешные — 20 %;

5) наименее успешные — 10 %.

Для каждой из подгрупп подсчитывается средний процент правиль­но выполненных заданий. Далее строится система координат, где по оси абсцисс идут номера подгрупп, по оси ординат — процент выпол­ненных каждой из подгрупп заданий. После нанесения соответству­ющих точек вычерчивается график, отражающий приближение каж­дой из подгрупп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.

Выборка стандартизации

При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической стати­стике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы иссле­довать или относительно которых собираются делать выводы, назы­вается генеральной совокупностью.

Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделя­ют группу людей — выборку стандартизации, — которая реально под­вергается тестированию, и с ее помощью оценивается генеральная со­вокупность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой по­пуляции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

А. Анастази приводит пример формирования репрезентативной вы­борки при стандартизации шкалы Векслера. Выборка включала 1700 человеке равным количеством мужчин и женщин. Испытуемые в возрасте от 16 до 64 лет были распределены по семи возрастным уровням. При формировании выборки исследователи опирались на данные последней переписи населения США. Учитывалось пропорцио­нальное распределение населения по географическим районам, при­надлежность к городскому и сельскому населению, принадлежность к белой или цветной расе, учитывались также уровень образования и профессия. На каждом возрастном уровне в выборку были введены один мужчина и одна женщина, находящиеся в учреждениях для умствен­но отсталых.

По мнению А. Анастази, подавляющее большинство диагности­ческих методик стандартизовано не для столь широких популяций, как многие полагают. Трудно рассчитывать, что по какому-либо те­сту имеются адекватные нормы для таких обширных популяций, как, например, «взрослые американцы-мужчины» или «американские де­ти 14-летнего возраста». Выборки, ориентированные на широкие по­пуляции, не всегда репрезентативны и чаще всего бывают смещены в тех или иных отношениях (т. е. некоторые подгруппы популяции могут быть представлены непропорционально своей численности).

Так, если определить популяцию как «14-летние дети», а выборку стандартизации составить из 14-летних школьников, то ее нельзя рас­сматривать в качестве репрезентативной, поскольку не все 14-летние дети являются школьниками. В этом случае лучше сузить определе­ние популяции (т. е. определить ее как «14-летние школьники»), чем переносить нормы, полученные на школьниках, на популяцию 14-лет­них детей.

Таким образом, одним из способов обеспечения репрезентативности выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному проис­хождению, профессии, социально-экономическому статусу, здоровью и т. д. Такая популяция определяется как специфическая, и стандар­тизация диагностических методик осуществляется на узконаправ­ленных выборках, которые репрезентативны специфической попу­ляции. Создатель диагностической методики должен всегда сообщать, для какой специфической популяции были разработаны норматив­ные показатели.

Ещё посмотрите лекцию "10 Понятие и основные свойства нечетких отношений" по этой теме.

Отбор испытуемых в выборку стандартизации осуществляется сле­дующим образом:

1) дается определение популяции с выделением в ее структуре пе­ременных, значимых и малозначимых для изучаемого психиче­ского явления (возраст, образование, профессия и т. д.);

2) популяция делится на части в соответствии со значимыми пере­менными;

3) испытуемые отбираются в случайном порядке и пропорциональ­но численности каждой значимой части совокупности.

Случайный отбор может осуществляться по алфавиту, по таблице случайных чисел или другим способом. Важно, чтобы у всех предста­вителей популяции были равные шансы попасть в выборку стандар­тизации. Это условие подразумевает, что каждый выбор не зависит от остальных.

Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных ре­зультатов, — порядка 200 человек [34].