9543-1 (Создание надежных тестов: личностные опросники, разработка заданий)

Создание надежных тестов: личностные опросники, разработка заданий

П. Клайн

Личностные опросники - широко используемые методики измерения личностных качеств, поскольку они могут разрабатываться так, что им будут присущи многие атрибуты эффективных тестов: надежность, дискриминативность и стандартизованность. Однако, в силу природы личностных переменных, труднее всего бывает установить валидность именно этих методик.

Проблемы конструирования личностных опросников

Как и в случае тестов способностей, качество отдельных заданий (вопросов, утверждений) является определяющим для всего опросника, и поэтому в данной главе будут рассматриваться трудности, возникающие при формулировании заданий, а также преимущества различных типов заданий.

При разработке заданий для личностных опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неизбежно приведут к низкой валидности тестов.

(1) Установка на согласие (response set of acquiescence). Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы "да" независимо от их содержания. Чаще всего проявляется, согласно Guilford (1959), когда утверждения (вопросы) неоднозначны и неопределенны.

(2) Установка на социально одобряемые ответы (response set of social desirability). Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть "социально положительным": если возможен "социально желательный" ответ, то весьма вероятно, что испытуемые будут его давать. Эта установка, как показал Edwards (1957), оказывает, в частности, влияние на результаты теста ММРI (Minnesota Multiphasic Personality Inventory).

(3) Установка на неопределенные или средние ответы (response set of using the uncertain or middle category). Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (напр., "не уверен", "не знаю", или "затрудняюсь ответить"), то многие испытуемые склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности заданий, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей.

(4) Установка на "крайние" (расположенные по краям шкалы) ответы (response set of using the extreme response). Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания вопросов, предпочитают выбирать крайние ответы (Vernon, 1964).

(5) Очевидная валидность (face validity) вопросов (утверждений). Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые. Cattell и Kline (1977) рассматривают данные опросника как данные Q и Qi. Данные из первого множества рассматриваются так, как если бы они отражали поведение испытуемого, данные из второго - как ответ на отдельный вопрос, ответ, который либо нагружен некоторым фактором, либо нет, независимо от того, отражает ли он поведение испытуемого.

(6) Выборка из генеральной совокупности вопросов. В тестах интеллекта и специальных способностей, обсуждавшихся в предыдущей главе, относительно легко убедиться в том, что задания принадлежат или с высокой степенью вероятности выглядят принадлежащими к подразумеваемой для них генеральной совокупности. Лингвистические задания нелегко перепутать с математическими или какими-либо другими. Однако, в области особенностей личности и темперамента все гораздо сложнее.

В самом деле, иногда даже опытные и искусные разработчики вопросов (например, Cattell, 1957) бывают удивлены тем, что вопросы нагружены не теми факторами, для выявления которых они были созданы, а также тем, что вопросы вообще не нагружены ни одним из факторов. Эта проблема с точки зрения классической теории тестов состоит в трудности определения конкретной выборочной совокупности вопросов. В результате возникает проблема подбора адекватной выборки из выборочной совокупности вопросов или утверждений для теста, а без этого тест не может быть валидным.

(7) Выборка из генеральной совокупности испытуемых. Как указано выше, в личностных тестах труднее обеспечить адекватность выборки из выборочной совокупности, чем в тестах способностей. При использовании тестов способностей обычно известна вполне определенная категория лиц (популяция), для которой данный тест предназначен, и таким образом, по крайней мере в принципе, можно эффективно подбирать выборки. Однако, в личностных тестах, в отличие от тестов, разрабатывающихся для испытуемых с той или иной патологией, в идеале нужны выборки из общей популяции (т.е. всего населения страны), в которой встречаются все возможные показатели. Такие выборки, как показано, должны быть большими, и их обычно трудно получить.

(8) Проблемы в установлении адекватного критерия валидности. Существует, как уже подробно обсуждалось в разделе о валидности, значительная трудность в нахождении адекватного критерия. Например, если мы пытаемся измерить авторитаризм, то будем вынуждены полагаться на рейтинги, поскольку нет никаких других внешних мерил (в отличие от, например, школьных экзаменов в случае диагностики способностей). Рейтинги - это неадекватный инструмент, а если бы они подходили, тест был бы не нужен. Аналогично, если существуют высокоэффективные тесты авторитаризма, которые могут быть использованы в качестве критерия валидности, вероятно, в новом тесте нет необходимости.

Таким образом, мы вынуждены ограничиваться исследованиями конструктной валидности, обычно основывающимися на мультивариативном анализе разрабатываемого теста по сравнению с другими переменными, а также исследованиями специальных групп, имеющих по предположению контрольные показатели по рассматриваемой переменной.

Таковы основные сложности, возникающие при конструировании личностных опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверждений. Две последние проблемы, хотя они и являются определяющими, выходят на первый план уже после того, как подобраны задания теста.

Формулирование вопросов (утверждений ) для личностных опросников

Практически нет необходимости особо говорить о том, что для тестов личности имеет большое значение то, чтобы ответы на вопросы могли быть объективно и с высокой надежностью оценены. Следовательно, мы должны сделать это возможным путем разработки формы вопросов. Ниже приведены формы вопросов, используемых в наиболее известных опросниках - тех, которые оказались наиболее эффективными на практике.

(1) Вопросы с ответом типа "да-нет". Такие вопросы использовались автором этой книги в разработанных им тестах личности, AI3Q (Kline, 1971), OOQ и OPQ (Kline and Storey, 1978). Их легко формулировать, они понятны испытуемым и ответы на них даются быстро. Такова форма вопросов личностных тестов Айзенка. Типичный дихотомический вопрос: "Любите ли вы загорать на пляже?"

(2) Вопросы с ответами типа "да-?-нет", "да-затрудняюсь ответить - нет". Это вариант вопросов типа "да-нет", описанных выше, с добавлением категории неопределенности, потому что некоторые испытуемые становятся раздражительными к несговорчивыми, если их заставляют отвечать либо "да", либо "нет" на вопросы, в ответах на которые они не очень уверены.

Трудность с такими вопросами состоит в том, что эта "средняя" категория очень привлекательна для испытуемых и редко бывает информативной. Bendig (1959) показал это на примере теста МРI (Maudsley Personality Inventory - ранней версии EPI, Eysenck Personality Inventory), в котором не делалось различие между дихотомической и трихотомической формой вопросов, и сделал заключение о том, что дихотомические вопросы более предпочтительны, поскольку они заставляют преодолевать нежелание делать выбор. С моей точки зрения между вопросами типа "да-нет" и "да-?-нет" различие столь невелико, что вопрос о том, какую форму выберет разработчик теста, становится не более, чем делом личного предпочтения. Cattell и его коллега используют трихотомическую форму для некоторых из вопросов в своих факторных тестах личности.

(3) Альтернативные задания (с ответами типа "правда-ложь"). Эти задания состоят из утверждений (часто от первого лица), которые испытуемые должны отметить как верные или неверные для них. Примером альтернативного задания является: "Я ненавижу втискиваться в переполненный автобус". Это форма утверждений, используемая в ММРI. По существу, она ненамного отличается от дихотомических вопросов, хотя формулирование их как альтернативных утверждений, а не как дихотомических вопросов, может до некоторой степени повлиять на языковую представленность задания.

(4) Задания с ответами типа "нравится-не нравится" (одно слово или фраза). Это весьма оригинальная форма задания, которая в настоящее время используется у Grygier (1961) в динамическом тесте личности (DPI - Dynamic Personality Inventory), тесте, основанном на шкале личностных предпочтений Кроута (Krout Personal Preference Scale) (Krout and Tabin, 1954). Примерами таких заданий могут быть: (1) "фонарщики"; (2) "воротники из бобрового меха"; (3) "бас-барабан". Испытуемые должны указать, нравится им предложенное или не нравится. Grygier и Grygier в своем руководстве по DPI утверждают, что эти задания являются сугубо проективными по своей природе, a DPI - это в сущности проективный опросник. Однако, так это или нет, такие задания не обязательно должны быть проективными, и может оказаться, что это чрезвычайно полезная, хотя и необычная, форма заданий.

(5) Задания с рейтинговыми шкалами. Эти задания состоят из предложений, к которым прилагаются рейтинговые шкалы. Cornrey (1970) - наиболее видный исследователь, использовавший эти задания - отдавал им предпочтение потому, что в них преодолеваются трудности, связанные с коррелирующими дихотомическими заданиями (см. обсуждение далее, в гл. 6), а также потому, что испытуемым они кажутся более разумными; нежели дихотомические задания, хотя и может проявиться установка на крайние ответы (см. выше). Cornrey использует две семибалльные шкалы, крайними значениями которых являются: "всегда-никогда" и "определенно да - определенно нет", в зависимости от формулировки задания. Типичным примером может быть: "Мне нравится бывать с друзьями в кафе: всегда, очень часто, часто, от случая к случаю, редко, очень редко, никогда". Очевидной проблемой для этой шкалы является различная интерпретация индивидуумами терминов частоты.

(6) Разнообразные трихотомические задания. В действительности это варианты трихотомической формы вопроса типа "да-нет" (тип 1 в данном списке). Cattell, например, в тесте 16PF использует эти задания, потому что они более подходят по смыслу в отношении некоторых утверждений, чем "да - затрудняюсь ответить - нет". Примерами трихотомий являются: "обычно - иногда - никогда", "верно - не знаю - неверно", "согласен - не уверен- не согласен ". Эти варианты предоставляют большую гибкость при формулировании заданий, чем жесткие формы типа "да-нет" (дихотомическая) или альтернативные.

(7) Трихотомические задания с выбором. Это варианты типа (6), позволяющие вложить в лаконичную форму задания почти любую мысль. В них используются три завершающих предложение фразы, одну из которых испытуемый должен выбрать. Вот типичный пример: "Когда мне нечего делать, я могу: (а) позвонить другу, чтобы поболтать; (б) заняться разгадыванием трудного кроссворда; (в) пойти на джазовый концерт". Некоторые разработчики тестов использовали такие задания (например, Myers-Briggs, 1962) с двумя, тремя и более вариантами выбора. Они могут быть упомянуты как отдельная категория заданий.

(8) Задания с вынужденным выбором. В таких заданиях, как уже говорилось выше, испытуемые принуждаются к выбору того, какое из (обычно двух) утверждений более точно применимо к ним или более верно для них, хотя может быть и больше вариантов выбора. Однако, задания с вынужденным выбором включены в данный список как отдельная категория не потому, что они концептуально отличаются от трихотомических заданий с выбором, а потому, что Edwards ( 1959) разработал довольно много заданий с вынужденным выбором, которые были специально сконструированы в пары, уравновешенные по тенденции к социально одобряемым ответам, чем пытался устранить влияние этой установки.

(9) Другие формы. Основные типы заданий, описанные в пунктах (1) - (8), - это те, которые в основном используются в наиболее известных личностных опросниках. Все они, с точки зрения формы (в отличие от содержания), довольно легко формулируются, для них существует несколько правил, которые буду обсуждены, ниже, они лаконичны, наконец, просты в работе, а также для подсчетов.

Очевидно, возможны и другие типы заданий) и в Myers-Briggs Type Indicator (MBTI), например, находим тип заданий, которые более напоминают проективный тест, хотя они оцениваются объективно. Испытуемые должны указать, какое из пары слов более привлекательно для них. Вероятно, их лучше рассматривать как вариант заданий "нравится-не нравится" (тип 3 в данном списке).

Cattell и др. (1970) используют аналогичные задания в тесте MAT (Motivational Analysis Test - тест анализа мотивов), хотя можно было бы возразить, что это задания объективного теста, а не теста личности; разработка объективных тестов описана в главе 4.

Все рассматривавшиеся до сих пор виды заданий требуют от испытуемых самостоятельной работы. Испытуемые должны отвечать настолько правдиво, насколько возможно, хотя, как я уже указывал, есть такие методы конструирования тестов, в которых предполагается, что это не обязательно. Некоторые задания в них, хотя по форме и являются такими же, как в приведенных восьми пунктах, отличаются по сопровождающим их инструкциям. Так, в личностном опроснике Эдвардса (Edwards, 1967) испытуемые должны отвечать на вопросы заданий так, как будто они смотрят на себя со стороны (как они полагают, другие видят их). Это, как можно надеяться, устраняет, по крайней мере частично, тенденцию к социально положительным ответам.

Хотя есть и другие типы заданий, используемых в личностных опроскиках, нет никакого сомнения, что среди приведенных восьми типов можно найти задания, хорошо апробированные в практике тестирования личности. Более того, фактически нет такого содержания, которое не могло бы быть эффективно сформулировано в виде задания одного из этих типов.