157085 (Проблема неустойчивости ответов)

Проблема неустойчивости ответов

Дж. Цаллер, американский политолог, специалист по массовым опросам, профессор Калифорнийского университета в Лос-Анджелесе

В пилотажном исследовании NES2 1987 г. задавался вопрос, который специалисты определили бы как стандартный: "Некоторые люди считают, что правительству в Вашингтоне следует сокращать финансирование государственных служб даже в таких областях, как образование и медицинское обслуживание, чтобы уменьшить дефицит бюджета. Другие думают, что государственный сектор следует расширять. Ваше мнение?" Однако респондентам, что совершенно непривычно, не позволяли немедленно отвечать на вопрос. Интервьюер продолжал спрашивать. "Прежде чем вы сообщите свою позицию по данному вопросу, не могли бы вы сказать, что приходит в голову, когда вы думаете о сокращении государственных служб?.. Что можете еще добавить?" Интервьюер дословно записывал замечания респондента, а затем снова спрашивал: "А теперь скажите, что приходит вам в голову, когда вы думаете о расширении государственных служб?.. Что вы еще можете добавить?" Только потом повторялся первоначальный вопрос, и респонденты наконец могли высказать простое дихотомическое суждение о государственном обеспечении. Но к этому времени каждый уже раскрывал, что для него значат проблемы государственного сектора в момент ответа на стандартный закрытый вопрос. Поскольку всем респондентам тот же вопрос задавался четыре недели спустя, методический эксперимент позволил показать, как за указанный отрезок времени изменяется понимание проблемы. Свободные комментарии, полученные с помощью зондирующих вопросов, обеспечивали едва ли не лучшие доступные в настоящее время данные о том, что означают ответы респондентов и почему они столь подвержены всяческим превратностям.

Я находился в Исследовательском центре в Мичигане, когда стали поступать интервью3. Первые два проводились с респондентом, который определил себя как учителя и категорически высказался в пользу расширения государственного сектора и увеличения затрат на него. В первом интервью он считал, что страна стоит перед лицом кризиса в системе образования и что увеличение расходов — насущная необходимость; любые снижения федеральных затрат неизбежно приведут к снижению уже и так недостаточного финансирования образования, и это было бы катастрофой. В данном интервью поразительно то, что оно, по-видимому, представляет пример в высшей степени кристаллизованной истинной установки — факт совершенно нормальный с точки зрения многих исследователей. Однако, отвечая на тот же вопрос через несколько недель, учитель высказался за сокращение затрат на государственное обеспечение. И давая комментарии в открытом вопросе, он был столь же категоричен, как и в предыдущем интервью, только отстаивал противоположную позицию. Правительство слишком многочисленно, утверждал он, и что-то следует сделать для того, чтобы сократить его, иначе оно разрастется. Не было никакой отсылки к кризису образования, который столь занимал респондента всего несколько недель назад4.

Я тщательно изучал материалы этих интервью вместе с другими сотрудниками NES. Последние решили, что допущена ошибка. "Тупицы с нижнего этажа приписали одинаковые коды и перепутали интервью, — заявил один из исследователей. — Это разные респонденты". Однако коды были приписаны правильно. Хотя ответы на два других вопроса оказались абсолютно устойчивыми, хотя для их обоснования иногда использовались даже одинаковые формулировки, ответ на вопрос о государственных службах изменился; при этом респондент не показывал, что делает это осознанно — просто во втором интервью он думал по-другому и соответственно пришел к другим выводам. Ответ этого респондента оказался типичным. Многие граждане не имели "только одну установку" в отношении политических проблем и подобно ему обосновывали свои ответы в соответствии с любой из множества установок, иногда конфликтующих, актуализированных на текущий момент.

Модель, которую я предлагаю, является попыткой серьезно проинтерпретировать такого рода данные. Она отходит от представления об индивиде как обладающем заранее сформировавшимися установками, которые он лишь воспроизводит, когда интервьюер задает вопросы. Индивиды обладают множеством зачастую неконсистентных суждений по конкретной проблеме и обосновывают ответы в соответствии с теми из суждений, которые оказываются актуализированными на момент ответа. Ничто в данной модели не предполагает, что индивиды, уделяющие много внимания какому-то вопросу, не могут обладать множеством совершенно консистентных суждений относительно всех его аспектов, что каждое суждение, приходящее им в голову, должно побуждать к высказыванию одного и того же мнения. В сущности, в предельном случае, когда респонденты уделяют огромное внимание вопросу, у них в соответствии с ВПФ-моделью5 могут кристаллизоваться стабильные установки, и это исследователи принимают как нечто само собой разумеющееся. Но для большинства граждан чаще всего характерна неконсистентность в суждениях о разных аспектах одного и того же вопроса, и вот она остается для исследователей необъяснимой и, возможно, неучтенной.

Ответы этих граждан на типичные вопросы зависят от того, какой из аспектов наиболее значителен для них; указанная значимость во многом определяется чисто случайными факторами (такими, как "что показывали по телевизору предыдущим вечером", "что случилось с ними утром на работе"), а также отчасти систематическими факторами (как был сформулирован вопрос или же какие вопросы были заданы до того). Рассматриваемая модель может объяснить широкий ряд явлений, касающихся природы политических установок. Бoльшая часть данных, представленных далее, знакома профессионалам, которые исследуют общественное мнение, но некоторые, наиболее важные из них (с их помощью делаются попытки напрямую измерить суждения, определяющие ответы на вопросы интервью), основываются на пилотажном исследовании NES 1987 г. Оно не очень широко известно, и поэтому его следует кратко описать.

Пилотажное исследование NES 1987 г.

В последнее время в Центре национальных предвыборных исследований при Мичиганском университете в неэлекторальные годы регулярно проводились небольшие опросы для того, чтобы протестировать новые вопросы и идеи для будущих работ. Совет наблюдателей NES выходит на специалистов в области общественного мнения и принимает наиболее перспективные предложения. Данные, приведенные ниже, были собраны в 1987 г. в пилотажном исследовании NES на основании идей, высказанных Фелдманом (Государственный университета штата Нью-Йорк), Брук и мной. И, разумеется, все они доступны (через ICPSR)6.

В рамках пилотажного исследования 1987 г. последовательно проведено два телефонных опроса респондентов, ранее участвовавших в предвыборном обследовании NES 1986 г. На первом этапе в начале лета опрошено 450 респондентов, а на втором, через месяц, 357 из них дали повторные интервью. В обследовании задавался ряд стандартных вопросов о федеральных трудовых гарантиях, оценке деятельности государственных служб и поддержке чернокожего населения. Сразу после этого случайно отобранным 50% респондентов задавался вопрос: "Пожалуйста, все еще размышляя о вопросах, которые были заданы вам только что, скажите, какие идеи приходили вам в голову, когда вы на них отвечали? Какие мысли у вас появились?" Этот тест предложен для того, чтобы выявить наиболее важные суждения, определяющие ответы. Другой половине опрошенных интервьюеры обычным образом зачитывали вопросы, но, не ожидая ответов, немедленно просили высказать мнение об отдельных образах и понятиях, использовавшихся в вопросе. После проведения теста "остановись-и-подумай"7 интервьюеры повторяли первоначальные вопросы и фиксировали ответы.

Фельдман и я спроектировали эти два типа вопросов для разных целей. Ретроспективные вопросы, которые задавались уже после того, как человек ответил на обычные вопросы, были разработаны для того, чтобы разобраться с чем-то вроде "свалки памяти", которой обладает респондент на момент опроса. Предварительные тесты "остановись-и-подумай" задавались перед тем, как респонденты отвечали на вопросы, и были предназначены для того, чтобы заставить людей более тщательно, нежели обычно, обдумать свое мнение. Предполагалось, что более тщательное обдумывание сделает ответы более достоверными. Тесты "остановись-и-подумай" были также направлены на то, чтобы косвенным образом выявить ряд суждений, которые респондент считал уместными в конкретном случае.

Интервьюеры записывали ответы на открытые вопросы-тесты с максимально возможной точностью8. Расшифрованные комментарии были подвергнуты классификации, по каждому тесту кодировалось четыре суждения. Респонденты предлагали в среднем четыре кодируемых суждения по каждому вопросу о политике; при этом почти все из них могли дать по крайней мере одно кодируемое суждение9. Каждый комментарий или замечание оценивались по нескольким параметрам в Институте социальных исследований (Institute for Social Research — ISR) при Мичиганском университете. Поскольку задача кодирования оценивалась как очень трудная, работой занимались только опытные кодировщики. Наиболее важной и самой простой переменной была "направленность комментария", которая показывала, какую из позиций по данному вопросу (если она была) поддерживало суждение. Хотя кодировщикам давалась инструкция отмечать амбивалентность, замешательство и несущественные замечания, три четверти всех комментариев были определены как имеющие явную направленность. Около 8% комментариев оказались некодируемыми из-за того, что, хотя направленность могла и подразумеваться, кодировщики были не в состоянии распознать, какова она. Другая кодируемая переменная — "точка зрения" (frame of references); здесь классификация включала более 140 категорий и предназначалась для того, чтобы описать содержательный аспект каждого замечания10. Около одной десятой всех интервью перекодировалось дважды независимыми кодировщиками. Точные данные о надежности недоступны, но имеется информация о разнице между двумя кодированиями в 10-15% всех случаев; такая разница расценивается как приемлемая для сложных открытых вопросов11.

Весь материал, хотя и собранный для специфических целей, которые будут описаны ниже, страдает определенной ограниченностью. Прежде всего отличия в работе кодировщиков. Пусть и в допустимых пределах они тем не менее довольно значительны и могут существенно снизить возможности тщательной проверки гипотез. Надо указать и на сложность в четком разграничении суждений. Когда два суждения имеют противоположную направленность — одно в защиту какой-то конкретной политики, а другое против, никаких проблем нет. Но иногда респонденты предлагают ряд последовательных замечаний, отстаивающих одну и ту же позицию по какому-то вопросу. Представляют ли данные замечания отдельные суждения или же просто уточнения одного и того же суждения? Даже человеку, присутствовавшему на интервью и прослушавшему его целиком, бывает трудно ответить на этот вопрос, а для кодировщика, работающего с несовершенным транскриптом, проблема представляется еще более серьезной. Поэтому, хотя в дальнейшем иногда делаются попытки подсчитать число высказанных индивидом суждений "за" и "против", читателю следует помнить, что мы имеем дело в лучшем случае с приблизительными расчетами.

Еще три — более общие — проблемы измерения также заслуживают внимания. Во-первых, это малая выборка. После отказа респондентов участвовать во второй серии интервью и отсева "не имеющих мнения" (no opinion) оставалось только чуть более сотни полностью заполненных анкет с ретроспективными тестами. Отсюда и вторая проблема. Респонденты, хуже разбирающиеся в политике, гораздо чаще выбывают из исследования. Предвидя это, в пилотажном исследовании увеличили подвыборку менее осведомленных граждан (на основании баллов в тесте политической информированности в крупномасштабном предвыборном обследовании 1986 г.). Но при таких условиях малоинформированные респонденты, прошедшие через три интервью и ответившие на целевые вопросы на обоих этапах пилотажного исследования, являются уже неслучайно отобранной и поэтому нерепрезентативной выборкой политически неосведомленных граждан. В частности, они при прочих равных условиях окажутся, вероятно, более интересующимися вопросами интервью, чем респонденты, получившие такие же баллы по шкале осведомленности, но либо выпавшие из исследования, либо не сумевшие дать ответ на вопросы оба раза. И, наконец, вследствие необычайно короткого промежутка времени между интервью (один месяц), неустойчивость ответов оказалась меньшей, чем обычно.

Все три проблемы снижают возможность статистически зафиксировать и понять неустойчивость ответов — ключевую из анализируемых переменных. Но, несмотря на эти проблемы (а первые две имеют место при любой попытке собрать данные о суждениях по национальной репрезентативной выборке), переменные, характеризующие суждения респондентов в пилотажном исследовании 1987 г., представляют лучшие из известных мне данных. В сущности они являются единственно доступной информацией, позволяющей проверить определенные импликации ВПФ-модели.

Первые логические выводы из ВПФ-модели

Далее я использую аксиомы ВПФ-модели:

A1 — аксиома восприятия. Чем выше уровень когнитивной вовлеченности индивида, тем более вероятно, что он будет воспринимать, т. е. выделять и понимать политические сообщения, связанные с тем или иным вопросом.

A2 — aксиома сопротивления. Люди склонны критически воспринимать аргументы, не согласующиеся с их политическими предрасположенностями, но лишь в той мере, в какой они обладают контекстной информацией, необходимой для понимания отношений между этими аргументами и своими политическими предрасположенностями.

A3 — aксиома доступности. Чем меньше времени прошло с тех пор, как данное представление актуализовалось, обсуждалось или обдумывалось, тем быстрее воспроизводится это и аналогичные представления в памяти, сознании.

A4 — aксиома реакции. Индивиды отвечают на вопросы интервью, обдумывая только те суждения, которые оказываются немедленно доступны их сознанию или мобилизованы в нем.

ВПФ-модель (собственно говоря, она является разновидностью модели обработки информации) представляет собой определенное множество утверждений о том, как граждане получают информацию и превращают ее в аттитьюдные высказывания; последние, таким образом, находятся в фундаментальной зависимости от объема и направленности информации, предоставляемой публике по определенному вопросу.

Понятно, модель невозможно проверить, не сформулировав некоторых допущений об информационной среде, подкрепляющей установки граждан. Я принимаю следующие простые допущения об этой среде: она состоит из стабильных во времени информационных потоков средней интенсивности; информационные потоки одинаково поддерживают как либеральную, так и консервативную позицию по каждому вопросу. Под потоком средней интенсивности имеется в виду такой, который не подразумевает ни важнейших новостей, освещаемых в передовицах (например, о скандале в связи с революцией 1987 г. в Иране или войной в Персидском заливе), ни непонятных и эзотерических историй (дебаты в конгрессе об организационной структуре департамента коммерции и т. п.). По вопросу об эффективности деятельности государственных служб мое предположение заключалось в том, что существовал стабильный, но не чрезмерный поток сообщений, который давал индивиду обоснование в пользу как увеличения государственного сектора (например, истории о детях, живущих в нищете), так и сокращения затрат на государственное обеспечение (сообщения о дефиците федерального бюджета). Временная стабильность информационного потока означает, что интенсивность сообщений разной направленности остается стабильной в течение некоторого периода, предшествующего обследованию (если временная стабильность информационного потока за это время нарушается, изменяются и установки).