140043 (Методика анализа содержания текстов), страница 7

Мы специально привели эти примеры - установки руководителя исследования здесь недостаточно и некоторые кодировщики оценили второй пример как сбалансированную оценку В. Жириновского, а третий пример как позитивную оценку И. Рыбкина. Недаром в итоге оказалось, что степень совпадения мнений кодировщиков в той части иследования, которая касалась фиксации оценок, равнялась 88% (76%, когда речь шла о сбалансированных оценках, 89%, когда речь шла о позитивных оценках, 91% - нейтральная подача, 92% - негативные оценки).

Чтобы представить себе детализацию проблем в тексте инструкции, приведем начало инструкции к этому исследованию: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование Субъектов/Объектов анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписывается дата и номер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания, - чтобы не упустить ни одного из них, - приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т.д.

Если пробный анализ показывает недостаточную степень совпадения (американские авторы допускают в некоторых случаях степень совпадения в 60%), следует выяснить причины - это могут быть как механические ошибки (пропустил, не отметил и т.д.), так и содержательные расхождения - закодировано неправильно. Поэтому пилотный анализ должен предусмотреть проверку каждого материала - кто из кодировщиков допустил ошибки.

Более сложная процедура оценки работы с кодом - это проверка результатов на их обоснованность ( validity ) [21]. Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку «валидность»), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.

Хрестоматийным примером в таких случаях является ссылка на такой измерительный прибор, как часы, измеряющие хронологическое время. Исправные, не останавливающиеся часы - надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выверены эти часы, то их точные показания для нас бесполезны: мы не знаем, какое время, что именно они измеряют. Часы как инструмент не обоснованы [22].

Результаты анализа будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять. Американский специалист в области контент-анализа У. Даниельсон приводит на этот счет такой пример. Допустим, вы фиксируете заметки, которые вы определяете как информацию о преступлениях, но действительно ли эта информация помещается для того, чтобы повествовать о преступлениях? Исследователь, отвечая на вопрос, должен обосновать свое определение преступления и такой заметки. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями, или общественностью, или, наконец, прессой как криминалистические по природе, а не как шалости подростков или результат паники. Иногда приходится прибегать к соображениям здравого смысла по принципу «широко известно...». Главный принцип - чтобы не было большого разрыва между категориальной сеткой и эмпирической действительностью.

Так, в ходе многочисленных исследований прессы мы убеждались, что при определении оценок, отношения автора текста к описываемым им событиям недостаточно оперирования только качественными прилагательными «хороший», «плохой». Про одного героя он напишет, что тот вытащил ребенка из проруби, или помог старушке перейти улицу (был у нас в отдаленные времена такой стереотип «хорошего» пионера - он обязательно поможет старушке перейти улицу), а про другого (скажем, депутата В. Жириновского), что тот в политической дискуссии облил своего коллегу апельсиновым соком или просто покажет это. А потом еще раз покажет... Средство не из слабых.

Нельзя было игнорировать эту мощную оценочную палитру. Поэтому в ходе многочисленных исследований, которые я цитирую и в которых выступаю как автор методики и интерпретации результатов, используется в инструкции кодировщикам такое требование-объяснение: «Оценка формируется как с помощью "сильных" оценочных эпитетов, обнаруженных в тексте, так и самим содержанием ситуаций, в связи с которыми появляется в тексте интересующий нас субъект или группа: это могут быть как положительные ситуации, с которыми традиционно, в массовом сознании ассоциируется "благо ", так и ситуации, с которыми ассоциируется "зло "».

Именно здесь мы должны упомянуть характеристику нашего метода, которая нами еще не привлекалась для его описания. В наборе характеристик метода мы находим такое ограничение, что анализ работает только с «открытым» ( manifest ) содержанием [23].

Обычно в качестве примера этой характеристики используют как объяснение на уровне здравого смысла, так и в сугубо научной парадигме. Начнем с первого. Фраза, произнесенная женщиной в адрес своей соперницы: «Какая чудная шляпка на вас!» - может быть расцеена мужчиной так, как будто о шляпе говорилось, что она выше всяческих похвал, красивая и элегантная. Женщина же скорее заподозрит, что при этом в шляпе хотели подчеркнуть, что она «дешевая, немодная, аляповатая, и скорее бы подошла юной девушке». И хотя аргументация черпается тут из области психологии, контент-анализ не может работать на значениях и смыслах второго, скрытого плана, он будет оперировать содержанием, что называется, «на поверхности».

Действительно, если представить множество жанров на протяженности по мере того, насколько адекватно они воспринимаются потенциальной аудиторией, одинаково понимаются, то информационная заметка из СМК окажется на одном конце, а заумная мистическая поэма - на другом (поскольку вариабельность прочтения ее разными людьми возрастает многократно). Анализ содержания работает как раз с теми текстами, где вероятность одинакового понимания смысла очень высока. И это не случайно. Содержание СМК потому (в том числе) и является массовым, что оно рассчитано на максимально возможное одинаковое понимание. В этом его природа. И анализ содержания как методика его изучения «снимает» именно этот уровень значений. Все остальное для него - от лукавого.

Именно поэтому и нужны тесты на обоснованность кода - что понимается разными кодировщиками под значением текста, и что говорит нам об алгоритме «декодирования» этого значения предлагаемая для исследования инструкция.

Один из тестов на обоснованность результатов, который, судя по специальной литературе, использовался неоднократно, состоит в том, что исследователь, исходя из того, что содержание меняется определенным образом, предсказывает, что измерение другого периода покажет точно такое же соотношение характеристик.

Проблематика, которую мы обсудили, позволяет нам нагрузить некоторые принципиальные характеристики анализа содержания, которые мы приводили ранее, такими обертонами, которые без дополнительной информации на их счет остались бы непонятыми. Объективность анализа состоит также и в том, что категории, которыми оперируют в исследовании, определены так четко, что различные исследователи, анализируя одно и то же содержание с помощью этих определений, получают один и тот же результат. Кто-то может не согласиться с тем определением оценки, которую мы только что привели, и будет использовать свою метрику - брать только качественные прилагательные как фактор отношения. Результаты будут разные, но ведь и методика была разной. Если вы принимаете мою методику и работаете с ней, мы закодируем текст совершенно одинаково, а значит, получим на выходе одинаковый результат.

После обстоятельного разговора о выборе единиц наблюдения станет понятным, что систематичность анализа состоит в том, что этот выбор должен основываться на формальных, беспристрастных признаках, другими словами, исследователь не может выбрать для анализа только те части текста, которые подтверждают его гипотезу, и отвергать другие. Это требование позволяет избежать аргументированной подтасовки фактов.

Перечисление этапов исследования выводит нас еще на одну очень важную характеристику контент-анализа, как и любого другого социологического исследования - научная строгость исследования подразумевает обязательное соблюдение этих этапов с набором требований, предъявляемых каждому из них.

Полевая стадия исследования, как никакая другая, связана с такими характеристиками исследования, а значит, и его программы, как его организационные параметры - этапы исследования, сроки исполнения, способы обработки, задействованные в исследовании исполнители, финансовые затраты. Зависимость содержательных характеристик и финансовых затрат огромна. Финансирование социологического исследования никогда не бывает абстрактным - чаще всего средства адресуются конкретным проектам. В таких случаях само обоснование исследования - некоторая гарантия финансирования работы. Более того - в последнее время многие проекты защищают свое право на существование на конкурсной основе. Программа исследования тут вполне способна показать товар лицом.

[1] Ядов В.А. Социологическое исследование. М., 1998.

[2] Danielson W. Content Analysis in Communication Research // R. Nafsiger and D. White (eds). Introduction to Mass Communication Research. Lousiana , 1963.

[3] Имеется в виду генеральный проект «Функционирование общественного мнения в условиях города и деятельность государственных и общественных институтов», реализованный в Институте конкретных социальных исследований АН СССР в 1967-74 гг. (руководитель проекта доктор философских наук Б.А. Грущин). См.: Массовая информация в советском промышленном городе. Опыт комплексного социологического исследования / Под общей ред. Б.А. Грушина, Л.А. Оникова. М., 1980; см. также Федотова Л.Н. Анализ содержания местных газет, радио и телевидения как источников информации. Автореф. дис. на соискание ученой степени канд. Филолог. наук. М., 1969. В настоящее время данные этого исследования можно запросить по электронному адресу butaev @ expert . extech . msk . su (база данных INSYS ).

[4] См.: Федотова Л.Н., Красавченко И.А. О критериях отбора фактов для информационной телевизионной программы // Вести. Моск. ун-та. Сер. 10. Журналистика. 1986. №6

[5] Оказывается, в свое время И. Кант размышлял над тем, как измерять информацию. Он считал, что ее нужно мерить по тому времени, которое нужно для усвоения ее адресатом. Этот пример приводил в своих лекциях Ю.А. Левада.

[6] Классификация телепередач ЮНЕСКО (1983 г.) имеет такую типологию: информативные передачи, образовательные программы, культурные программы, религиозные, программы для детей, развлекательные, реклама. По этой классификации, которая в инструкции хорошо детализирована, ЮНЕСКО осуществило международное исследование.

[7] Следует иметь в виду, что если в ходе анализа окажется, что эта «свалочная» яма чересчур переполнена, то надо признать неудачной саму классификацию, причина также может быть в том, что вы недостаточно ясно описали признаки каждой группы в этой классификации и кодировщик затрудняется принять решение - ему легче отнести это к «трудным» случаям. В любом случае обнаружить причину поможет стадия пилотного (или, как говорят некоторые социологи, пилотажного) анализа, которая для этого и существует.

[8] См .: Lerner D., I. Pool, Lasswell H. Analysis of Political Ideologies // Public Opinion Quarterly. 1952. Vol.15. No.4. P.720.

[9] См.: Федотова Л.Н. Массовая информация… С. 31-56.

[10] 47 пятниц, выпуск 5: Контентный анализ - методика и организация / Редактор-составитель и автор предисловия В.В. Сазонов. Информационный бюллетень ИКСИ АН СССР. 1969. №15. С.187.

[11] См.: Федотова Л.Н. Массовая информация… С. 57-94.

[12] Wolfenson W. Consumerism and Consumption: A Message Systi Analysis of Television Commercials. University of Pennsylvania . 1980.

[13] Kerrick .I. The Influence of Captions on Picture Interpretation // Journalism Quarterly. 1955. Yol. 32. No.2.

[14] Stone Ph., D. Dunphy, M. Smith, D. Ogilvie. The General Inquirer: A Computer Approach to Content Analysis. Cambridge , 1966.

[15] См.: Федотова Л.Н. Социологи анализируют прессу // Вести. Моск. ун-та. Сер.11, Журналистика. 1976. №6. С. 82-85. В моем архиве давно хранится вырезка из газеты «Советская культура» (21.05.85), где рассказывается, как через компьютер был пропущен роман классика итальянской литературы Алессандро Мандзони «Обрученные». Оказалось, что роман состоит из 8950 слов, некоторые из которых повторяются неоднократно - общий итог 223000 слов. Филологи также узнали, что самыми употребляемыми подлежащими были «дом» и «слово», прилагательными - «большой» и «добрый», наречиями - «хорошо» и «мало». Главная героиня, деревенская девушка Лючия, чаще всего произносит слово «сердце».

[16] Известно, что с началом перестройки в России произошел настоящий «бум» прессы. Тогда известный российский социолог А.Н. Алексеев (Санкт-Петербург) создал специальный фонд российской прессы периода начала перестройки. Исследователь, который поставит своей задачей провести контент-анализ прессы этого периода, вспомнит об этом фонде.

[17] Доклад был представлен на Международном конгрессе социологов по проблемам, массовых коммуникаций (круглый стол по контент-анализу). Барселона, Испания, 24-29 июля 1988 г.

[18] При отборе опрашиваемых случайным методом социологи часто пользуются списком избирателей, где алфавитный принцип списка существенно «перемешивает» население. См.: Капелюш Я.С., Сазонов В.В., Федотова Л.Н. Учреждения культуры в небольшом городе и население. М., 1985. С. 10.

[19] В профессиональной литературе термин « reliability » переводится также как «надежность» и «устойчивость». Обсуждение общих проблем соотносимости /надежности см., например. Anastasi A. Psychological Testing. New York : McMillan, 1961; Garrett H. Statistics in Psychology and Education. New York : Logmans, 1955; Guilford J. Psychometric methods. New York : McGraw-Hill, 1954.. обсуждение специального применения методик в контент-анализе см.: Janis I ., R . Fadner and M . Janowit z. The Reliability of a Content Analysis Technique // Public Opinion Quarterly. 1943. Vol.7. No.2. P.243.