Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика

ББК 22.172 П76 Рецензенты: Б. Г. Миркин, Е. Г. Ясин Книга логически завершает справочные издания «Прикладная статистика: Основы моделирования и первичная обработка данных» (!983 г.) и «Прикладная статистика: Исследование зависимостей» (1983 г.). Рассматриваются задачи классификации объектов, сипзкеиия размерности Большое внимание Бделиется разведочному статистическому анализ>.

Для специалистов, нримеияющих методы анализа данных 1702060000 — 036 П 100 — 88 010(01) — 80 ББК 22.172 15 В)ч( 5 — 279 — 00054 — Х © Издательство «Фппансы п статистика», !080 Прикладная статистика: Классификация и сниП75 жение размерности; Справ. изд. / С. А. Айвазян, В. М. Вухштабер, И, С.

Енюков, Л, Д. Мешалкин; Под ред. С. А. Айвазяна.— Мд Финансы и статистика, 1989. — 607 сз ил. 15 В)ч 5 — 279 — 00054 — Х. ПРЕДИСЛОВИЕ Данная книга является третьей в трехтомном справочном издании, задуманном и реализуемом нашим авторским коллективом. В первом томе (Айвазян С.

А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Основы моделирования и первичная обработка данных. — Мл Финансы и статистика, 1983. — 4?2 с.) дается, в частности, определение прикладной статистики (см. с. !9) как самостоятельной научной дисциплины, разрабатывающей и систематизирующей понятия, приемы, математические методы и модели, предназначенные для организации сбора, стандартной записи, систематизации и обработки статистических данных с целью их удобного представления, интерпретации и получения научных и практических выводов. Втоой том (Айвазян С. А., Енюков И. С., Мешалкин Л.

Д. рикладная статистика: Исследование зависимостей. — Мл Финансы и статистика, 1985.— 488 с.) посвящен описанию методов анализа структуры, тесноты и конкретного вида статистических связей между исследуемыми признаками разной природы — количественными, ординальными, номинальными (категоризованными), а также обзору программного обеспечения этих методов. В числе описанных методов -- корреляционный, регрессионный, дисперсионный, ковариационный анализ, элементы анализа временных рядов и систем одновременных эконометрических уравнений. При минимальной вероятностно-статистической подготовке читателя, обеспечиваемой, например, обычным вероятностно-статистическим курсом экономического или технического вуза, данный (третий) том пригоден для полностью автономногочтения (т.е.

его понимание не требует знания каких-либо специальных сведений, содержащихся в первых двух томах). Он посвящен актуальнейшим аспектам общей проблемы статистического анализа данных — задачам классификаиии объектов, снижения размерности исследуемого признакового пространства и статистическим методам их решения. Лишь в последние два-три десятилетия, когда определенного уровня достигли вычислительная база исследований и теоретические разработки многомерного статистического анализа, главной проблемой теории и практики классификации и снижения размерности стало развитие достаточно изощренного и эффективного в приложениях математического аппарата.

На этом пути уже имеются серьезные достижения, однако до сих пор в отечественной, да пожалуй, и в мировой специальной литературе не было издания, в котором эти достижения были бы достаточно полно просистематизированы, выстроены в общую методологическую схему, снабжены необходимыми практическими рекомендациями (включая вопросы преодоления вычислительных трудностей и использования подходящего типового программного обеспечения). Авторы предлагаемой вниманию читателей книги ставили перед собой именно такую целевую установку. При этом изложение построено таким образом, что уже знакомство с <Введением» должно позволить читателю составить достаточно ясное представление о сущности, роли и назначении статистических методов классификации и снижения размерности, понять их разноаспектную типологизацию, узнать о содержании и логических связях всех частей книги (включая основные постановки задач и «адреса» их решений в книге).

Следует отметить в общем замысле и в содержании книги один аспект, который выделяет ее среди другой литературы данного профиля. Речь идет о том специальном и неослабном внимании, которое уделяется в книге реализации важнейшего, узлового этапа всякого прикладного исследования, использующего математические методы и модели,— этапа дазггдочного статистического анализа.

Как известно, назначение этого этапа — тщательный предварительный анализ, своеобразное «прощупывание» исходных статистических данных с целью выявления их вероятностной и геометрической природы, формирования и верификации тех или иных рабочих гипотез, касающихся этого аспекта проблемы.

Принятые на этом этапе рабочие исходные допущения о математической модели реального механизма генерирования анализируемых данных являются определяющими в выборе необходимого математического инструментария, а значит, — и в успехе всего статистического исследования. Однако, к сожалению, в существующей практике прикладных статистических исследований этот важнейший этап чаще всего либо полностью игнорируется, либо реализуется весьма поверхностно. И одна из главных причин этого— почти полное отсутствие необходимой научно-методологи- ческой литературы (изданный много лет назад перевод книги Дж.

Тычки «Разведочный анализ», в свое время весьма полезный, ныне приходится отнести к устаревшим источникам информации). В данной же книге эти вопросы занимают центральное место: так или иначе с ними связано большинство глав (кроме гл. 1 — 4), а непосредственно этой проблематике посвящен специальный раздел 1Ч (гл. 18 — 21). Авторы старались сопровождать изложение этих важных вопросов подробным описанием существа, роли и научно-прикладного значения результатов, полученных отечественными специалистами (в сравнении с результатамн зарубежных исследователей). Книга состоит из 4 разделов и 21 главы.

Раздел 1 (гл. 1 — 4) посвящен задачам классификации в ситуации, когда исследователь обладает так называемыми обучающими выборками (т. е. «классификации с учителем»). Математический аппарат, используемый при решении подобных задач, объединяется в разделе многомерного статистического анализа, именуемого дискримипантпый анализ. Раздел П (гл. 5 — 12) посвящен задачам «классификации без учителя» (исследователь не располагает обучающими выборками). Математический аппарат решения таких задач включает в себя методы кластер-анализа, или автоматической классификации (в том числе иерархические процедуры классификации), а также статистические методы расщепления смесей вероятностных распределений.

Раздел 111 (гл. 13 — 17) содержит описание наиболее разработанных и эффективных методов снижения размерности исследуемого признакового пространства и отбора наиболее информативных показателей. Среди представленных здесь методов — главные компоненты, факторный анализ, метод экстремальной группировки параметров, многомерное шкалнрование, экспертно-статистический метод построения интегрального (латентного) показателя, методы нелинейного отображения многомерных данных в пространства низкой размерности по различным критериям, анализ соответствий в случае неколичественных переменных. Раздел 1Ч (гл. 18 — 21) объединяет в себе описание методов так называемого разведочного статистического анализа и одновременно вопросов вычислительной и программной реализации представленных в книге методов, включая обзор по соответствующему программному обеспечению ЭВМ (в том числе персональных ЭВМ) и краткое освещение проблем интеллектуализации статистического программного обеспечения.

Методы разведочного (предмодельного) статнстн- ческого анализа данных (и, в частности, методы целенаправленного проецирования многомерных наблюдений) направлены на «прощупывание» геометрической и вероятностной природы обрабатываемых данных с целью формирования адекватных реальности рабочих исходных допущений, на которых строится дальнейшее исследование. Эти методы как один из инструментов разведочного анализа являются естественным и необходимым дополнением к методам первичнои статистической обработки, описанным в гл. 10, 11 первого тома данного издания. Сделанный в книге особый акцент на этих методах обусловлен тем обстоятельством, что в существовавшей до последнего времени практике статистических исследований этапу предмодельного анализа, методам выявления геометрической и вероятностной природы обрабатываемых данных, различным приемам тестирования гипотетических структур используемых моделей, как правило, не уделялось должного внимания.

В книгу включен ряд оригинальных результатов исследований авторов, а также результаты, ранее не публиковавшиеся в отечественной литературе: общая теория автоматической классификации (гл. 10), экспертно-статистический метод построения единого сводного показателя эффективности (гл. 15), некоторые приемы томографнческого анализа и целенаправленного проецирования многомерных данных (гл. 18 — 20), методы классификации при наличии элементов обучения (гл. 1 1), методы оцифровки неколичественных переменных (гл. 17).