Дюран Б._ Оделл П. - Кластерный анализ (1977) (Дюран Б._ Оделл П. - Кластерный анализ (1977).djvu)

Б.Дюран и П,Одедл Кластерный анализ Б. Дюран и П. Оделл КЛАСТЕРНЫЙ АНАЛИЗ Перевод с английского Е. 3. Демиденко Научное редактирование и предисловие А. Я, Боярского жосква „статистика«тэтт 6! 7.8 ФИ Тема кннгп — обзор состояния теории и нрактнкн првменеивя «кластерного аналнза». Зтет метод имеет все преимущества метода комбинационной группировки, но свободен от его главного недостат. ка — распыления материала, что открывает широкве перспективы применения рассматриваемого метода в статистичесиом анклаве, в клас.

сн$икацни объектов, н исследование связей. типизации выборки н др, Кинга отличается полаотой, доступностью я вместе с тем краткостью изложения. Книга рассчитана иа статистиков, аиономистое, а также социологов, демаграеов, биологов н других специалистов. 517.8 108ЕЗ*-ОЗО 40-77 008(0\.)-77 ° Второй индекс збйб. © Врнпдег Чег!ак, нег!1п — Не10е1Ьегк — Ыетв Уогк.

1974, © Перевод ка русский язык, <Статкстикав, 1977. Дюран Б. и Одела П. Д97 Кластерный анализ. Пер. с англ. Е. 3. Демиденко. Под ред. А. Я. Боярского. Предисловие А. Я.. Боярского. М., «Статистика», 1977. 128 с. с ил. О МЕТОДОЛОГИЧЕСКИХ ПРИНЦИПАХ И МНОГОМЕРНОМ АНАЛИЗЕ (вместо предисловия) Б. С. Ястремский, классифицируя задачи математической статистики, представил их в виде двух разрезов: статика — динамика и одномерные — многомерные задачи. Переход ко второй, более сложной ступени в обоих аспектах связан с положениями диалектики, требующей рассмотрения явлений в их развитии ~динамике) н взаимосвязи, что н ведет к многомерным задачам. Не касаясь здесь первого аспекта, остановимся на втором. В область многомерных задач статистик вступает, как только он принимается за изучение совместной вариации двух признаков, т.

е. их связи. Безразлично, идет ли при этом речь об аналитических группировках, комбинационной таблице по двум признакам с подсчетом числа случаев или .о математических методах корреляции, дисперсионного анализа и т. п. Развитие анализа в этом направлении приводит к рассмотрению взаимосвязи не пары признаков, а большего их числа. В области элементарных приемов это получает выражение в сложных комбинационных группировках с,развитым сказуемым. В области математико-статистнческих методов речь идет о множественной корреляции, диоперсионном анализе зависимости от нескольких переменных н т.

д. На этом пути по мере углубления исследования рассматриваются связи все большего числа признаков. Но здесь возникают трудности технического характера. В свое время считались великолепным достижением исследования зависимостей, в которых количество одновременно учитываемых аргументов доводилось до десятка или больше. Старая литература изобилует примерами раздельного изучения зависимостей некоторого признака от каждого из большого числа других, а то и просто перечнями влияющих признаков. Изучение их влияния в комплексе наталкивалось на два препятствия: технические трудности и ограниченность материала наблюдения.

Второе чаще имеет место в естественнонаучных исследованиях и нередко оказывается снятым в социально-экономической .статистике. В то время как экспериментатор должен получить значимые результаты из наблюдений над десятком кроликов, исследователь бюджета рабочей семьи располагает десяткамитысяч наблюдений или социал-гигиенист — тысячами «историй болезни». Впрочем, при территориальной дифференциации или комбинации большого числа признаков не помогают и эти тысячи. В преодолении первого препятствия существенную роль играет новая вычислительная техника. Для ЭВМ получение, например, уравнения связи по сотне признаков не составляет проблемы.

Однако при старой технике роль качественного анализа (специфической логики специфического предмета) видна с первых же шагов выбора аргументов, поскольку драгоценные места для них в уравнении надо было расходовать с большой оглядкой, не допуская их траты на малосущественные связи. В условиях новой техники это соображение может показаться потерявшим значение. Для нее не так важно, если в числе сотни введенных в уравнение связи аргументов десяток окажется бесполезным, яе влияющим на результативный признак~ их введение не вытесняет нз рассмотрения других, действительно важных. Однако вскоре опыт показал, что голый эмпиризм остается тем, чем он был.

Правда, если по его поводу Энгельс сказал, что и слепая свинья может найти свой желудь, то вооруженная современной электронной техникой она может найти целую горсть желудей. Но от этого в принципе ничего не меняется — эмпиризм остается эмпиризмом со своими возможностями и своей ограниченностью. Сказанное мало интересует прагматически настроен-, ных исследователей.

Зато они ясно ощущают, что по мере возрастания размерности задачи все более теряется обозримость результатов. Закономерность распыляется на множество зачастую малозначащих связей. С позиций эмпиризма сам переход от индивидуальных значений к обобщенным характеристикам есть реализация принципа «экономии мышления», а иеимовер- ное возрастание числа этих характеристик при комплексном рассмотрении взаимосвязей .многих признаков оказывается в полном противоречии с этим принципом.

Исследователь снова стоит перед лицом огромной массы индивидуальных наблюдений. Так возникает задача обратного сведения множества характеристик к небольшому ряду обобщающих итогов, выражающему действительно существенное, закономерное для явления. Но пока каждый вовлеченный в анализ признак остается отдельным самостоятельным элементом, со своими характеристиками и линиями связи, число параметров, выражающих результаты обработки, не поддается уменьшению.

Единственный путь к нему — либо в отсечении большинства признаков и возвращении к малоразмерным классическим задачам, либо в объединении признаков, в замене целых «гроздей» их одним, неизбежно искусственно построенным на их основе.

Так появляется направление, получившее название «многомерный анализ». Его развитие и составляет новую ступень в истории математической статистики, которой отмечены последние десятилетия. Из предыдущего ясна и его связь с могущественной вычислительной тех~никой. В многомерном анализе образовались разделы, которые, однако, не изолированы, а проникают и переходят один в другой. Это кластерный анализ (которому посвящена данная книга), таксономия, распознавание образов, метод главных компонент, факторный анализ.

Наиболее ярко отражают черты многомерного анализа в классификации объектов кластерный анализ, а в исследовании связи — факторный анализ. Все эти разделы, закономерно обусловленные развитием математикостатистических методов и практики их применения, несомненно, несут в себе новые богатые возможности для решения многих познавательных задач, какими не располагают «классические» методы. В то же время их необходимо подвергнуть теоретическому анализу с позиций методологических принципов марксистско-ленинской теории познания.

Основополагающим гносеологическим принципом статистической науки является примат качества объекта, его специфической логики. Усовершенствование формальных методов эмпирического исследования не может в какой-либо мере поколебать этот принцип. Методы многомерного анализа пока что представляются, однако, эмпиризмом, сбросившим всякие оковы этой логики качества материального объекта (или, как теперь выражаются, «содержательного» аяализа). Не случайно, например, факторный анализ возник в такой области, как психология, где для него почва особенно благоприятна, поскольку раскрытие внутренней логики в ней исключительно трудно. Задача в том, чтобы, используя приемы многомерного анализа, согласовать их теоретическую трактовку и применение с основным методологическим принципом статистического исследования.

Без этого труд людей и дорогих машин легко окажется малоэффективным. Это.часто видно,например, в факторном анализе, когда дело доходит до главной фазы исследования — выводов. Получив результаты вычислений, исследователю предстоит их «проинтерпретировать», иначе говоря, выяснить их смысл (экономический или иной). Выходит то, что должно быть в самом начале, выступает на сцену лишь в конце. Сказанное можно вполне отнести и к кластерному анализу. Наиболее существенные его методологические черты сводятся к двум: образование единой меры, охватывающей ряд признаков, и чисто колдчественное решение вопроса о группировке объектов наблюдения. Идея классификации по сочетанию ряда признаков не нуждается в аргументации. Как раз в одной из наиболее популярных задач кластерного анализа — группировке районов — она давно признана.