Дюран Б._ Оделл П. - Кластерный анализ (1977) (Дюран Б._ Оделл П. - Кластерный анализ (1977).djvu), страница 2

Еще в 1920 г., анализируя «Связь между элементами крестьянского хозяйства в 1917 и 1919 годах» («Вестник статистики», 1920, с. 19 — 21), Б. С. Ястремский рассматривал 34 характеристики уездов, влиявшие на эту связь. Можно привести и другие примеры группировки территориальных единиц, по комплексу признаков, неизменно имевших место в задачах районирования.

Но в кластерном анализе признаки объединяются с помощью некоторой' «метрики» в один количественный показатель сходства (различия) группируемых объектов. Казалось бы, достаточно запустить в ЭВМ массив информации о них и подходящую программу классификации. На самом деле, однако, без предварительного анализа качества нельзя и приступить к делу.

Уже в определении самого перечня признаков он неизбежно присутствует. Иной, быть может, скажет на это, что надо попросту ввести в ЭВМ весь материал наблюдения. Но ведь кто-то на основании чего-то составил и саму программу наблюдения. Стоит себе отдать в этом ясный отчет и все стано-' вится на свое место, настолько, что в этой части кластерный анализ оказывается сродни идеям таких клас. сических исследований, как ленинские группировки крестьянских хозяйств, выявившие два класса капиталистической экономики на полюсах и еще не размытую дифференциацией середину. Капиталистическая верхушка — это хозяйства эксплуататоров. Но эксплуатация могла осуществляться в разных формах: наем работки* ков, «прокат» инвентаря, займы и т.

д. Для этого хо. зяйство должно было чем-то располагать: землей, ин. вентарем, деньгами, мастерской нли торговлей. Как видим, принадлежность к этой группе внешне могла полуь чать отражение в ряде признаков. Отсюда ленинское требование изучать совокупность признаков, давать по ним группировку не параллельную, а комбинационную'. При этом важность признаков зависит от особенностей района: в земледельческом — это прежде всего площадь посева, в животноводческом — численность скота и т.

д. Легко видеть, что как сама задача, так и необходимость учета в ее решении ряда признаков и выбора этих признаков — все это продиктовано качественным анализом и, как всегда в статистике, через него тесными узами связано с целью исследования. Наверно, если бы цель состояла не в анзлизе классовой дифференциации, а в анализе уровня культуры, ведущее место заняли бы грамотность, число лет обучения, наличие в доме книг и т. п., а посевная площадь или число лошадей заняли бы место вспомогательной информации для выявления связи между уровнем культуры и соцнально-экономическим фактором.

Коль скоро признаки отобраны, может быть оправданным и подход кластерного анализа, но не как чисто эмпирического, а основанного на правильных методологических принципах. Так, именно из качественного анализа вытекает, что в составе капиталистической верхушки могли быть хозяйства, обрабатывающие большой зе« мельный массив и без большого числа лошадей, и одновременно хозяйства без больших посевов, но богатые живым и мертвым инвентарем или имеющие торговлю и т. д.

Следуя указаниям качественного анализа, их надо объединить в одну группу. В кластерном анализе группировочные признаки подвергаются объединению с помощью некоторой «метри ки» вЂ” евклидова расстоянии или иной. Но здесь возникает самое настоящее ептйаггаз бе г!сЬеззе, затруднение от изобилия. Метрик оказывается много и число их возрастает. Какой отдать предпочтение? Кроме того, в частности, в евклидовой результат зависит от масштаба, от выбранных единиц 'измерения, например, будет ли один признак измеряться в метрах, другой в килограммах или первый в сантиметрах, а второй в тоннах. Это обстоятельство вскользь отмечает и автор данной 'книги. Правда, есть способ выйти из затруднения путем нормирования признаков.

Но нельзя доказать, что для всех признаков одно квадратическое отклонение одинаково значимо. Вопрос о выборе метрики и масштабов имеет различное содержание и зависимости от целей. Если группировки различаются на «типологическне» и «аналитические» (не настаиваем на этой терминологиит, то же самое не может не относиться и к кластеризации. Между тем в литературе это игнорируется. Более того, кластеры выдаются обычно за «типы»„что должно в какой-то мере подчеркивать их существенное различие, чуть ли ие качественное.

Если речь идет о качестве в подлинном смысле слова, то нн метрики, ни масштабы не произвольны. Тэк, для выделения верхней группы крестьянских хозяйств надо было учитывать ряд признаков, но так, чтобы их сочетание давало основание для причисления хозяйства к этой группе. Критерием могла бы быть совокупная величина возможного дохода. Поставив для нее некоторую нижнюю границу, отвечающую возможности основывать хозяйство на прибавочной стоимости без участия в нем личным трудом, мы бы получили объективный критерий для масштабов, да и для метрики.

В одних случаях такой подход не слишком труден. Например, мощность тракторов и число лошадей сравнительно легко бы поддавались соизмереиию. В других задача гораздо труднее. Но сказанное должно служить ориентиром во всех случаях типологической Кластеризации (если можно так выразиться). Другое дело формально-количественная кластеризация.

Ее цели скромнее: представить в сжатом виде массив информации с его многомерностью, но так, чтобы потеря информации ие была чрезмерной, Здесь нет жестких объективных требований и решение может быть различным. То же можно сказать по поводу лкб й «аналитической» группировки. Общность вопроса кает уже из того, что грувпирпвка по одному признаку и кластеризация по ряду признаков приводятся друг к другу. Число соединяемых при кластеризации признаков может быть равным и единице. Это приводит задачу группнровки по одному признаку к кластеризации. С другой стороны, используемая при объединении признаков метрика сводит их к одному признаку и далее разбиение на кластеры равнозначно группировке по этому признаку. О путях формализации последней задачи уже немало сказано в литературе.

Внедрение ЭВМ н перевод обработки информации на индустриальные рельсы не может оставить иа субъективгаый произвол число и границы интервалов группировки. Значит, не* избежно применение в этом некоторого формального стандарта. Однако таких стандартов может быть несколько: разбиение по децилям, но квадратическим отклонениям, по максимуму «лакальцого расстояния», по относительному расстоннию, по впутрикластерному коэффициенту вариации и т. д. Индустриальный подход, таким 'образом, не исключает инициативы исследовате' ля, его выбора.

Но этот выбор теперь будет состоять в выборе между несколькими стандартами, для которых имеются машинные программы. Это несколько ограничивает исследователя, но дает возможность гораздо большей сравннмостн разных группировок и их быстрого получения. Выходит, что методы кластеризации нужны при ° внедрении ЭВМ даже для решения задачи простой группировки. Поскольку в ней нет качественного критерия, все сводится к образованию групп по количественному сходству. А в такой постановке машина с помощью той или иной стандартной программы может с ией справиться лучше. Из всего оказанного ясно, что по отношению к кластерному анализу, как и к другим частям многомерного анализа, необходимо, во-первых, хорошо изучить теорию и имеющуюся практику применения, во-вторых, на основе этого и все увеличивающегося нового опыта применения глубоко осмыслить его технику с позиций общих методологических принципов статистической науки.

В достижении первой цели предлагаемая книга представляет большую ценность, так как в ней читательнай- 11 дет богатый и в то же время сжато изложенный материал, образуюший в целом прекрасный обзор теории кластерного анализа и ряда его приложений. Именно эту цель и ставили перед собой авторы и они прекрасно справились с делом: Что касается второго, то эту задачу мы здесь, конечно, моглн только поставить. Она должна быть решена ие столько математиками, сколько статистиками, экономистами и представителями других конкретных областей применения, не без участия философов. В целом же кинга заслуживает высокой оценки не только как монография, но и как пособие учебного характера.

Хотя некоторые ее места воспринимаются не без известного труда, в целом она отличается от многих других книг по этой или примыкающим проблемам ясностью и доступностью изложения. Ее появление на русском языке несомненно принесет большую пользу советским специалистам и всем интересующимся статистической . наукой. Редактор взял на себя смелость исправить некоторые явные опечатки оригинала. А. Я.

БОЯРский ПРЕДИСЛОВИЕ За последнее тридцатилетие в области кластерного анализа была проделана большая работа, причем значительная ее часть была проведена после 1960 г. Основное содержание этой книги было опубликовано в различных журналах, в 'том' числе прикладного характера, однако до сих-пор этот материал не был собран воедино. Цель данной монографии заключается в том, чтобы объединить разрозненные статьи в виде краткого обзора по кластерному анализу. Мы надеемся, что эта книга позволит читателю быстро ознакомиться с проблемами кластерного анализа и другими смежными вопросами.

По этой причине многие детали были опущены. Это же .касается иллюстрирующих примеров. Большинство работ, на которые мы ссылаемся, содержат примеры применения кластерного анализа, поэтому читатель может воспользоваться ими для получения дополнительной информации по специальным вопросам. Мы постарались включить в библиографию все работы, которые сыграли какую-либо роль в развитии «теории» кластерного анализа. Этот список содержит также работы прикладного характера, однако наша библиография все же далеко не полная. Эта монография была написана в значительной мере под влиянием работ многих исследователей в данной области; это в первую очередь относится к работам Хартигана, Уишарта, Брайена, Дженсепа, Вайнода н Рао. Изложение некоторых частей книги основано на исследовании, выполненном при поддержке Центра пилотируемых космических кораблей НАСА (отдел наземного наблюдения, контракт г1АЭ 9 — 12775).

ГЛАВА й НРОВЛЕМА КЛАСТЕРНОГО АНАЛИЗА. ОСНОВНЫЕ ИДЕИ 1Л. Основные обозначения и определения Методы кластерного анализа можно применять в различных ситуациях, встречающихся в исследованиях как научных, так и чисто прикладного характера. В этой главе мы не будем останавливаться на спепнфических особенностях приложения кластерного анализа в тех илн иных областях, а рассмотрим его технику с общих, может быть, несколько абстрактных позиций. Интересные, с нашей точки зрения, приложения дадим в другой главе. Пусть множества 1=(1ь 1з,..., 1 ) обозначает п объектов (ннднвндон), принадлежащих некоторой популяции яь Предположим также, что существует некоторое множество наблюдаемых показателей или характеристик С=(Сь Сз,..., Ср)т*, которыми обладает каждый индивид из 1.