Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 29
Текст из файла (страница 29)
либо общим свойством. Талон (англ.) снстематнзнрованная группа любой категории (термнн бнологнческого происхождения). Название «кластер-аналнз» для совокупностн методов рещення задач такого типа было впервые введено, по-внднмому, Трайоноч в 1939 г. (смл Тгуоп й. С. С1пФег Апа!у«1«/г' Апп. АгЬ., Ебщ.
Вго1Ьегз. — 1939). 145 какую именно из двух задач он решает. Рассматривает ли он обычную задачу разбиения статистически обследованного (р-мерного) диапазона изменения значений анализируемых признаков на интервалы (гиперобласти) группированил, в результате решения которой исследуемая совокупность объектов разбивается на некоторое число групп так, что объекты такой одной группы находятся друг от друга на сравнительно небольшом расстоянии (многомерный аналог задачи построения интервалов группирования при обработке одномерных наблюдений).
Либо он пытается определить естественное расслоение исходных наблюдений на четко выраженные кластеры, сгустки, лежащие друг от друга на некотором расстоянии, но не разбивающиеся на столь же удаленные части. В вероятностной интерпретации (т. е. если интерпретировать классифицируемые наблюдения Х,, Х.„..., Х„как выборку из некоторой многомерной генеральной совокупности, описываемой функцией плотности или полигоном распределения ( (Х), как правило, не известными исследователю) вторая задача может быть сформулирована как задача выявления областей повышенной плотности наблюдений, т.
е. таких областей возможных значений анализируемого многомерного признака Х, которые соответствуют локальным максимумам функции ( (Х), Если первая задача — задача построения областей груп- пирования — всегда имеет решение, то при второй постановке результат может быть и отрицательным: может оказаться, что множество исходных наблюдений не обнаруживает естественного расслоения на кластеры (например, образует один общий кластер). Из методологических соображений (в частности, для упрощения понимания читателем некоторых основных идей теории автоматической классификации и для создания удобной схемы исследования свойств различных классификационных процедур) будем иногда вводить в рассмотрение теоретические вероятностные характеристики анализируемой совокупности: генеральную совокупность, плотность (полигон) распределения или соответствующую вероятностную меру Р (дХ), теоретические средние значения, дисперсии, ковариации и т.
п. Очевидно, если мысленно «продолжить» множество классифицируемых наблюдений до всей генеральной совокупности (методологическнй прием, уже использованный в гл. 1), задача классификации заключается в разбиении анализируемого признакового пространства П' (Х) на некотороечисло непересекающихся областей. Условимся в дальнейшем называть такую схему теоретика- вероятностной модификацией задачи кластер-анализа.
!46 Расстояния между отдельными объектами и меры близости объектов друг к другу Наиболее трудным и наименее формализованным в задаче автоматической классификации является момент, связанный с определением понятия однородности объектов. В общем случае понятие однородности объектов определяется заданием правила вычисления величины рм, характеризующей либо расстояние й (О» 01) между объектами 0; и 01 из исследуемой совокупности 0 (1, / =- ),2,..., и), либо степень близости (сходства) г (О» 0;) тех же объектов. Если задана функция а' (О» 01), то близкие в смысле этой метрики объекты считаются однородными, принадлежащими к одному классу. Естественно, при этом необходимо сопоставление а (О» 0;) с некоторым пороговым значением, определяемым в каждом конкретном случае по-своему.
Аналогично используется для формирования однородных классов и упомянутая выше мера близости г (0„07), при задании которой нужно помнить о необходимости соблюдения следующих естественных требований: требования симметрии (г (О» 07) = — г (О» 0,)); требования максимального сходства объекта с самим собой (г (О» 0;) = =-щах г (О» 0,)) и требования при заданной метрике монотонного убывания г(0» О;) по й (0» От), т. е.
из й (Ою 0~) > ~ й (0» 0;) должно с необходимостью следовать выполнение неравенства г (О„, 0,) ( г (О» 0,). Конечно, выбор метрики (или меры близости) является узловым моментом исследования, от которого решающим образом зависит окончательный вариант разбиения объектов на классы при заданном алгоритме разбиения. В каждой конкретной задаче этот выбор должен производиться посвоему. При этом решение данного вопроса зависит в основном от главных целей исследования, физической и статистической природы вектора наблюдений Х, полноты априорных сведений о характере вероятностного распределения Х. Так, например, если из конечных целей исследования и из природы вектора Х следует, что понятие однородной группы естественно интерпретировать как генеральную совокупность с одновершинной плотностью (полигоном частот) распределения, и если к тому же известен общий вид этой плотности, то следует воспользоваться общим подходом, описанным в гл, б.
Если, крометого„известно, что наблюдения Х; извлекаются из нормальнык генеральных совокупностей с одной и той же матриией ковариаиий, то естественной мерой отдаленности двух объектов друг от друга является расстояние м халанобисского типа (см. ниже). 147 В качестве примеров расстояний и мер близости, сравнительно широко используемых в задачах кластер-анализа, приведем здесь следующие.
Общий вид метрики махалвнобнсского типа. В общем случае зависимых компонент хп>, х<'>, ..., хсл> вектора наблюдении Х и их различнои значимости в решении вопроса об отнесении объекта (наблюдения) к тому или иному классу обычно пользуются обобщенным («езеешенным») расстоянием махаланобисского типа, задаваемым формулой ' (,(Хп Ху) = Р'(Х,— Х,)'Л Х- Л(Х,— Х,). Здесь Š— ковариационная матрица генеральной совокупности, из которой извлекаются наблюдения Х „ а Л вЂ” некоторая симметричная неотрицательно-определенная матрица «весовых» коэффициентов Х ч, которая чаще всего выбирается диагональной (195, 2791. Следующие три вида расстояний, хотя и являются частными случаями метрики «1„, всежезаслуживаютспециального описания. Обычное евклидова расстояние «(я (Х , Х,) = р' (х)1> — х,' ")' + (х," ' — х,'*')*+ ...+ (х>а> — х<л>)». У > > К ситуациям, в которых использование этого расстояния можно признать оправданным, прежде всего относят следующие: наблюдения Х извлекаются из генеральных совокупностей, описываемых многомерным нормальным законом с ковариационной матрицей вида о'1, т е.
компоненты Х вза. имно независимы и имеют одну и ту же дисперсию; компоненты хп>„хм>, ..., хьт> вектора наблюдении Х однородны по своему физическому смыслу, причем установлено, например с помощью опроса экспертов, что все они одинаково важны с точки зрения решения вопроса об отнесении объекта к тому или иному классу; признаьовое пространство совпадает с геометрическим пространством нашего бытия, что может быть лишь в случаях р 1, 2„3„и понятие близости объектов соответственно совпадает с понятием геометрической близости в этом пространстве, например классификация попаданий при стрельбе по цели. т В случаях, когда каждый объект О> представлен вектором признаков Х> (т.
е. в случае исходных дайных, представленных в форме Х), часто удобнее в формулах н различных соотношениях вместо О, писать сразу Х;. Например, и'(Х>, Х>) вместо и'(О>, О>). 148 ч Взвешениоез евклидово расстояние <(ав (Х» Х>) = 1 > (х<ю> х)а>)о+<о (х< > х> ) + ... +о>р(х, — х> ) . Обычно применяется в ситуациях, в которых так или иначе удается приписать каждой из компонент х<о> вектора наблюдений Х некоторый неотрицательный овес» о>„, пропорциональный степени его важности с точки зрения решения вопроса об отнесении заданного объекта к тому или иному классу.
Удобно полагать при этом 0 ~ о>„~ 1, й 1, <>. Определение весов ыо связано, как правило, с дополнительным исследованием, например получением и использованием обучающих выборок, организацией опроса экспертов и обработкой их мнений, использованием некоторых специальных моделей. Попытки определения весов о», голько по информации, содержащейся в исходных данных 172, 3301, как правило, не дают желаемого эффекта, а иногда могу> лишь отдалить от истинного решения. Достаточно заметить, что в зависимости от весьма тонких и незначительных вариаций физической и статистическои природы исходных данных можно привести одинаково убедительные доводы в пользу двух диаметрально противоположных решений этого вопроса.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
