_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005) (1185319), страница 12

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 12)

В отличие от задач распознавания, различныеметоды кластеризации могут приводить к решениям, имеющим весьма существенныеразличия. Таким образом, кроме набора разнообразных методов кластеризации,практическийинтереспредставляетналичиесредствавтоматическойобработкирезультатов, полученных независимо различными алгоритмами /51, 52/. В настоящейглаве будут описаны некоторые подходы для решения задачи кластерного анализа, атакже метод комитетного синтеза оптимальных коллективных решений.

Конкретныеметодыкластеризации,реализованныевсистемеРАСПОЗНАВАНИЕ,описаныдополнительно в разделе 3.13.Предварительно следует сделать два замечания. Во-первых, различают задачикластерного анализа (и соответственно алгоритмы) с заданным (или известным) числомкластеров, а также с не заданным (неизвестным) числом кластеров. В последнем случаеоптимальная кластеризация и число кластеров находятся в результате решения единойзадачи.

Во-вторых, кроме обычной постановки задачи кластеризации, как задачи поискаразбиений, существуют постановки как задачи поиска покрытий и структур на заданноммножестве прецедентов.57Далее основная задача кластеризации будет рассматриваться прежде всего как задачапоискаразбиенийвыборкипризнаковыхописанийI(S1),I(S2),...,I(Sm),I(S)=(x1(S),x2(S),...,xn(S)), заданной числовой таблицей Tnm. В «нестрогой» постановке даннаязадача формулируется как поиск разбиения выборки на группировки (классы, кластеры,таксоны) близких объектов, причем само искомое разбиение находится как решениенекоторой оптимизационной задачи, как результат сходимости некоторой итерационнойпроцедуры, как результат применения некоторой детерминированной процедуры, и т.п.2.1.

Кластеризация, как задача поиска оптимального разбиения.Пусть рассматривается задача кластеризации на lкластеров. Выборку признаковыхописаний объектов будем обозначать как X  {x1 , x 2 ,..., x m } , xi  ( xi1 , xi 2 ,..., xin ) . РазбиениемK  {K1 , K 2 ,..., K l } выборкиX  {x1 , x 2 ,..., x m } на lгрупп является произвольнаясовокупность непересекающихся подмножеств множества X , покрывающая все объектывыборки: K i  X , i  1,2,..., l ,lKi X , K i  K j  , i  j .Пусть задан некоторыйi 1критерий качества F (K) разбиения K . Тогда задача кластеризации будет состоять внахожденииразбиенияK* ,доставляющегоэкстремумкритериюF (K) :F (K* )  extr F (K) .K{K}Приведем примеры подобных критериев /19/.1. Сумма внутриклассовых дисперсий, или сумма квадратов ошибок.lF (K)  2j 1 x i K j(xi , y j ) , где y j 1njx , nx i K jij K j  число объектов в группе K j .Решением задачи кластерного анализа при данном критерии считается такое разбиениеK * , которое доставляет минимум функционалу F (K) .2.

Критерии на базе матриц рассеяния.Матрица рассеяния для группы K j определяется как  j  (xxiK ji y j )(xi  y j )t , аlматрица внутригруппового рассеяния как     j (здесь символ t означает символi 1транспонирования).Известнонесколькоопределенийкритериевкластеризациинабазематрицвнутригруппового рассеяния. Например, выбор в качестве критерия определителяматрицы внутригруппового рассеяния F (K)   . Здесь решение задачи кластерного58анализа при данном критерии также находится в результате дискретной минимизации.Поскольку число всевозможных разбиений X  {x1 , x 2 ,..., x m } на l групп оцениваетсякакlmlm(например, при весьма «скромных» параметрах выборки m=100 , l=5, 1067l!l!/19/), полный перебор разбиений здесь заведомо исключен.

Поэтому обычно применяютметоды частичного перебора с использованием случайного выбора начальных разбиенийи последующей локальной оптимизацией. В методах локальной оптимизации (дляопределенности, минимизации) строится последовательность разбиений  1 ,  2 ,...,  i ,... ,длякоторойF (K1 )  F (K 2 ) ,...,  F (K i ) ,...аразбиение i1вычисляетсянепосредственно по  i путем его «локального» изменения. Пусть  i  {K1i , K 2i ,..., K li } , i1  {K1i1 , K 2i1 ,..., K li1} ,тогдаK ij1  K ij , j   ,  ,Ki1  Ki \ {xt }, K i1  K i  {xt } .Некоторый элемент x t  Ki переносится в какую-то другую группу, если это приводит куменьшению значения функционала на новом разбиении. Конечность данной процедурылокальной (итеративной) оптимизации очевидна.

Более подробное описание метода длякритерия суммы внутриклассовых дисперсий приведено в разделе 3.16.Широко известен метод «k- внутригрупповых средних». В данном методе строитсяпоследовательность разбиений  i  {K1i , K 2i ,..., K li } , i  1,2,... как результат выполненияследующих однотипных итераций. Пусть разбиение  1 выбрано случайно. Для группыK1i находится ее центр y1 1x j . Далее в группу K1i1 зачисляются все элементыn1 x j K1iвыборки, которые ближе к y1 чем к аналогично полученным y 2 , y 3 ,..., y l .

Группа K 2i1строится аналогично, но относительно множества объектов X \ K1i1 , и т.д. Послевычисления K1i1 , K 2i1..., K li1 их центры пересчитываются и вычислительный процессповторяется (см. раздел 3.13).Метод Форель является также представителем подходов, в котором кластерынаходятся не в результате оптимизации некоторого критерия, а с помощью итерационныхпроцедур – движения гипершаров фиксированного радиуса в сторону мест «сгущения»объектов /30, 31/.Пусть фиксировано некоторое положительное число R. Выбирается случайныйэлемент x t  X иПолагаемгипершар радиуса R с центром в y1  x t :K11  {xi : xi  X  R1} .

Вычисляется центрy2 1K11R 1  {x :  (x, y1 )  R} .xxiK11iновой сферы59R 2  {x :  (x, y 2 )  R}иK12  {xi : xi  X  R 2 } .группаПроцессзаканчиваетсявычислением такой группы объектов K1t  {xi : xi  X  R t } , для которой K1t  K1t 1 .Полученное множество объектовK1tобъявляется первым кластеромK1 . Оноисключается из X и вышеописанная процедура повторяется относительно оставшейсячасти выборки. Таким образом, последовательно находятся кластеры K 2 , K 3 ,..., K l .Процесс кластеризации заканчивается при достижении ситуации X \ {K1 , K 2 ,..., K l }   .Полученное число кластеров зависит от выбора радиуса R, который является параметромалгоритма.2.2.

Кластеризация, как задача поиска оптимального покрытия.Данная постановка может оказаться в ряде практических случаев предпочтительнеезадачи поиска оптимальных разбиений. Примерами подобных ситуаций являются случаи,когда возможность пересечения кластеров обусловлена самой природой практическойзадачи (объекты разных кластеров эквивалентны согласно различным отношениямэквивалентности), наличием «выбросов» и «шумовых» объектов. Под последними можнопонимать те объекты, для которых отнесение в один из кластеров не является болеепредпочтительным, чем отнесение в другой. В таких случаях более правильным можетбыть решение об их принадлежности двум (или нескольким) кластерам, чем«искусственное» зачисление в один из кластеров.

Наконец, решение задачи поискаоптимальных покрытий может оказаться проще, особенно в случаях зашумленных инеполных данных.Рассмотрим один алгоритм решения данной задачи для заданного числа l кластеров.Считаемтакжепредварительнозаданными(илиопределенными)lвекторовy1 , y 2 ,..., y l  R n , которые являются центрами «сгущения» выборки и интерпретируютсякак центры кластеров. Они могут быть получены, например, как центры гипершаровпосле предварительной кластеризации выборки с помощью алгоритма Форель или спомощью метода k- внутригрупповых средних.Введем в рассмотрение специальные семейства вложенных гипершаров.Пусть  - некоторая метрика в пространстве R n .

Упорядочив по возрастанию значениярасстояний отyiдо всех элементов извозрастающиепоследовательностиX  {x1 , x 2 ,..., x m } , получим монотонноr1i  r2i  ...  rkii ,ki  m ,i  1,2,..., l .Через{R ij  {x :  (x, y i )  rji }, j  1,2,..., ki } , обозначим множество вложенных гипершаров с60центрами в y i . Множество данных гипершаров покрывает все объекты выборки.Обозначим nij  {x t : xt  R ij } - число объектов выборки, принадлежащих гипершару R ij .Теперь можно поставить следующую задачу: «Найти l гипершаров Rt11 , Rt22 ,..., Rtll ,покрывающих все объекты из X  {x1 , x 2 ,..., x m } и имеющих минимальное число общихобъектовlni 1iti min ».Данная известная задача поиска покрытия минимального веса формулируется в видеследующей задачи целочисленного линейного программирования.lki n zij iji 1 j 1lki c ztij iji 1 j 1kizj 1ij min,(2.1) 1, t  1,2,..., m,(2.2) 1, i  1,2,..., l ,zij  {0,1}.(2.3)(2.4)1, xt  R ij ,где c  0, иначе.tijОграничения (2.2) выражают требование покрытия каждого объекта хотя бы однимшаром, а (2.3) – присутствие в решении основной задачи хотя бы одного шара с центромв y j для каждого j  1,2,..., l.Рис.

Характеристики

Список файлов книги