Ким_ Мьюллер и др - Факторный_ дискриминантный и кластерный анализы (1185345), страница 48
Текст из файла (страница 48)
Первый шаг может показаться труднопреодолимым для пользователя, но в действительности такую программу довольно легко написать: требуется лишь 36 операторов Фортрана. В результате получаем рандомизированное множество данных о 90 гипотетических больных, которое не содержит кластеров. Шаг 2. Применение одного и того же метода кластерного ана- лиза к обоим наборам данных. Для сравнения результатов кластерного анализа каждый из наборов данных подвергся обработке по итерационному методу й-средних (мы воспользовались процедурой ВМЭРКМ).
Программа начала свою работу с создания начального разбиения, а затем последовательно применяла метод Й-средних, описанный в равд, П1, для формирования заданного числа кластеров. Поскольку известно, что реальные данные состоят из трех групп, то мы решили рассмотреть только решение, в которое входят три кластера. Средние, найденные по рандомнзированным данным, сильно отличаются от средних, найденных по реальным данным.
Кроме того, отметим, что средние этих групп можно упорядочить по возрастанию. Другими словами, один кластер содержит сильно приподнятые профили, другой — умеренно приподнятые, а средние третьего кластера довольно малы. Наш опыт применения кластер. ного анализа к рандомизированным данным свидетельствует, что многие методы кластеризации формируют такие кластеры из случайных данных, которые можно упорядочить по возрастанию их средних. Шаг 3. Сравнение кластерных решений.
Последний шаг заключается в сравнении выходных статистик кластерных решений, полученных по реальному и искусственному наборам данных. В этом случае мы воспользуемая мерой достоверности, основанной иа Р-отношении, которая имеется в пакете программ ВМРРКМ. Значения Г-отношения, вычисленные с помощью однофакторной АНОЕТА по кластерам для всех 13 признаков, приводятся ниже: Р К и 17 Нв РЛ 9,4 М! 1,5 69,7 Ра 63,7 10,6 Р1 26,4 47,7 Яс 69,З 27,6 Ма 27,7 21,1 Л! 27,9 38,5 !97 Обратите внимание, что большинство значений довольно велико. Действительно, за исключением значения признака М1, г-отношение принимает значения от 9,4 до 69,7.
Если применить тесты значимости к этим 13 признакам, то 12 из них окажутся значимыми. Однако, как было показано выше, такое использование тестов значимости неправомерно. Следующее множество значений представляет собой соответствующие Р-отношения трехкластерного решения в случае раидомизированных данных. Поскольку в рандомизированных данных кластеров нет, то эти значения являются одноточечными оценками нулевых значений Р-отношений. Вообще говоря, значения Р-отношений трехкластерного решения не меньше значений Р-отношений реальных данных.
Действительно, эти Р-отношения имеют значения от 11,9 до 77,4 1опять, исключая признак М1): 1З,7 К 52,4 22,6 Нэ 18,8 557 Р1 77,4 11,9 Яс 67,4 14,9 Ма 19,8 81 81,2 36,4 к и Ня Ра м1 Ра 198 О чем же говорит результат сравнения? Р-отношение, вычисленное с помощью программы ВМРРКМ, дает пользователю представление об однородности кластеров. Когда рассматриваются абсолютные значения первого множества Г-отношений, оии кажутся разумно большими и, по всей видимости, говорят о том, что кластеры в какой-то степени однородны. Однако Р-отношения для данных, не имеющих кластеров, столь же велики. Это доказывает, что первое множество Р-отношений недостаточно велико для того, чтобы пользователь мог отвергать нулевую гипотезу об отсутствии кластеров. Графический вывод программы ВМРРКМ можно использовать для наглядного представления структуры результатов.
На рис, 10 показана схема расположения трех кластеров, представленных в двумерном пространстве основных комцонеит. На этой схеме очень хорошо видны три кластера. Однако если также изобразить кластеры раидомизированных данных (рис, 11), то три «кластера» кажутся непересекающимися, но не столь плотными, как реальные кластеры. Заметьте, что на схемах между кластерами нет очевидных границ. Вместо этого графическое отображение обоих решений показывает, что кластеры могут быть просто произвольным разбиением полного набора данных. Сравнивая графическое изображение реальных данных с изображением рандомизированных данных, видно, что пользователю будет трудно отбросить нулевую гипотезу об отсутствии кластеров.
Следовательно, по результатам работы программы можно заключить, что решение из трех кластеров соответствует структуре реальных данных и что сформированные кластеры однородны и хорошо разделены. Использование метода Монте-Карло позволяет формализовать проведение сравнительного анализа результатов вычислительных программ кластеризации. Рассмотрим еще один набор данных ММР!-теста для 90 больных. Этот набор данных был выбран таким образом, чтобы имеющиеся в нем три группы больных 1с психозами, неврозами и расстройствами личности) были очень плотными и хорошо выраженными. Вновь выполним три шага: 1) формирование рандомизированного множества данных; 2) проведение кластерного анализа реальных и рандомизироваиных данных; 3) сравнение результатов.
Применялся тот же самый метод кластеризации ВМОРКМ. Результирующие выходные статистики Р-отношения показаны ниже: а 5! л Ю о й Ф $ о 6 Х м ФЭ м ф> ~с л ы й 6 Ф о О ы Я И о Ф О. 3 о о о й. Реиввые ееввые Заметьте насколько больше Р-отношения для реальных данных, чем для рандомизированных. Почти все они являются трехзначными числами, и по любым стандартам они будут казаться очень большими величинами. На рис. 12 и 13 приведены схемы расположения кластеров для реальных и раидомизированных данных соответственно. Обратите внимание, что для реальных данных кластеры очень плотные и между ними существуют четкие границы. У рандомизнрованных данных такой структуры не отмечается.
Хотя большинство процедур обоснования достоверности решений изучены плохо и требуют осторожного обращения, некоторые из них необходимо использовать во всех исследованиях, где применяется кластерный анализ. Читателю, желающему продолжить изучение затронутой здесь темы, предлагаем следующие работы: (1)иЬез апд Ла!и, 1980; ПоЬ11, 19?4; ЗЬ!ппег апб В!азЬ1!е!б, 1982; СЬатЬегз апб К!е!пег, 1982). У. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ КЛАСТЕРНОГО АНАЛИЗА И ЛИТЕРАТУРА ПО КЛАСТЕРИЗАЦИИ Программное обеспечение кластерного анализа можно разделить на четыре основные категории; 1) библиотеки подпрограмм н алгоритмов; 2) общие пакеты программ по статистике, содержащие и методы кластеризации; 3) пакеты программ по кластерному анализу н 4) простые программы, реализующие какой-либо вид кластеризации (В1азЬ1!е18 е1 а1., 1982).
Поскольку исчерпывающий обзор программного обеспечения кластерного анализа выходит за рамки нашей работы, мы сосредоточим внимание лишь на тех программах и пакетах, которые получили широкое распространение. БИБЛИОТЕКИ ПОДПРОГРАММ И АЛГОРИТМОВ В настоящее время доступны три основные библиотеки программ и алгоритмов: книги (АпбегЬегп, 1973; Наг(!дап, 1975) и 201 Р К Ов и ни Ры' м! Рв Р! Яс Ма 3! 55,1 895,2 70',2 25о,'9 115,1 151,4 414,3 4 497,5 129,5 365,О 370„9 243,7 Ревдеввыяыевеввые 19,1 91,4 37,6 39,4 37,4 25,1 28,5 3',9 75,9 72,1 91,8 зо',о 59,4 ч <ч ям ',чо~од ~~' ММ ~4М <Ч <цм МО2 Ь3 мы Ю4 ы з х о Ь Ф Р, $ 3 х о о х О х ю Й о 64 202 программы из Международной математической и статистической библиотеки (1М81, 1980!.
Поскольку большая часть этого программного обеспечения довольно запутана, пользователь должен применять все возможности языка управления заданиями для редактирования н последующего выполнения программ, Если воспользоваться современным программистским жаргоном, то можно сказать, что это программное обеспечение не оченВ «дружественно к пользователю», Прежде чем начать работу с программами, пользователь должен быть знаком как с языком управления заданиями вычислительной системы, так и с языком Фортран, который использовался прн разработке этих программ.
В общем, уровень программной поддержки пользователя очень низок. Алгоритмы Хартигаца описаны в отдельном руководстве пользователя (Ра!! а1, 1975), тогда как алгоритмы Андерберга можно найти лишь в его книге. Хотя в документацию собрания 1МЗЕ-подпрограмм входят и описания алгоритмов кластеризации, это не облегчает пользование алгоритмами. Несмотря на широкий выбор методов и вспомогательных программ, новичку не рекомендуется пользоваться алгоритмами этой категории до тех пор, пока не появятся обстоятельные руководства. ПАКЕТЫ СТАТИСТИЧЕСКИХ ПРОГРАММ, СОДЕРЖАШИЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ МЕТОДОВ КЛАСТЕРИЗАПИИ Возможно, наиболее удобным и общедоступным программным обеспечением кластерного анализа являются подпрограммы, содержащиеся в таких пакетах статистических программ, как: ВМРР (0!хоп, 1983), 8А8 (5АЯ 1пз!!!ц!е, 1982), ВР88 (ЬР$8, 1984).
Концепции, заложенные в основу этих пакетов, хорошо известны. Они открывают непрограммистам сравнительно легкий доступ к сложным статистическим методам решения широкого круга исследовательских задач, Помогает пользователю н то, что в пакетах программ используется язык управления заданиями вычислительной системы, позволяющий с минимальными усилиями передавать вычислительной системе запросы пользователя.
Эти пакеты программ содержат также разнообразные методы отбора н обработки данных, позволяющие сделать сложный анализ простым и выполнимым. Если же пакет программ содержит метод, представляющий интерес для пользователя, то преимущества применения уже существующих пакетов статистических программ становятся значительными. За исключением программы ВМЭР, число различных дополнительных программ кластеризации, содержащихся в большинстве статистических пакетов, очень мало, Например, ранняя версия ЯАЬ содержала только один метод кластеризации, а 8Р88 — ни одного. Однако такое положение существенно изменилось.
Для ВМЭР были разработаны четыре процедуры кластерного анализа: 1) методы одиночной, полной и средней связей для группировки признаков; 2) методы средней связи (центроидная группировка), одиночной связи и й-ближайших соседей для группировки объектов; 3) блочный метод кластеризации (Наг((дап, 1975) для одновременной группировки объектов и признаков; 4) итеративный метод А-средних, образующий разбиения объектов. (Последняя процедура, ВМПРКМ, была использована в примере, иллюстрирующем применение методики повторных выборок; см.
разд. 17.) Процедуры ВМ1)Р снабжены хорошими описаниями, имеют понятные распечатки н имн довольно легко пользоваться. Наиболее серьезными недостатками этого пакета программ являются небольшое число иерархических агломеративных методов кластеризации объектов и возможность выбора лишь четырех мер сходства (евклидово расстояние, метрика Минковского, расстояние хи-квадрат и ~р-коэффициент). Во втором пакете статистических программ, ЬАЯ, до недавнего времени был лишь один метод кластерного анализа — метод полной связи. Однако в недавнюю версию этого пакета (ЗАЗ, 1982) включены существенные добавления, хотя, как ни странно, в нем уже нет метода полной связи.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
