Главная » Все файлы » Просмотр файлов из архивов » PDF-файлы » Лекция 12. Кластерный анализ

Лекция 12. Кластерный анализ (2015 Лекции (Сенько))

PDF-файл Лекция 12. Кластерный анализ (2015 Лекции (Сенько)) (ММО) Методы машинного обучения (63149): Лекции - 10 семестр (2 семестр магистратуры)Лекция 12. Кластерный анализ (2015 Лекции (Сенько)) - PDF (63149) - СтудИзба2020-08-25СтудИзба

Описание файла

Файл "Лекция 12. Кластерный анализ" внутри архива находится в папке "2015 Лекции (Сенько)". PDF-файл из архива "2015 Лекции (Сенько)", который расположен в категории "". Всё это находится в предмете "(ммо) методы машинного обучения" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .

Просмотр PDF-файла онлайн

Текст из PDF

2Кластерный анализЦелью методов кластерного анализа является разбиение выборок многомерных данных нагруппы объектов близких в смысле некоторой заданной меры сходства. Такие компактныегруппы называются кластерами, классами или таксонами.Методыкластерногоанализаназываюттакжеметодамиобучениябезучителя,автоматической группировки или таксономии.Методыкластерногоанализамогутиспользоватьсявкачествавспомогательныхинструментов при решении задач прогнозирования или распознавания. Однако нередкокластеризация может иметь самостоятельное значение.2Кластерный анализБольшинство известных алгоритмов кластеризации предполагает задание расстояния (x, y) между произвольными векторами-описаниямиобъектов.

В качестве расстояния могут выступать, например, евклидова метрика: (x, y ) n2(xy) i ii 1Используются и другие функции расстояния.2Кластерный анализОдним из наиболее известных методов кластеризации является алгоритмk внутригрупповыхсредних. Предположим, что у нас задана выборка векторов- описаний S  {x1 ,, xm}. Алгоритмнаходит такие кластеры, для объектов которых центр «своего кластера» будет ближе центра любого«чужого кластера».Метод предполагает, что число кластеров изначально задано.2Кластерный анализПоиск оптимальной кластеризации методом квнутригрупповых среднихПредположим, что предполагаемое число кластеров равно r.Зададим произвольным образом исходное разбиение выборкиS  {x1, , xm}на группыG10 , , Gr0Вычисляем геометрические центры исходных группПусть группаGi0состоит из объектовm(i )01{x , , x0m(i )}.Тогда центр0iGxi0  m1(i )  x0jвычисляется по формулеВычисляются расстояния между объектами изSи центрамиj 1x10 , , xr02Кластерный анализПоиск оптимальной кластеризации методом kвнутригрупповых среднихОбъекты изS затем переносятсяполучаем новый набор группв группу с наименее удалённым центром.

В результате мыG11 , , Gr1 .Повторяем для набора группG11 , , Gr1 те же00G,,Gсамые операции, которые ранее выполнялись для групп 1r………………………………………………………………………………………………………………………………………………………………Процесс завершается на некотором шаге k+1, когда переносы объектов изSв другиегруппы не требуются.То есть каждый объект наименее удалён от центра той же самой группы, которой он ипринадлежит.

В результате мы получаем набор компактных групп - кластеровИерархическая кластеризацияДля того, чтобы осуществить иерархическую кластеризацию необходимо сначала задатьрасстояние(G, G)между произвольными кластерамиG, G .Возможные способы задания расстояния:1)(G, G)  min  (x, x)xG, xG-то есть расстоянием между двумя кластерамиявляется минимальное расстояние между двумя объектами, один из которыхпринадлежит2)G , а второй G .(G, G)  max  (x, x)xG, xG-то есть расстоянием между двумя кластерамиявляется максимальное расстояние между двумя объектами, один из которыхпринадлежитG , а второй G .Иерархическая кластеризация3)(G, G)   ( x, x) - расстояние междуцентрами кластеровG, Gm m4)(G, G)  m1m   (xi , xj )i 1 j 1- среднее расстояние между объектами из двухкластеровОтметим, что в случае, когда все кластеры состоят только из одного объекта, расстояниямежду ними всегда равны расстояниям между этими единственными объектами.Иерархическая кластеризацияНа начальном этапе кластерами являются объектыSНа каждом последующем шаге происходит объединение двух ближайших кластеров изнабора, образованного на предыдущем шаге.Процесс завершается при достижении одного из следующих условий.1) Кластеры, образованные на новом шаге теряют компактность.

Тогда мы оставляем всиле кластеризацию, полученную на предыдущем шаге.2) Образуется требуемое число кластеров3) Процесс завершается, если достигнутая кластеризация удовлетворяет требованиямэксперта исследователя.ИССЛЕДОВАНИЯ ФОЛЬКЛОРНО-МИФОЛОГИЧЕСКИХ ТРАДИЦИЙ С ИСПОЛЬЗОВАНИЕММЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХЦелью настоящей работы является разработка и обоснование методов интеллектуальногоанализа данных, эффективных при исследовании фольклорно-мифологических традиций понаборам представленных в них мотивов. База данных, содержащая информацию овстречаемости мотивов, создана и Ю.Е.

Березкиным [Березкин 2007; 2009] и размещена насайте http://starling.rinet.ru/kozmin/tales/index.php?index=berezkinВ 2007 г. база включала сведения о встречаемости 1355 мифологических мотивов в 337традициях (на ноябрь 2009 в ней 1483 мотива и 470 традиций). Для этого на протяжениипочти двадцати лет были проанализированы более 5500 публикаций на германских,романских, славянских и прибалтийско-финских языках, использованы также некоторыенеопубликованные материалы. Под мотивом понимаются повторяющиеся образы, эпизодыили их сочетания максимальной протяженности, встречающиеся в двух и более (практически- во многих) текстах.

В базу данных включались только такие мотивы, которые обнаруженыне менее, чем в четырех традициях. Под традицией понимается совокупность текстов,записанных у одной этно-языковой группе.В базе данных для всех традиций в бинарной форме фиксируется наличие или отсутствиекаждого мотива в проанализированных источниках.Следует подчеркнуть, что наличие 0 в некоторой позиции традиции не обязательнодостоверно свидетельствует о реальном отсутствии мотива ввиду недостаточной изученностинекоторых традиций. Последнее обстоятельство не позволяет использовать в качествефункции близости стандартные метрики Евклида или Хэмминга, которые предполагаютсуммирование совпадений по всем сюжетам, что приведёт к установлению высокой близостимежду двумя слабо исследованными традициями.

В связи с этим были выдвинутыальтернативные функции расстояния между традициями T[i] и T[j] .Функция Sс(T[i], T[j])=1- 0.5*{ k*С(t[i],t[j] /N +1}, где С(t[i],t[j])представляет собойвеличину статистики критерия Хи-квадрат, при оценивании достоверности связи междудвумя дихотомическими разбиениями. N - общее количество мотивов в исследуемой базе,k=1, если мотивы в среднем чаще встречаются в T[j] при условии наличия их в T[i].k=-1, если мотивы в среднем реже появляются в T[j] при условии наличия их в T[i].Выявление однородных групп традиций. Для выявления групп традиций с близкимхарактеромвстречаемостимифологическихмотивовиспользовалсяширокораспространённый метод иерархической группировки.На начальном этапе каждая традиция считалась отдельным кластером.На каждом шаге происходит объединение кластеров с миниимальным значениемусреднённой (по всем парам объектов из разных кластеров) функции расстояния.Процесс продолжался до тех пор пока традиции не оказывались объединёнными в заданноеисследователем число кластеров.На первом этапе исследования проводились для индейских традиций АмериканскогоконтинентаПроведённые исследования показали, что традиции в кластерах, полученных согласносходству мифологических мотивов, оказываются, как правило, также близкимигеографически.На приводимых далее рисунках результаты кластеризации показаныгеографических координат при заданном числе кластеров равным 8 и 11.всистемеДополнительным способом оценки сходства между традициями (или группами традиций) T1и T2 является вычисление коэффициента корреляции расстояния до T1 и T2 набора другихтрадиций.Использовался набор всех индейских традиций американского континента.Таблица 1.

Коэффициенты корреляции между средними расстояниями американскихФольклорных традиций до соответствующих пар кластеров.1.000.290.00 0.330.01-0.42-0.32-0.28-0.17 -0.270.000.260.291.000.48 0.460.46-0.37-0.58-0.43-0.21 -0.460.010.420.000.481.00 0.260.470.17-0.30-0.30-0.10 -0.130.12 0.090.330.460.26 1.000.55-0.29-0.37-0.310.08 -0.300.060.320.020.460.47 0.551.000.03-0.41-0.34-0.04 -0.270.100.24-0.42-0.370.17 -0.290.031.000.380.150.10 0.45 0.43 0.04-0.32-0.58-0.30 -0.37-0.410.381.000.750.37 0.64 0.68 0.05-0.28-0.43-0.30 -0.31-0.340.150.751.000.34 0.38 0.39-0.17-0.21-0.10 0.08-0.040.100.370.341.00 0.17 0.24 0.14-0.46-0.13-0.270.450.640.380.17 1.00 0.48 0.05-0.27-0.300.01-0.26-0.42-0.12-0.32-0.240.430.680.390.24 0.48 1.00 0.080.000.01-0.090.060.100.040.05-0.010.14 0.05 0.08 1.00Таблица 2. Коэффициенты корреляции между средними расстояниями американскихФольклорных традиций для пар (кластер –внеамерикнская традиция).Chinese_0.13-0.130.22-0.090.160.580-0.140.010.090.160.04Garo_Chin_Mizo_Kachari_0.0025-0.0660.33-0.030.150.620.21-0.0390.010.260.460.018Hadza_Sandawe-0.42-0.34-0.06-0.160.0570.370.470.550.320.460.350.20Chukchi0.780.380.240.400.31-0.22-0.47-0.49-0.19-0.28-0.320.028Evenk:_Baikal_Amur0.350.540.570.480.61-0.04-0.50-0.46-0.19-0.26-0.270.037Ainu0.610.150.110.330.15-0.03-0.14-0.200.16-0.19-0.080.11-0.26-0.49-0.17-0.21-0.240.470.810.600.370.710.520.12New_Guinea_PapuansНа втором этапе исследования проводились для традиций, распространённых по всемумируНа приводимых далее рисунках результаты кластеризации показаныгеографических координат при заданном числе кластеров равным от 2 до 8.всистемеИсследования подтвердили выраженную тенденцию, что традиции в кластерах, полученныхсогласно сходству мифологических мотивов, оказываются, как правило, также близкимигеографически.Иерархичес кая клас теризация- 2 клас тера1008060широта40200-20-40-60-80-200-150-100-500долгота501001502003 клас тера.

Свежие статьи
Популярно сейчас
Почему делать на заказ в разы дороже, чем купить готовую учебную работу на СтудИзбе? Наши учебные работы продаются каждый год, тогда как большинство заказов выполняются с нуля. Найдите подходящий учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Нашёл ошибку?
Или хочешь предложить что-то улучшить на этой странице? Напиши об этом и получи бонус!
Бонус рассчитывается индивидуально в каждом случае и может быть в виде баллов или бесплатной услуги от студизбы.
Предложить исправление
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
5057
Авторов
на СтудИзбе
455
Средний доход
с одного платного файла
Обучение Подробнее