Лекция (3) (1185743)

Файл №1185743 Лекция (3) (Лекция (3))Лекция (3) (1185743)2020-08-25СтудИзба
Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

Лекция 3:Тематическое моделирование,метод главных компонентСтатистическое обучение безучителяИногда называют задачей «самоорганизации»Все признаки равнозначны, нет отклика = (1 , … , ), поэтому:Обучение без учителя более «субъективное» (нет единых интуитивнопонятных мер качетсва типа «точности») и менее «автоматизируемо» Сложнее подбирать метапараметры и сравнивать полученные моделиВажность этого направления в Data mining велико:«Истинный data mining» - ищет неизвестные заранее зависимости без«подсказок» эксперта Много важных прикладных задач по сегментации, выявление скрытыххарактеристик, зависимостей между атрибутами и т.д. Для больших данных получить качественно размеченный набор тяжело илиневозможно, часто возникают задачи semisupervised learning, когдаразмечена лишь чатсь набораОсновные задачи обучениябез учителяБольшинство задач сводится к поиску скрытых (латентных)признаков или скрытых структур (групп или зависимостей) вданных:1 = 1 1 , … , , … , = (1 , … , )Основные случаи: z или кластеры, или признаки, иногда как вSOM (сетях Кохонена) по сути и то, и другое.Основные прикладные задачи если z - признаки:Предобработка данных (как правило перед применением регрессионныхмоделей или методов кластеризации) = сокращение пространствапризнаков k<<n, удаление корреляций (или других зависомостей) Тематической моделирование текстовых данных (переход из пространстватермов в пространство тематик) Свертка «транзакционной истории» в вектор признаков, особенно частоиспользуется в рекомендательных системах.Тематическое моделирование текстовИсходная задача:Каждый документ 1 , … , – вектор признаков впрострастве словаря, например созданный по схеме «мешокслов», вес i-го слова в документеКорпус (множество документов) представим в виде матрицыТематическая модель:1 = 1 1 , … , , … , = 1 , … , , где k<<n - скрытыепризнаки документа или веса тематикРекомендательные системыДано:Множество пользователей (клиентов) J Множество продуктов (услуг, ресурсов и т.д.) I Множество транзакций D <время, пользователь, услуга>Задача:Построить модель, которая по истории пользователя будетспособна предсказать какие продукту (услуги или ресурсы) егозаинтересуют.Решение на основе ассоциативных правил:реализовано в узле Link Analysis подставить события из истории пользователя во все правила инайти наиболее достоверное следующее событие.Альтернатива – на основе тематического моделированияРекомендательные системыИсходная задача:Транзакционная история представляется в виде матрицы,где , например, равно числу транзакций пользователя j поиспользованию продукта iТематическая модель:1 = 1 1 , … , , … , = 1 , … , , где k<<n - скрытыепредпочтения пользователя или веса тематикОбщая идея PCACтроится новый базис (линейное преобразование исходногопространства) такой, что:Центр координат совпадает с мат.

ожиданием наблюденийПервый вектор направлен таким образом, что дисперсия вдоль негоD U  Vбыла максимальнойКаждый последующий вектор ортогонален предыдущим и направленпо направлению максимальной дисперсииПоследние компоненты – не важны!!!P NФормально:Два эквивалентных подхода:PPSVD разложение матрицы данныхСобственные значения ковариационной матрицыP NN NГеометрическая интерпретацияFirst Eigenvalue=1.94Исходные данныеПодпространствоЦентр данныхГлавные компонентыПроекции данныхSecond Eigenvalue=1.02Поиск собственных значений исобственных векторов ковариационнойРассчитаем (или корреляционую) ковариационную матрицу:Ковариация = 0 – независимы Ковариация > 0 – вместе растути убывают Ковариация < 0 – противофаза 1 , 1⋮C= , 1⋯⋱⋯ 1 , ⋮ , Проблема с.зн.:С*v=λ*vрешение: поиск корней , = [( − ( ))( − ( ))]|С - λ .

I|=0матрица положительно определенная – есть вещественные корниРезультат: λ – дисперсии, с.в. – главные компоненты1 = α11 1 + ⋯ + α1 , … , = α1 1 + ⋯ + α ,α2 = 1∀=1Сингулярное разложение в PCAX=Унитарная матрицаU левых SVTсингулярных векторовfactorsvariablesУнитарная матрица правыхсингулярных векторовfactorsvariablessamplesЕсли тексты:noisesignificantsig.significantnoisefactorsnoisefactorssamplesЕсли рекомендации:X – матрица корпуса документов,samples – документы, variables – термы,factors – тематики, U – представлениедокументов в прстранстве тематик, V –представление тематик в пространстветермов, S – веса тематикX – матрица частот покупок, samples –клиенты, variables – продукты, factors –предпочтения, U – представление клиентовв прстранстве предпочтений, V –представление продуктов в пространствепредпочтений, S – веса предпочтенийSVD разложение и обратная проекцияX nm  U nn DnmVmTmSVD разложение матрицы X:SVD приближение (метод главных компонент):отбрасываются с.в., соотв.

наименьшим с.з.остается p-я часть главных с.в., которые характеризуют основныеTзависимости в Xmin X  U p D pV pU p , D p ,V pс их помощью приближается исходная матрица:X (l 1)  V pV p X (l )TОтбор числа главных компонентПример 1Пример 2ВизуализацияОдно из важнейших применений – проекция множестванаблюдений на пары главных компонентПример использования в SAS EMПример: преобразуем транзакционный набор ASSOC в матрицуклиент-продукт:Применяем метод главных компонент (раздел Modify):Пример использования в SAS EMПример использования в SAS EMРезультаты:Новые признаки продуктов(матрица V)Новые признаки клиентов(матрица U)Веса предпочтений (синг. числа lambda) =>Как узнать купит ли клиент u продукт v?Посчитать скалярное произведение <u,v>*lambdaКластеризация переменныхЗадачи:группировка пременных в иерархические кластеры так, чтобы водном кластере переменные были максимальнокоррелированы, а кластеры между собой нет Затем выбирается либо первая гл.

компонента кластера либолучший представитель кластераСуть алгоритма группировки переменныхНисходящая иерархическая кластеризация, сначала всепеременные в одном кластереЗатем повторяется процесс:••1.2.3.Выбор кластера (группы коррелирующих переменных) дляразбиенияДеление кластера на два с помощью метода гл. комп. свращениемПерераспределение переменных по кластерамШаг разбиенияFirst Eigenvalue=1.94Second Eigenvalue=1.02Поворот главных компонетПерераспределение переменныхX1FirstRCSecondRCX2X3Разбивать ли дальше?IgnoredFirst Eigenvalue=1.95Second Eigenvalue=0.05Варианты остановки (помимо порога на с.зн.):• Задать максимальное число кластеров• Задать минимум описанной вариации (дисперсии)Выбор представителей кластеровX2FirstClusterPC1-R 2own cluster1 – 0.90== 0.10121-R next closest1 – 0.01R2 = 0.90Также можно выбирать неавтоматически:• Эксперт «вручную»• По корреляции с откликомSecondClusterPCR2 = 0.01Пример использования в SAS EMВ разделе Explore узел:Пример использования в SAS EMОтбор переменных:Дополнительноновые координатыНеотрицательная матричнаяфакторизацияA  ℝmn, (ai,j ≥ 0)Цель неотрицательной матричной факторизации состоит внахождении матриц Wk  ℝmk и Hk  ℝkn с неотрицательнымиэлементами, которые минимизируют целевую функцию:f (Wk , H k ) термы1A  Wk H k22,kF<< min(m, n) a1,1  a1, 2  a1,n    w1,1   w1,k      a2,1  a2, 2 ...a2,n     ...

......    ...  ...  ...    wm ,1   wm ,k     aaa  m ,1   m , 2   m ,n  AWkдокументытематики h1,1  h1,n       ... ......   hk ,1  hk ,n  Hkдокументы впространстветематикОртонормированная неотрицательнаяматричная факторизация (ОНМФ)1f (Wk , H k ) A  Wk H k2Целевая функция:1.2.2F2W Wk  ITk2FW1  ℝmk, H1  ℝkn инициализируются случайныминеотрицательными числамиВ цикле p раз выполняются итерационные формулы длявычисления матриц W и H:Hp 1b, jp 1i ,aWHWpb, jpi ,a((W p )T A) b, j((W p )T W p H p ) b, j, b, j : 1  b  k , 1  j  n( A( H p 1 )T  W p ) i ,a(W p H p1 ( H p1 )T  W p (W p )T W p ) i ,a, i, a : 1  i  m, 1  a  k.

Характеристики

Тип файла
PDF-файл
Размер
2,59 Mb
Материал
Тип материала
Высшее учебное заведение

Тип файла PDF

PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.

Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.

Список файлов лекций

Свежие статьи
Популярно сейчас
Почему делать на заказ в разы дороже, чем купить готовую учебную работу на СтудИзбе? Наши учебные работы продаются каждый год, тогда как большинство заказов выполняются с нуля. Найдите подходящий учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
6384
Авторов
на СтудИзбе
307
Средний доход
с одного платного файла
Обучение Подробнее