_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007) (1185333), страница 2
Текст из файла (страница 2)
. . .9.2 Метод релевантных собственных векторов . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.2.1 RVM и его ограничения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.2.2 Регуляризация степеней свободы . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .9.2.3 Оптимизация обоснованности для различных семейств априорных распределений..........94959696979810 Общее решение для недиагональной регуляризации10210.1 Ликбез: Дифференцирование по вектору и по матрице . . . . . . . . . . . . . . . . . . .
. . . 10310.2 Общее решение для недиагональной регуляризации . . . . . . . . . . . . . . . . . . . . . . . . 10410.2.1 Получение выражения для обоснованности с произвольной матрицей регуляризации 10410.2.2 Получение оптимальной матрицы регуляризации в явном виде . . . . . . . . . . . . .
10511 Методы оценки обоснованности11.1 Ликбез: Дивергенция Кульбака-Лейблера и11.2 Вариационный метод . . . . . . . . . . . . .11.2.1 Идея метода . . . . . . . . . . . . . .11.2.2 Вариационная линейная регрессия .11.3 Методы Монте-Карло . . . . . . . . . . . . .11.3.1 Простейшие методы . . . . . . . . . .11.3.2 Схема Метрополиса-Гиббса .
. . . .11.3.3 Гибридный метод Монте-Карло . . .........................................................................................................10911011111111311511511611712 Графические модели. Гауссовские процессы в машинном обучении12.1 Ликбез: Случайные процессы и условная независимость . . . . . .
. . .12.1.1 Случайные процессы . . . . . . . . . . . . . . . . . . . . . . . . . .12.1.2 Условная независимость . . . . . . . . . . . . . . . . . . . . . . . .12.2 Графические модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12.2.1 Ориентированные графы . . . . . . . . . . . .
. . . . . . . . . . . .12.2.2 Три элементарных графа . . . . . . . . . . . . . . . . . . . . . . .12.2.3 Неориентированные графы . . . . . . . . . . . . . . . . . . . . . .12.3 Гауссовские процессы в машинном обучении . . . . . . . . . . . . . . . .12.3.1 Гауссовские процессы в задачах регрессии .
. . . . . . . . . . . .12.3.2 Гауссовские процессы в задачах классификации . . . . . . . . . .12.3.3 Подбор ковариационной функции . . . . . . . . . . . . . . . . . . .....................................................................................................................................119120120121121121124125126126128129Гамма-распределение. . . . . . .
. . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .........................Глава 1Различные задачи машинного обученияВ главе рассматриваются различные постановки задачи машинного обучения и вводятся основные обозначения, использующиеся в последующих главах. Также приведены основные проблемы, возникающиепри обучении ЭВМ.5Глава 1. Различные задачи машинного обучения1.16Некоторые задачи машинного обученияКонцепция машинного обучения• Решение задач путем обработки прошлого опыта (case-based reasoning)• Альтернатива построению математических моделей (model-based reasoning)• Основное требование – наличие обучающей информации• Как правило в качестве таковой выступает выборка прецедентов – ситуационных примеров изпрошлого с известным исходом• Требуется построить алгоритм, который позволял бы обобщить опыт прошлых наблюдений/ситуаций для обработки новых, не встречавшихся ранее случаев, исход которых неизвестен.1.1.1Задача классификацииКлассификация• Исторически возникла из задачи машинного зрения, поэтому часто употребляемый синоним – распознавание образов• В классической задаче классификации обучающая выборка представляет собой набор отдельных объектов X = {xi }ni=1 , характеризующихся вектором вещественнозначных признаков xi =(xi,1 , .
. . , xi,d )• В качестве исхода объекта x фигурирует переменная t, принимающая конечное число значений,обычно из множества T = {1, . . . , l}• Требуется постросить алгоритм (классификатор), который по вектору признаков x вернул бы меткукласса t̂ или вектор оценок принадлежности (апотериорных вероятностей) к каждому из классов{p(s|x)}ls=1 (см. рис. 1.1)Рис. 1.1. Пример двухклассовой задачи классификации. Звездочками обозначены объекты из одного класса, пятиугольниками — объекты из другого класса.
Черная линия соответствует разделяющей поверхности, обеспечивающей качественнуюклассификацию новых объектовПримеры задач классификации• Медицинская диагностика: по набору медицинских характеристик требуется поставить диагноз• Геологоразведка: по данным зондирования почв определить наличие полезных ископаемыхГлава 1. Различные задачи машинного обучения7• Оптическое распознавание текстов: по отсканированному изображению текста определить цепочкусимволов, его формирующих• Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе кредита• Синтез химических соединений: по параметрам химических элементов спрогнозировать свойстваполучаемого соединения1.1.2Задача восстановления регрессииРегрессия• Исторически возникла при исследовании влияния одной группы непрерывных случайных величинна другую группу непрерывных случайных величин• В классической задаче восстановления регрессии обучающая выборка представляет собой наборотдельных объектов X = {xi }ni=1 , характеризующихся вектором вещественнозначных признаковxi = (xi,1 , .
. . , xi,d )• В качестве исхода объекта x фигурирует непрерывная вещественнозначная переменная t• Требуется постросить алгоритм (регрессор), который по вектору признаков x вернул бы точечнуюоценку значения регрессии t̂, доверительный интервал (t− , t+ ) или апостериорное распределение намножестве значений регрессионной переменной p(t|x)Рис.
1.2. Пример задачи восстановления регрессии. Звездочками обозначены прецеденты, черная линия показывает примервосстанавливаемой функции регрессииПримеры задач восстановления регрессии• Оценка стоимости недвижимости: по характеристике района, экологической обстановке, транспортной связности оценить стоимость жилья• Прогноз свойств соединений: по параметрам химических элементов спрогнозировать температуруплавления, электропроводность, теплоемкость получаемого соединения• Медицина: по постоперационным показателям оценить время заживления органа• Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита• Инженерное дело: по техническим характеристикам автомобиля и режиму езды спрогнозироватьрасход топливаГлава 1. Различные задачи машинного обучения1.1.38Задача кластеризации (обучения без учителя)Кластеризация• Исторически возникла из задачи группировки схожих объектов в единую структуру (кластер) споследующим выявлением общих черт• В классической задаче кластеризации обучающая выборка представляет собой набор отдельных объектов X = {xi }ni=1 , характеризующихся вектором вещественнозначных признаков xi = (xi,1 , .
. . , xi,d )• Требуется постросить алгоритм (кластеризатор), который разбил бы выборку на непересекающиесяSkгруппы (кластеры) X = j=1 Ck , Cj ⊂ {x1 , . . . , xm }, Ci ∩ Cj = ∅• В каждый класс должны попасть объекты в некотором смысле похожие друг на друга (см. рис. 1.3)Рис. 1.3. Пример задачи кластеризации. Звездочками обозначены прецеденты. Группы объектов, обведенные кружками,образуют отдельные кластерыПримеры задач кластерного анализа• Экономическая география: по физико-географическим и экономическим показателям разбить страны мира на группы схожих по экономическому положению государств• Финансовая сфера: по сводкам банковских операций выявить группы «подозрительных», нетипичных банков, сгуппировать остальные по степени близости проводимой стратегии• Маркетинг: по результатам маркетинговых исследований среди множества потребителей выделитьхарактерные группы по степени интереса к продвигаемому продукту• Социология: по результатам социологических опросов выявить группы общественных проблем, вызывающих схожую реакцию у общества, а также характерные фокус-группы населения1.1.4Задача идентификацииИдентификация• Исторически возникла из классификации, необходимости отделить объекты, обладающие определенным свойством, от «всего остального»• В классической задаче идентификации обучающая выборка представляет собой набор отдельных объектов X = {xi }ni=1 , характеризующихся вектором вещественнозначных признаков xi =(xi,1 , .
. . , xi,d ), обладающих некоторым свойством χA (x) = 1• Особенностью задачи является то, что все объекты принадлежат одному классу, причем не существует возможности сделать репрезентативную выборку из класса «все остальное»Глава 1. Различные задачи машинного обучения9• Требуется постросить алгоритм (идентификатор), который по вектору признаков x определил быналичие свойства A у объекта x, либо вернул оценку степени его выраженности p(χA (x) = 1|x)(см. рис.
1.4)Рис. 1.4. Пример задачи идентификации. Объекты, обладающие определенным свойством, отделены от всех остальныхобъектовПримеры задач идентификации• Медицинская диагностика: по набору медицинских характеристик требуется установить наличие/отсутствие конкретного заболевания• Системы безопасности: по камерам наблюдения в подъезде идентифицировать жильца дома• Банковское дело: определить подлинность подписи на чеке• Обработка изображений: выделить участки с изображениями лиц на фотографии• Искусствоведение: по характеристикам произведения (картины, музыки, текста) определить, является ли его автором тот или иной автор1.1.5Задача прогнозированияПрогнозирование• Исторически возникла при исследовании временных рядов и попытке предсказания их значенийчерез какой-то промежуток времени• В классической задаче прогнозирования обучающая выборка представляет собой набор измеренийX = {x[i]}ni=1 , представляющих собой вектор вещественнозначных величин x[i] = (x1 [i], .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
