_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007) (_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007).pdf)
Описание файла
PDF-файл из архива "_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007).pdf", который расположен в категории "". Всё это находится в предмете "(ммо) методы машинного обучения" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Просмотр PDF-файла онлайн
Текст из PDF
Д. П. Ветров, Д. А. КропотовБайесовские методы машинного обученияУчебное пособиеПособие создано при поддержке программы «Формирование системы инновационногообразования в МГУ им. М.В. Ломоносова»Москва, 2007г1Цели курса• Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками• Представление современных проблем теории машинного обучения• Введение в байесовские методы машинного обучения• Изложение последних достижений в области практического использования байесовских методов• Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)Структура курса• 1 семестр, 12 лекций, 24 аудиторных часа + 12 часов для самостоятельной работы• В каждой лекции секция ликбеза, содержащая краткое напоминание полезных фактов из смежныхобластей математики• В конце курса экзамен. Три вопроса в билете, один из секции ликбеза + задача• Каждая лекция сопровождается показом презентации• Методические материалы (включая презентации), а также большая часть рекомендуемой литературы доступна на сайте http://mmphome.1gb.ru• Лекторы: Дмитрий Ветров (VetrovD@yandex.ru) и Дмитрий Кропотов (DKropotov@yandex.ru)Оглавление1 Различные задачи машинного обучения1.1 Некоторые задачи машинного обучения .
.1.1.1 Задача классификации . . . . . . . .1.1.2 Задача восстановления регрессии . .1.1.3 Задача кластеризации (обучения без1.1.4 Задача идентификации . . . . . . . .1.1.5 Задача прогнозирования . . . . . . .1.1.6 Задача извлечения знаний . . . . . .1.2 Основные проблемы машинного обучения .1.2.1 Малый объем обучающей выборки .1.2.2 Некорректность входных данных . .1.2.3 Переобучение .
. . . . . . . . . . . .1.3 Ликбез: Основные понятия мат. статистики....................................................................................................................................................................................................................................3. 4. 4. 5. 6. 6. 7. 8.
9. 9. 10. 10. 122 Вероятностная постановка задачи распознавания образов2.1 Ликбез: Нормальное распределение . . . . . . . . . . . . . . .2.2 Статистическая постановка задачи машинного обучения . .2.2.1 Вероятностное описание . . . . . . . . . . . . . . . . .2.2.2 Байесовский классификатор . . . . . . . . .
. . . . . .2.3 Методы восстановления плотностей . . . . . . . . . . . . . .2.3.1 Общие замечания . . . . . . . . . . . . . . . . . . . . .2.3.2 Парзеновские окна . . . . . . . . . . . . . . . . . . . .2.3.3 Методы ближайшего соседа . . . . . . . . . . . . . . .2.4 EM-алгоритм . . . .
. . . . . . . . . . . . . . . . . . . . . . . .2.4.1 Параметрическое восстановление плотностей . . . . .2.4.2 Задача разделения смеси распределений . . . . . . . .2.4.3 Разделение гауссовской смеси . . . . . . . . . . . . . .....................................................................................................................................................................................................................................141516161718181919212122233 Обобщенные линейные модели3.1 Ликбез: Псевдообращение матриц и нормальное псевдорешение3.2 Линейная регрессия . . .
. . . . . . . . . . . . . . . . . . . . . . .3.2.1 Классическая линейная регрессия . . . . . . . . . . . . .3.2.2 Метод наименьших квадратов . . . . . . . . . . . . . . . .3.2.3 Вероятностная постановка задачи . . . . . . . . . . . . .3.3 Применение регрессионных методов для задачи классификации3.3.1 Логистическая регрессия . . . . . . . . . . . .
. . . . . . .3.3.2 Метод IRLS . . . . . . . . . . . . . . . . . . . . . . . . . .........................................................................................................................................252627272829303031. . . . . .. . . . . .. . . . . .учителя). . .
. . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .2....................................Оглавление34 Метод опорных векторов и беспризнаковое распознавание образов4.1 Ликбез: Условная оптимизация . . . . . .
. . . . . . . . . . . . . . . . . .4.2 Метод опорных векторов для задачи классификации . . . . . . . . . . .4.2.1 Метод потенциальных функций . . . . . . . . . . . . . . . . . . . .4.2.2 Случай линейно разделимых данных . . . . . . . . . . . . . . . . .4.2.3 Случай линейно неразделимых данных . . . . . . . . . . . . . . .4.2.4 Ядровой переход . . . .
. . . . . . . . . . . . . . . . . . . . . . . .4.2.5 Заключительные замечания . . . . . . . . . . . . . . . . . . . . . .4.3 Метод опорных векторов для задачи регрессии . . . . . . . . . . . . . . .4.4 Беспризнаковое распознавание образов . . . . . . . . . . . . . . . . . . .4.4.1 Основная методика беспризнакового распознавания образов . .
.4.4.2 Построение функции, задающей скалярное произведение . . . . .....................................................................................................................................3435373738434446485050515 Задачи выбора модели5.1 Ликбез: Оптимальное кодирование . . . . . . . . .5.2 Постановка задачи выбора модели .
. . . . . . . .5.2.1 Общий характер проблемы выбора модели5.2.2 Примеры задач выбора модели . . . . . . .5.3 Общие методы выбора модели . . . . . . . . . . . .5.3.1 Кросс-валидация . . . . . . . . . . . . . . .5.3.2 Теория Вапника-Червоненкиса . . . . . . .5.3.3 Принцип минимальной длины описания . .5.3.4 Информационные критерии . .
. . . . . . .............................................................................................................555656565759596162636 Байесовский подход к теории вероятностей. Примеры байесовских рассуждений6.1 Ликбез: Формула Байеса . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .6.1.1 Sum- и Product- rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.1.2 Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2 Два подхода к теории вероятностей . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .6.2.1 Частотный подход . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2.2 Байесовский подход . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.3 Байесовские рассуждения . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .6.3.1 Связь между байесовским подходом и булевой логикой . . . . . . . . . . . . . . .6.3.2 Пример вероятностных рассуждений . . . . . . . . . . . . . . . . . . . . . . . . . ............................656666676767686969707 Решение задачи выбора модели по Байесу. Обоснованность модели7.1 Ликбез: Бритва Оккама и Ad Hoc гипотезы . .
. . . . . . . . . . . . . . .7.2 Полный байесовский вывод . . . . . . . . . . . . . . . . . . . . . . . . . .7.2.1 Пример использования априорных знаний . . . . . . . . . . . . .7.2.2 Сопряженные распределения . . . . . . . . . . . . . . . . . . . . .7.2.3 Иерархическая схема Байеса . . .
. . . . . . . . . . . . . . . . . .7.3 Принцип наибольшей обоснованности . . . . . . . . . . . . . . . . . . . .7.3.1 Обоснованность модели . . . . . . . . . . . . . . . . . . . . . . . .7.3.2 Примеры использования . . . . . . . . . . . . . . . . . . . . . .
. .........................7374747475777777798 Метод релевантных векторов8.1 Ликбез: Матричные тождества обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.2 Метод релевантных векторов для задачи регрессии . . . . . . . . . . . . . . . . . . . . . . . .8.3 Метод релевантных векторов для задачи классификации . . . . . . . . . . . . . . . . . . . . .82838488.............................................................................................................................................................................................Оглавление49 Недиагональная регуляризация обобщенных линейных моделей9.1 Ликбез: Неотрицательно определенные матрицы и Лапласовское распределение . .
