_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007) (1185333)
Текст из файла
Д. П. Ветров, Д. А. КропотовБайесовские методы машинного обученияУчебное пособиеПособие создано при поддержке программы «Формирование системы инновационногообразования в МГУ им. М.В. Ломоносова»Москва, 2007г1Цели курса• Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками• Представление современных проблем теории машинного обучения• Введение в байесовские методы машинного обучения• Изложение последних достижений в области практического использования байесовских методов• Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)Структура курса• 1 семестр, 12 лекций, 24 аудиторных часа + 12 часов для самостоятельной работы• В каждой лекции секция ликбеза, содержащая краткое напоминание полезных фактов из смежныхобластей математики• В конце курса экзамен. Три вопроса в билете, один из секции ликбеза + задача• Каждая лекция сопровождается показом презентации• Методические материалы (включая презентации), а также большая часть рекомендуемой литературы доступна на сайте http://mmphome.1gb.ru• Лекторы: Дмитрий Ветров (VetrovD@yandex.ru) и Дмитрий Кропотов (DKropotov@yandex.ru)Оглавление1 Различные задачи машинного обучения1.1 Некоторые задачи машинного обучения .
.1.1.1 Задача классификации . . . . . . . .1.1.2 Задача восстановления регрессии . .1.1.3 Задача кластеризации (обучения без1.1.4 Задача идентификации . . . . . . . .1.1.5 Задача прогнозирования . . . . . . .1.1.6 Задача извлечения знаний . . . . . .1.2 Основные проблемы машинного обучения .1.2.1 Малый объем обучающей выборки .1.2.2 Некорректность входных данных . .1.2.3 Переобучение .
. . . . . . . . . . . .1.3 Ликбез: Основные понятия мат. статистики....................................................................................................................................................................................................................................3. 4. 4. 5. 6. 6. 7. 8.
9. 9. 10. 10. 122 Вероятностная постановка задачи распознавания образов2.1 Ликбез: Нормальное распределение . . . . . . . . . . . . . . .2.2 Статистическая постановка задачи машинного обучения . .2.2.1 Вероятностное описание . . . . . . . . . . . . . . . . .2.2.2 Байесовский классификатор . . . . . . . . .
. . . . . .2.3 Методы восстановления плотностей . . . . . . . . . . . . . .2.3.1 Общие замечания . . . . . . . . . . . . . . . . . . . . .2.3.2 Парзеновские окна . . . . . . . . . . . . . . . . . . . .2.3.3 Методы ближайшего соседа . . . . . . . . . . . . . . .2.4 EM-алгоритм . . . .
. . . . . . . . . . . . . . . . . . . . . . . .2.4.1 Параметрическое восстановление плотностей . . . . .2.4.2 Задача разделения смеси распределений . . . . . . . .2.4.3 Разделение гауссовской смеси . . . . . . . . . . . . . .....................................................................................................................................................................................................................................141516161718181919212122233 Обобщенные линейные модели3.1 Ликбез: Псевдообращение матриц и нормальное псевдорешение3.2 Линейная регрессия . . .
. . . . . . . . . . . . . . . . . . . . . . .3.2.1 Классическая линейная регрессия . . . . . . . . . . . . .3.2.2 Метод наименьших квадратов . . . . . . . . . . . . . . . .3.2.3 Вероятностная постановка задачи . . . . . . . . . . . . .3.3 Применение регрессионных методов для задачи классификации3.3.1 Логистическая регрессия . . . . . . . . . . . .
. . . . . . .3.3.2 Метод IRLS . . . . . . . . . . . . . . . . . . . . . . . . . .........................................................................................................................................252627272829303031. . . . . .. . . . . .. . . . . .учителя). . .
. . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .2....................................Оглавление34 Метод опорных векторов и беспризнаковое распознавание образов4.1 Ликбез: Условная оптимизация . . . . . .
. . . . . . . . . . . . . . . . . .4.2 Метод опорных векторов для задачи классификации . . . . . . . . . . .4.2.1 Метод потенциальных функций . . . . . . . . . . . . . . . . . . . .4.2.2 Случай линейно разделимых данных . . . . . . . . . . . . . . . . .4.2.3 Случай линейно неразделимых данных . . . . . . . . . . . . . . .4.2.4 Ядровой переход . . . .
. . . . . . . . . . . . . . . . . . . . . . . .4.2.5 Заключительные замечания . . . . . . . . . . . . . . . . . . . . . .4.3 Метод опорных векторов для задачи регрессии . . . . . . . . . . . . . . .4.4 Беспризнаковое распознавание образов . . . . . . . . . . . . . . . . . . .4.4.1 Основная методика беспризнакового распознавания образов . .
.4.4.2 Построение функции, задающей скалярное произведение . . . . .....................................................................................................................................3435373738434446485050515 Задачи выбора модели5.1 Ликбез: Оптимальное кодирование . . . . . . . . .5.2 Постановка задачи выбора модели .
. . . . . . . .5.2.1 Общий характер проблемы выбора модели5.2.2 Примеры задач выбора модели . . . . . . .5.3 Общие методы выбора модели . . . . . . . . . . . .5.3.1 Кросс-валидация . . . . . . . . . . . . . . .5.3.2 Теория Вапника-Червоненкиса . . . . . . .5.3.3 Принцип минимальной длины описания . .5.3.4 Информационные критерии . .
. . . . . . .............................................................................................................555656565759596162636 Байесовский подход к теории вероятностей. Примеры байесовских рассуждений6.1 Ликбез: Формула Байеса . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .6.1.1 Sum- и Product- rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.1.2 Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2 Два подхода к теории вероятностей . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .6.2.1 Частотный подход . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2.2 Байесовский подход . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.3 Байесовские рассуждения . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .6.3.1 Связь между байесовским подходом и булевой логикой . . . . . . . . . . . . . . .6.3.2 Пример вероятностных рассуждений . . . . . . . . . . . . . . . . . . . . . . . . . ............................656666676767686969707 Решение задачи выбора модели по Байесу. Обоснованность модели7.1 Ликбез: Бритва Оккама и Ad Hoc гипотезы . .
. . . . . . . . . . . . . . .7.2 Полный байесовский вывод . . . . . . . . . . . . . . . . . . . . . . . . . .7.2.1 Пример использования априорных знаний . . . . . . . . . . . . .7.2.2 Сопряженные распределения . . . . . . . . . . . . . . . . . . . . .7.2.3 Иерархическая схема Байеса . . .
. . . . . . . . . . . . . . . . . .7.3 Принцип наибольшей обоснованности . . . . . . . . . . . . . . . . . . . .7.3.1 Обоснованность модели . . . . . . . . . . . . . . . . . . . . . . . .7.3.2 Примеры использования . . . . . . . . . . . . . . . . . . . . . .
. .........................7374747475777777798 Метод релевантных векторов8.1 Ликбез: Матричные тождества обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.2 Метод релевантных векторов для задачи регрессии . . . . . . . . . . . . . . . . . . . . . . . .8.3 Метод релевантных векторов для задачи классификации . . . . . . . . . . . . . . . . . . . . .82838488.............................................................................................................................................................................................Оглавление49 Недиагональная регуляризация обобщенных линейных моделей9.1 Ликбез: Неотрицательно определенные матрицы и Лапласовское распределение . .
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
