_пособие_ Ветров Д.П._ Кропотов Д.А. Байесовские методы машинного обучения_ учебное пособие (2007) (1185333), страница 12
Текст из файла (страница 12)
Но мы легко могли бы учесть и тот факт,что друг Джона – большой шутник и мог его разыграть• Сводка новостей по радио p(r) = 1, p(r|z) = 0.5, p(r|¬z) = 0Глава 6. Байесовский подход к теории вероятностей. Примеры байесовских рассуждений73Вероятность взлома и ложной тревоги при получении сигнала тревогиСрабатывание сигнализации p(t) = 1p(v|t) =1p(t|v)p(v)Z1p(t|¬v)p(¬v)ZZ = p(t|v)p(v) + p(t|¬v)p(¬v)p(¬v|t) =p(t|v) = p(t|v, ¬z)p(¬z) + p(t|v, z)p(z) = p(¬z) + p(z) = 1p(t|¬v) = p(t|¬v, ¬z)p(¬z) + p(t|¬v, z)p(z) = p(t|¬v, z)p(z) = 10−3Z = 1.2 · 10−3p(v|t) =1≈ 16.7%6p(¬v|t) =5≈ 83.3%6Вероятность взлома и ложной тревоги при получении сигнала тревоги и после разговора сдругомСообщение друга p(d) = 1p(v|t, d) = {Cond. ind.} =p(¬v|t, d) = {Cond. ind.} =Z=1 p(v|t)p(v|d)1 10=Zp(v)Z 61 p(¬v|t)p(¬v|d)15≈Zp(¬v)Z6p(v|t)p(v|d) p(¬v|t)p(¬v|d)+p(v)p(¬v)Z=p(v|t, d) =p(¬v|t, d) =15610≈ 66.7%155≈ 33.3%15Комментарием {Cond.
ind.} обозначена т.н. условная независимость событий d и t относительно v. Подробнее см. раздел12.1.2Глава 6. Байесовский подход к теории вероятностей. Примеры байесовских рассуждений74Вероятность взлома и ложной тревоги при получении сигнала тревоги, после разговора сдругом и радиосообщенияРадиосводка p(r) = 1, т.к. p(r|¬z) = 0, то p(z|r) = 1, по условиюp(v|t, d, r) =11p(t|v, r, d)p(v, r, d) = p(v, r, d) = {Indep. assump.} =ZZ111p(v, d)p(r) = p(v|d)p(d)p(r) = 2 · 10−3 × 1 × 1ZZZp(¬v|t, d, r) = {p(t|¬v, d, r) = p(t|¬v, d, z)p(z|r) + p(t|¬v, d, ¬z)p(¬z|r)} =11p(t|¬v, r, d)p(¬v, r, d) = 0.1 × p(¬v, r, d) = {Indep.
assump.} =ZZ1110.1 × p(¬v, d)p(r) = 0.1 × p(¬v|d)p(d)p(r) = 0.1 × (1 − 2 · 10−3 ) × 1 × 1ZZZ20≈ 1.9%1018998p(¬v|t, d, z) =≈ 98.1%1018p(v|t, d, z) =Ошибка Джона• Успокоенный Джон возвращается на работу, а вечером, придя домой, обнаруживает, что квартира«обчищена».• Джон отлично владел байесовским аппаратом теории вероятностей, но значительно хуже разбиралсяв человеческой психологии• Предположение о независимости кражи и землетрясения оказалось невернымp(v, z) 6= p(v)p(z)• Действительно, когда происходит землетрясение, воры проявляют значительно большую активность,достойную лучшего примененияp(v|z) > p(v|¬z)Глава 7Решение задачи выбора модели поБайесу.
Обоснованность моделиВ главе описывается общая схема байесовского вывода. Внимание уделяется вопросам практическогоприменения байесовского вывода с помощью сопряженных распределений. Подробно рассматриваетсядвухуровневая схема байесовского вывода и лежащий в ее основе принцип наибольшей обоснованности.В конце главы приведен пример использования обоснованности для выбора модели, показаны отличиямежду оцениванием по методу максимального правдоподобия и оцениванием по максимуму апостериорнойвероятности.75Глава 7.
Решение задачи выбора модели по Байесу. Обоснованность модели7.176Ликбез: Бритва Оккама и Ad Hoc гипотезыБритва Оккама• В 14 в. английский монах В.Оккам ввел принцип, ставший методологической основой современнойнауки• Entia non sunt multiplicanda sine necessitate (лат. сущности не следует умножать без необходимости)• Согласно этому принципу из всех гипотез, объясняющих некоторое явление, следует предпочестьнаиболее простуюНаполеон однажды спросил Лапласа (полушутя, полусерьёзно): «Что-то я не вижу в Вашей теории места для Бога».На что Лаплас, якобы, ответил: «Сир, у меня не было нужды в этой гипотезе».Ad Hoc гипотезы• Если гипотеза выдвигается специально для объяснения одного конкретного явления, ее называютad hoc гипотезой• В научных исследованиях ad hoc гипотезой называют поправки, вводимые в теорию, чтобы онасмогла объяснить очередной эксперимент, который не укладывается в рамки теории• Согласно принципу Оккама, ad hoc гипотезы не являются научными и не должны использоваться• Классификатор, который в состоянии объяснить (правильно классифицировать) только те прецеденты, которые ему предъявлялись с правильными ответами в ходе обучения (обучающую выборку), является примером ad hoc гипотезы7.27.2.1Полный байесовский выводПример использования априорных знанийПредположим, нам необходимо оценить количество ящиков, находящихся за деревом, показанном на рисунке 7.1.
С точки зрения метода максимума правдоподобия любое положительное число ящиков одинаково приемлемо (рис. 7.2). Наша же интуиция (а точнее, априорные знания о характерной ширине ящика,базирующиеся на наблюдениях ящиков справа и слева от дерева) подсказывает иной ответ (рис. 7.3)Рис.
7.1. Сколько ящиков за деревом?Глава 7. Решение задачи выбора модели по Байесу. Обоснованность модели77Рис. 7.2.Рис. 7.3.7.2.2Сопряженные распределенияПолучение апостериорного распределения• Рассмотрим задачу получения апостериорного распределения на неизвестный параметр θ• Согласно формуле Байесаp(θ|x) =p(x|θ)p(θ)p(x|θ)p(θ)=Rp(x)p(x|θ)p(θ)dθ• Таким образом, для подсчета апостериорного распределения необходимо знать значение знаменателяв формуле Байеса• В случае, если θ является векторнозначной переменной, возникает необходимость (как правило численного) интегрирования в многомерном пространствеАналитическое интегрирование• При размерности выше 5-10 численное интегрирование с требуемой точностью невозможно• Возникает вопрос: в каких случаях можно провести интегрирование аналитически?• Распределения p(θ) ∼ A(α0 ) и p(x|θ) ∼ B(β) являются сопряженными, еслиp(θ|x) ∼ A(α1 )• Если априорное распределение выбрано из класса распределений, сопряженных правдоподобию, тоапостериорное распределение выписывается в явном видеГлава 7.
Решение задачи выбора модели по Байесу. Обоснованность модели78Пример• Подбрасывание монетки n раз с вероятностью выпадания орла q ∈ (0, 1)• Число выпавших орлов m, очевидно, имеет распределение Бернуллиp(m|n, q) = Cnm q m (1 − q)n−m ∼ B(m|n, q)• Сопряженным к распределению Бернулли является бета-распределениеp(q|a, b) =X Упр.Γ(a + b) a−1q(1 − q)b−1 ∼ Beta(q|a, b)Γ(a)Γ(b)• Легко показать, что интеграл от произведения распределения Бернулли и бета-распределения берется аналитически• Бета-распределение часто используется когда нужно указать распределение на вероятность какогото событияРис. 7.4. Различные формы бета-распределения• Применяя формулу Байеса, получаемp(q|«m орлов») ∼ Beta(q|a + m, b + n − m)• Отсюда простая интерпретация параметров a и b как эффективного количества наблюдений орлови решек• Можно считать априорное распределение нашими прошлыми наблюдениями• Возьмем в качестве априорного распределения равномерное (т.е.
бета-распределение с параметрамиa = b = 1). Это означает, что у нас нет никаких предпочтений относительно кривизны монетыГлава 7. Решение задачи выбора модели по Байесу. Обоснованность модели79• В этом случае взятие мат. ожидания по апостериорному распредению на q приводит к характернойрегуляризованной точечной оценке на вероятность выпадения орлаZ 1m+1q̂B =p(q|«m орлов»)qdq =n+20Примеры сопряженных распределений• Для большинства известных распределений существуют сопряженные, хотя не всегда они выписываются в простом виде• В частности, в явном виде можно выписать сопряженные распределения для любого распределенияиз экспоненциального семейства, т.е. распределения видаp(x|α) = h(x)g(α) exp(αT u(x))• К этому семейству относятся нормальное, гамма-, бета-, равномерное, Бернулли, Дирихле, Хиквадрат, Пуассоновское и многие другие распределения• Вывод: если правдоподобие представляет собой некоторое распределение, для которого существуетсопряженное, именно его и нужно стараться взять в качестве априорного распределения.
Тогда ответ(апостериорное распределение) будет выписан в явном виде7.2.3Иерархическая схема БайесаВыбор априорного распределения• Априорное распределение также может быть задано в параметрической форме p(θ) = p(θ|α)• Для того, чтобы применить формулу Байеса, необходимо сначала определить значение α• Для оценки α можно вновь воспользоваться формулой Байеса, введя на α априорное распределениеp(α).
Тогдаp(x|α)p(α)p(x|α)p(α)p(α|x) ==Rp(x)p(x|α)p(α)dαR• В качестве правдоподобия относительно α выступает т.н. обоснованность p(x|α) = p(x|θ)p(θ|α)dθ,полученная путем исключения (integrate out) переменной θИерархическая схема байесовского вывода• Само априорное распределение на α также может быть задано с точностью до параметра: p(α) =p(α|β)• Для определения значения β можно вновь воспользоваться схемой Байеса и т.д.• На каком-то этапе придется воспользоваться «заглушкой» в виде оценки максимума правдоподобия(рис. 7.5)7.37.3.1Принцип наибольшей обоснованностиОбоснованность моделиОбоснованность моделиГлава 7. Решение задачи выбора модели по Байесу. Обоснованность модели80DataLikelihoodMBLikelihoodPriorMBLikelihoodPrior...PriorMBLikelihoodPriorMLPosteriorРис.
7.5. Иерархическая схема байесовского вывода• На практике обычно ограничиваются двумя уровнями вывода, применяя метод максимального правдоподобия для оценки гиперпараметров• Гиперпараметры носят более абстрактный характер, поэтому их настройка по даннымне приводит к переобучению (см. рис. 7.6)• Функция правдоподобия гиперпараметров называется обоснованностью (evidence) моделиZp(x|α) =p(x|θ)p(θ|α)dθΘ• Гиперпараметры подбираются путем максимизации обоснованностиαM E = arg max p(x|α)• Далее можно решать стандартную задачу на поиск максимума регуляризованного правдоподобияθM P = arg max p(x|θ)p(θ|αM E )Принцип наибольшей обоснованности с точки зрения байесовского подхода• Применение метода максимального правдоподобия на втором уровне байесовского вывода означает,что все модели для нас одинаково приемлемы, т.е.
p(α) = Const• В этом случае легко показать, что p(α|x) ∝ p(x|α)• Вообще-то, это не совсем байесовский вывод...Формальный выводЕсли действовать формально, то необходимо провести интегрирование по всем параметрам с учетомГлава 7. Решение задачи выбора модели по Байесу. Обоснованность модели81их апостериорных распределенийZ Zp(T|X,q)p(q)nop(xnew |x) =p(x|θ, α)p(θ, α|x)dθdα = p(x|θ, α) = p(x|θ) =Z ZZ Zno1p(x|θ)p(θ|α, x)p(α|x)dθdα = p(α|x) ∝ p(x|α) =p(x|θ)p(θ|α, x)p(x|α)dθdα =ZZZno11p(x|α) ≈ δ(α − αM E ) =p(x|θ)p(θ|αM E , x)dθ =p(x|θ)p(x|θ, αM E )p(θ|αM E )dθ =ZZp(x|αM E )nop(x|θ, αM E )p(θ|αM E ) ≈ δ(θ − θM P ) ∝ p(x|θM P )qРис. 7.6.
В «пунктирной» модели присутствует небольшая доля алгоритмов, которые прекрасно объясняют обучающуювыборку. В то же время, «сплошная» модель является более обоснованной, т.к. доля «хороших» алгоритмов в ней велика7.3.2Примеры использованияГенератор случайных чисел I• Предположим, у нас имеется генератор случайных натуральных чисел. Мы знаем, что он можетгенерировать числа от 1 до N , причем N = 10, либо N = 100• Распределение, по которому генерируются числа, нам неизвестно. Задача: оценить мат. ожиданиеэтого распределения по выборке малой длины• Пусть наша выборка состоит из двух наблюдений x1 = 8, x2 = 6 (для простоты положим порядокизвестным)• Согласно принципу максимального правдоподобия легко показать, что µM L = 12 (x1 + x2 ) = 7Глава 7.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
