Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 39
Текст из файла (страница 39)
Предполагается, что вектор математического ожидания известен и, без ограничения общности,— что он равен нулю. Ранее мы предположили, что априорная плотность вероятности р(Х/Х) является нормальной. С другой стороны, известно, что выборочная ковариационная матрица имеет распределение Уишарта. Поэтому мы начнем с распределепия выборочной ковариационной матрицы р(Х/Хо, Жо), где !!/о — число объектов и Хо— начальное предположение об истинной ковариационной матрице. Значение Ло — это число объектов для начальной выборочной ковариационной матрицы, и его можно рассматривать как доверительную константу для начальной оценки Хо.
Далее, вместо вычисления р(Х/Хо, /!/о) вычислим р(К/Хо, Ж), где К = Х ', Это делается потому, что ковариационная матрица в случае нопмальндго распределения всегда используется в обращенной форме. Тогда р(К/Хо, !!/о) определяется следующим образом: Р (К/~о Л/о) = = с(п,'р„! $ шае~$ ' !к!ем,— — 2р2 ехр[ — — фр рг р. р!1 (7.92) Используя (7.92) в качестве р(0) и многократно применяя ренуррентную 'процедуру (7.82), получим для плотности вероятности р(К/Х1, ..., Х!~) снова распределение Уишартаспараметрами 1Кишн, 1965]: 1+ (Л о/Л~) /'!!~ = Хо+ Х. (7.95) Следовательно, с увеличением У оценка Хв приближается к выборочной ковариапнонной матрице (1//!!)ХХ1Х; с нулевым средним значен11ем.
Оценивание вектора математического ожидания и ковариационной матрицы. Когда последовательно оцениваются как вектор математического ожидания, так и ковариационная матрица, необходимо вы- злдлнне нл состлвлгние пРОГРлмм 231 230 гл. 7, последовАтельное ОцениВАние плРАметРОВ числить совместную апостериорную плотность вероятности р(ЛХХе Х/Х),...,Х„). Когда М и Х оцениваются выборочным средним 'и выборочной ковариационной матрицей, а Х вЂ” нормально распг)еделенная случайная величина, плотность вероятности р(М, К/Мо, 2о, гго, /1/о), К = 2. ' представляет собой распределение Гаусса— Уишарта: Р(М К/Мо, Хо, Ро, 11(о) = (2х) — "Се (р 7с('Се ехр [ — — ре (87 — 87е)'К (М вЂ” Мс)] х 1 7ес (е, Ше) / —, ШеХ,/ ' (К(<е " есе ехр [ — —,7с (ШеХ„)х)], (7.96) где с(п, /1('о) задается формулой (7.93).
Значение ро является доверительной константой для начальной оценки Мо, так же как значение /1(о для оценки Хо. И в этом случае, используя выражение (7.96) в качестве р(0) и многократно применяя рекуррентную процедуру (7.82), получим для плотности вероятности р(М, К/Х(,..., Х)р) распределение Гаусса — Уишарта с параметрами [Киши, 19651: (1//у) ~', =г,. + [РО/А']™О 1 — 1 Лх 1-]- [11,/Л') (1//у) ~ Х,.Х; — [1+ (р„//р')) ЛХ~ЛХн+ 1-]- [М,/А) ( .(- [(8' (Лс) 8, сс (Р„!9) Ы,77~]], (7.98) (7.99) (7.100) Рл = (го+ '~ /'1(' = У, + Х. Оиенивание в случае без поои~рения. Предположим, что имеются два распределения, характеризуемые параметрамп О( и 02.
При последовательном оценивании без поощрения ставится задача последовательно оценить параметры О( и 02, предполагая, что нам неизвестны истинные распределения, в соответствии с которыми появляются объекты. Эту задачу называют также задачей обучения без учителя. Вследствие добавочной неопределенности, которую мы вводим, вычисление такой оценки оказывается более сложным.
Однако разработка этого типа методов оправдывается надеждой, что после начального ооучения с поощрением машина сможет улучшать качество распознавания без какого-либо внешнего вмешательства. Так как мы не знаем, к какому классу принадлежит объект Х)р, самое большое, что мы можем сказать,— это то, что Х„принадлежит классу го1 с вероятностью Р(гор), 1= 1, 2. Поэтому априорная плотность вероятности (7.82) принимает вид Р(Х,/Х„..., Х„,, О„О2) = 2 =с;~~ р(ХА./Хтр..., Хн 1,017 027 го() Р (го,.) = 1 — 1 2 р (Х,/Х1, ..., Х,у 1, 01, го,) Р (го,.) . 1=-1 Следовательно, если нам известны априорная плотность вероятности каждого класса р(Хь/Х(, ..., Х,.
(, Оь го() и априорные вероятности классов Р(го(), то плотность вероятностей р(Х)р/Х(, ... Х„(, 01, 02) можно вычислить по формуле (7.101), а р(Х„/Х(, ...,Хр( 1) — по формуле (7.83). Таким образом, мы получаем рекуррентное выражение для апостерпорной плотности вероятности в виде ~(е„о,/х„...,х ) = 2 р(-~Ах/Х17 ' с АЛ7 (с ~ с Е ° ) р (СО ° ) 7=1 — Р(йгс О,/Х17 ..., Х„,) . (7.102) Таким образом, процедура последовательного оценивания без поощрения (7.102) по смыслу не отличается от процедуры последовательного оценнвания с поощрением (7.82). Но из-за того, что при вычислении априорной плотности вероятности используется суммирование, свойство воспропзводимости утрачивается для всех плотностей, включая нормальную, и уже нельзя ограничиться оценкой набора параметров: мы должны иметь дело с рекуррентным оценивапием многомерных функций.
Использование всех имеющихся объектов одновременно позволяет построить более удобные для практики методы оценивапия и классификации без поощрения. Задача формулируется как задача нахождения «скоплений» (групп) данных объектов и есчественных границ этих групп без использования информации о принадлежности объектов к тому или иному классу. Эта задача будет рассмотрена в гл. 11. ЗАДАН11Е НА СОСТАВЛЕНИЕ ПРОГРАММ~1 7.1. Напишите программу последовательно генерирующую объекты в соответствии со стандартными данными 1= 1 2 при р( ~,) р(,) рб Найдите линейный классификатоР с помощью трех последовательных корректировок.
Найдите способ обнару)венин колебаний параметров классификатора вокруг устойчивого состоннин; какие объекты их создают. 232 ГЛ. 7. ПОСЛЕДОВАТЕЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ 7.2. Повторите задание 7Л для линейного классификатора применительно к задаче со многими классами. Исходные данные: стандартные данные 1 = 1, 2, 3, 4; Р(со,) = Р(ы2) = = Р(соо) = Р(со4) = 0,25. 7.3. Повторите задание 7Л, с использованием метода Роббииса — Монро. 7.4. Повторите задание 7Л длн метода Кифера — Вольфовица. 7.5. Допишите две программы ускорения сходимости для задания 7.3.
7.6. Допишите две программы ускорепия сходимости для задания 7.4. ЗАДАЧИ 7Л. Повторите примеры 7.2 и 7.3, используя а) правила полной коррекции (7.9); б) градиентное правило коррекции (7ЛО). 7.2. Предположим, что имеется шесть объектов из трех классов: (+1, О), (и, +1) из класса соь ( — 1, +1), ( — 1, О) из класса со2 и (О, — 1), (+1, — 1) из класса со..
Найдите линейный классификатор для разделения этих трех классов последовательным методом. 7.3. В гл. 4 был рассмотрев кусочно-линейный классификатор, Предложите алгоритм последовательной корректировки длн кусочно-линейного классификатора в задаче со многими классами. 7.4. Функция регрессии имеет вид 7' = 0'. Найдите корень уравнения регрессии с помощью метода Роббинса — Монро, начав последовательную процедуру с 0 = 2.
Возьмите в качестве 1-го наблюдения г = 0з+( — 0,3)', где ( — 0,3)' — аддитивный шум. 7.5. Функция регрессии имеет вид 7' = — 0'. Найдите точку максимума функции регрессии с помощью метода Кпфера — Вольфовица. Предположите, что наблюдаются величины з = — Оо + 0,3 а, где а равно +1 или — 1 и определнется подбрасыванием монеты. 7.6.
Повторите доказательство сходимости метода Роббинса — Монро для многомерного случая. 7.7. Повторите пример 7,4, используя (4.74) как в случае максимизации (4.70). Если линейный классификатор не сходится к а(х|+ х2) = 0 (а — полонсительнан константа), то какую задачу решает эта процедура.
7.8. Пусть х — случайная величина, принимающая значении +1 или 0 с вероятностнми Р и соответственно (1 — Р). Пусть у — число единиц среди Х наблюдений х. Тогда априорная плотность вероятности у при фиксированных Р и Л представляет собой биномиальное распределение /Хъс Рг (у = у/Р, Л) = ~ ) Р" (1 — Р) У Найдите последовательную байесовскую оценку Р. Кроме того, покажите, что биномиальнан плотность веронтности нвлнется воспроизводимой.
(У к»- з а н и е: начните с распределении Р (РЪо~ ~~ о) Р (1 Р) ). ! "о~ А Уо 7.9. Пусть х — нормально распределенная случайная величина с нулевым средним и дисперсией о'. Найдите последовательную байесовскую оцен«у о', полагая о~ ~в качестве начальной оценки с доверительной константой Жо. (У к а з а н и е; выборочная дисперсия с нулевым средним имеет распределение у'.) 7ЛО. Пусть х; — объект из смеси двух нормальных распределений, средние и дисперсии которых равны соответственно 0 и оо длн класса со, и т и о' для класса сом Полагая Р(сос) = Р(со2) = 0,5, найдите выражение для последовательной неконтролируемой оценки т после предънвлепин первого объекта х«Явлнетсн ли р(т/х,) нормальным? Среднее значение для класса соь равно нулю, и обе дисперсии о' предполагаютсн известнымн.
Глава 8 ВЫБОР ПРИЗНАКОВ И ЛИНЕЙНОЕ ПРЕОБРАЗОВАНИЕ ПРОСТРАНСТВА ДЛЯ СЛУЧАЯ ОДНОГО РАСПРЕДЕЛЕНИЯ До сих пор мы рассматривали методы построения классификатора для разделения объектов на два нли большее число классов в предположении, что переменные, характеризу7ощие эти объекты, уже выбраны и даны в условиях задачи. Очевидно что г 1 выоор этих переменных является важным делом и сильно влияет па построение классификатора. Если значения переменных существенно изменяются при переходе от одного класса к другому, построить классификатор легче,икачество классификациибудет выше, Поэтому выбор переменных — ключевая проблема в распознавании образов. Эту проблему называют задачей выбора (или выделения) признаков.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
