Дуда Р., Харт П. - Распознование образов и анализ сцен (1033979), страница 18
Текст из файла (страница 18)
в е')(гЕ Ттапвасг(опв оп Е1ес(топ(с Сотри1етв. Общая процедура использования некоторых выборок для построения и резервирования запаса для контроля часто называется удерзсанием или О-методом. Исследования Хайлимана (1962) указывают на необходимость чрезвычайно большого числа пробных выборок, однако Кенал и Чандрасекаран (1968) показали, что анализ, по существу, и предназначен для случая многих выборок. Проведенное Лахенбруком и Миккей (!968) исследование методом Монте-Карло явилось свидетельством превосходства метода поштучного исключения, который они назвали (т'-методом.
Хотя при применении этого метода и требуется и-кратное построение классификатора, они показали, что по крайней мере в случае нормального распределения работа, связанная с повторным обращением коварнационных матриц, может быть значительно уменьшена посредством применения тождества Бартлетта (см. задачу 10).
Введенные Фукунагой и Кесселем (1971) простые и точные формулы свидетельствуют о том, что дополнительных расчетов в этом случае требуется совсем немного. СПИСОК ЛИТЕРАТУРЫ Абенн, Карли (Аьепб К., Наг!еу Т. Я., ег.) Сопопеп1в 'Оп Спе гпеап ассшасу о! в1а! !гпса! рапегп гесокп!гегв', !ЕЕЕ Ттипв.
)и)о. Тьеоту, !Т-16, 420 — 421 (Мау !969). Абрамсон, Браверман (АЬгагпвоп Ы., Вгакеппап Р.) Ьеагп!пд 1о гесокпце рапепп !п а гапбот епн!гопгоеп1, !КЕ Тгапв. !п)о, Тавоту, !Т-8, 668 — $63 (эергетьег 1962). Аоки (Аок( М.) Оп косое сопкегяепсе Чиевиопв ! п Вауеыап ор1пп1 аа1! оп ргоыегпв,! ЕЕЕ Тгапв, Анто. Сапего!, АС-Ш, 180 — 182 (Арг!! 1965). 92 Гл. 3. Оценка ларалепгрое а сбу«мнае с учителем Байснер (Ве!»пег Н. М.) А гесигь!че Вауеь)ап арргоасЬ 1о раИегп гесодпИ!оп, Райетл $2есоул!11ол, 1, 13 — 31 (Ли!у 1968). Браверман (Вгачеппап О.) Ьеагп!пб $!Иегь (от орИшшп раИегп гесобпИюп, 1ЙЕ Телль. 1л)о.
Т)могу, 1Т-б, 280 — 285 (Ли1у 1962). йжайнес (Лаупеь Е. Т.) Рг!ог ргоЬаЬИИ!еь, 1ЕЕЕ Телль. 5уь. Зс!. СуЬ., 556-4, 227 — 24! (5ер1ешЬег 1968). Л(мякин Е. Б. Необходимые н достаточные статистики для семейства распределений вероятностей, УМН, 6:1, 68 — 90 (1951). Кенал, Рендал (Капа! 1.. М., ИапдаИ ЬЬ С.) ИесобпИгоп ьуь(еш беь!йп Ьу ь1аИЫ!са! апа!уь(ь, АСМ, Ргос. 19И! Ь)а1. Соп1., рр. $)2.5-1 — $32.5-!О (Аибш1 1964).
Кенал, Чандрасекаран (Капа! Ь. !ч., СЬапбгаьейагап В.) Оп сйшепяопа!Иу ап«$ ьашр1е яте 1п МаИьИса! раИегп с!аььИ!саИоп, Ртос. )ЛЕС, 24, 2 — 7 (1968); аВо 1п РаIтегл ЛесоулШол, 3, 225 — 234 (Ос1оЬег 197!). Кин (КееЬП О. С.) А по$е оп 1еагп!пб 1ог баиьь!ап ргорегИеь, 1ЕЕЕ Тгаль. 1лто. Тлеоту, !Т-11, 126 — 132 (Лапиагу 1965). Ковер (Сочег Т, М.) Оеоше(г!са! апд ь(аИ»Ига! ргорег1$еь о$ ьуь1ешь о$1$пеаг $ пей ив! И!еь чЛй аррИ- саИопь !п раИегп гесобпй!оп, 1ЕЕЕ Тталь. Е(тс. Сотар., ЕС-Н, 326 — 334 (Липе !965).
Лейннотис (Ьа!п!оИь $7. О.) 5е«$иепйа! ьйис1иге ап«$ рагаше(ег-адар$гче раИегп гесойпй)оп — раг1 1: ьирегчбеб 1еагп!пб, 1ЕЕЕ Тталя 1л)о. Тлеоту, $Т-16, 548 — 556 (5ер1ешЬег 1970). Лахенбрук, Миккей (1.асЬепЬгисЬ Р. А., М!сйеу М. И.) ЕЫ!тпаИоп о1 еггог га1еь !п дыст!пипап1 апа1уяь, Тесдлоам1тьсгч 1О, 1 — !1 (РеЪ- гаагу !968). Леман (1.еЬшапп Е. Ь.) Теь1!пб Яа1!»Иса! Нуройшеь (Лоби угтйеу, $«(еьч готй, 1959). Олейс (АИаВ $$. С.) ТЬе ргоЫеш о(1оо шапу шеаьигешеп(ь !п раИегп гесобпй!оп апб рта!сИОп, 1ЕЕЕ !лт.
Сол, Лес., Раг( 7, 124 — 130 (Магсб 1966). Спреджинс (5ргаб!пь Л.) А по(е оп 1Ье ИегаИче аррИсаИоп о$ Вауеь' ги1е, IЕЕЕ Тгаль. 1л(о. Т)моту, 1Т-11, 544 — 549 (Ос1оЬег 1965). Сэвидж (5ачаде 1.. Л.) ТЬе РоипдаИопь о$ Яви!са!!п$егепсе (Мейиеп, Ьопдоп, 1962). Уилкс (уьтй(гь 5. 5.) Ма1Ьешайса! Яа1ой!сь (Лоби !Уйеу, Меьч Уогй, 1962), (Русский перевод; Математическая статистика, М., «Наука», 1967.) Фукунага, Кессель (Гийипаба К., КешеИ О.
1..) Рл1ипайоп о1 с!аььй!саИоп еггог, IЕЕЕ Тенты. Сошр., С-20, 1521 — 1527 (ОесешЬег 197!). Хайлиман (Н$8Меушап %. Н.) ТЬе деь!бп апд апа!уьВ о! раИегп гесойшИоп ехрегипепбц Бей Зуьтетл Тесйлтсат Лоатла!, 41, 723 — 744 (Магсб 1962). Хоул (Ное! Р. 1Ь) 1п1гобисИоп о$ МайешаИса! 51а$ий!сь (Рош1Ь Ебй!оп, ЛоЬп байеу, 5!ею Той, !97!).
Хугс (НийЬеь О. Р.) Оп 1Ье шеап ассигасу о1 ь1а1нй!са! райегп гесобп!теть, IЕЕЕ Тенты. 1л1о. Тлеоту, 1Т-14, 55 — 63 (Лапиагу 1968). Задачи Чаидрасекараи (Сйапбгаьейагап В.) 1пберепбепсе о1 юеаьпгетпеп(ь ап61)ге юеап гесодпгВоп асспгасу, 1ЕЕЕ Тгааж 1л)о. Тйеогу, 17-17, 452 — 456 (Ло!у !971).
Чандрасекаран, Харли (Сйапбгаьейзгап В., Наг1еу Т. Л., Лг.) Сопппепи 'Оп 1Ле гпеап асспгасу о1 ь1аНьНса1 раНегп гесойп!гегз', 1ЕЕЕ Тгалж 1л)о. Тйеогу, 1Т-15, 421 — 423 (Мау 1969). Чен (Сйеп С. Н.) А 1)!еогу о1 Вауеыап !еагп!пй ьуь(егаь, !ЕЕЕ Тгаль. 5уь. 5с!. СуЬ., 88С-5, 30 — 37 (Лаппагу !969). Чин, Фу (С)г!еп У. Т., Гп К.
8.) Оп Вауеыап !еагп!пй апб ь1осйаьНс арргох!гпа1!оп, 1ЕЕЕ Тгаль. 5уь. 5с!. СуЬ., 886-3, 28 — 30 (Лопе 1967). Задами 1. Пусть величина х распределена по зкспоненциальному закону: ~ Ое-ах, х в О, р(х~0) = ! в остальных случаях. а) Изобразите зависимость р(х)8) от х для постоянного значения параметра 6. б) Изобразите зависимость р(х(8) от О, 6)0, для постоянного значения х. в) Предположим, что независимо получено л выборок х„..., х„в соответствии с р (х!6).
Покажите, что оценка по махсимуму правдоподобия для 0 определяется выражением 1 в= л — ~~~ хь ь=! 2. Пусть величина х распределена равномерно: 1 р(х)а)= 6 О(х(0, О в остальных случаях. а) Изобразите зависимость р(хь(0) от 0 для некоторого произвольного значения х,. б) Предположим, что независимо получено л выборок в соответствии с р (х!О). Покажите, что оценка по максимуму правдоподобия для 6 есть гаах хь. й 3. Пусть выборки получаются последовательным независимым выбором состояний природы юг с неизвестной вероятностью Р(ы ), пусть га — — 1, если состояние природы для й-й выборки есть ып и ха=0 в противном случае.
Покажите, что и что оценка по максимуму правдоподобия для Р (ыд есть 94 Гл. 8. Оценка параметров и обучение с учителем ч. Пусть х есть бинарный (О, 1) вектор с многомерным распределением Бернулли л Р(х!~)= П~~! (! — б!)' "!> с ! где 9= (бг, ..., Ое)! — неизвестный параметрический вектор, а Ог — вероятность того, что хг=!. Покажите, что оценка по макскмуму правдоподобия для В есть 1 9= — ~» х„. е=! б, Пусть р(х!Е) М()ь, Е), где р известно, а Х неизвестна. Покажите, что оценка по максимуму правдоподобия для Е определяется выражением 1 Х = — „~ ' (х„— )а) (ха — )а)г, а=! последовательно выполняя следующие действия: а) Докажите матричное тождество а гАа=!г(Ааа!), где след !гА есть сумма диагональных элементов матрицы А.
б) Покажите, что функцию правдоподобия можно записать в виде р (Х„..., Х„! Х) = —, ~ Х ! (пге Х (2н)ле»э и хехр — -(гЕ з~~»' (ха — )ь)(ха — )ь)! . а=! в) Полагая, что А=Е -»2 и Лз, ..., Л,! суть собственные значения матрицы А, покажите, что это приводит к выражению (2 )веге (е (л!е !' андр[ — 2 (Л,+... +Л~)). г) Завершите доказательство, показав, что максимум правдоподобия достигается прн Л»=...=Хе — — !. б. Предположим, что р(х!)ьь Х, ы!) й!()ьь Х), где Š— общая коварнационная матрица для всех с классов.
Пусть и выборок х,, ..., х„извлекаются обычным путем, и пусть 1„..., 1„— их индексы, т. е. 1а=», если состояние природы для х» было ы!. а) Покажите, что р (х„..., х„, („..., („~ )ь„..., )а, Х) = ч Ц г ( га) ! л е„ехр~ — 2 ~ (хе — )ь»ь)'Х-'(ха — )а, ) а=! б) Используя результаты для выборок из одного нормально распределенного семейства, покажите, что оценкк по максимуму правдоподобия параметров р; и Х определяются выражениями ~ ха ! =! а ("» )ьга) ("а — )ьга) ° 1 ! 7.
Рассмотрите задачу обучения при восстановлении среднего значения одномерного нормального распределения. Пусть не=оЧоо есть догматизм, и представим, что ре образуется посредством усреднения пе вымышленных выборок ка, 9= †ле„ ..., О. Покажите, что выражения (23) и (24) для р„ и оз даот ! и„= — и ~~!' ха и+и, а=-зз+! а оз гг = —. л+и,' Воспользуйтесь полученным результатом для интерпретации априорной плотности р (р) дг (ра ое).
8. Докпките матрнчное тождество (А '+В ') '= А (А+В) 'В=В(А+ В) 'А, где А и  — невырожденные матрицы одного порядка. Воспользуйтесь получен- ным результатом, чтобы доказать, что соотношения (31) и (32) на самом деле сле- дуют из (28) и (Ю). 9. Пусть выборочное среднее ш„и выборочная ковариационная матрица С„ для множества и выборок хг, ..., х„определяются выражениями 1 тз=-„,'Г к, а=! С„= — „, ~ (д„— нт„) (д„— ит„)!. 1 а ! Покажите, по влияние на эти величины добавления новой выборки х„+! можно выразить рекуррентными формулами 1 гм„+ ! —— гтз„+ —, (х„„— гтт„) и+ С„„= — „С, + „—, (х„„— г!т„) (д„, — !тт„)'.
и — 1 1 10. Выражения из задачи 9 позволяют вводить поправки в оценки коварна. ционных матриц. Однако нередко представляет интерес обратная ковариацион. ная матрица, а ее обращение отнимает много времени. Доказав матричное тож- 96 Гл. 8. Оценка ларпиетрое и обучение с учителем дество (А+хх')-'= А-'— !+к!А-'х и используя результаты, полученные в задаче 9, покажите, что С,, ~ (х„.„— ан) (х„е, — а„)г Сн ~ с,,' =„1, с„-' ле — ! г -1 — +(х„е,— а„)гС,, (х„+,— а„) 11. В данной задаче ставится цель,"получить байесовский классификатор для случая многомерного распределения Бернулли.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
