Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 29
Текст из файла (страница 29)
ОцениВАние пАРАметРОВ 170 ПРИЧОЖЬНИЕ 5 1 171 применялся С-метод и метод исключения одного объекта. Для вычисления экспериментальных средних значений и дисперсий этих оценок использовались сорок выборок объектов при Л~( = = У2 = 12, 50, 100, 200 и 400. Полученные результаты приведены в табл. 5.2. Теоретическая вероятность ошибки ве для этого Таблица 52 Обратная матрица л',.2,—.' (х, — и,.) (х, й,)т х-.' (ю, — 1) — л'Я (х,) Оцеииваиие ошибки (Х, ЛХ,) 2-,.„1 (Х, ЛХ.,) Метод исключения одного объекта С-метод Число объектов каждого класса № =)~( ° Невязка между двумя средними, ов среднее, и среднеквадратичное отклонение, И среднее, '1е среднеквад- ратичное отклонение, о~ Л' — 1 Ж вЂ” 1 (Л' — 1)а — Ю22 (Х ) примера равна 1,9% (см. табл.
3.3). Из выражения (5Л80)' видно, что различие в оценках отношения правдоподобия, вычисленных двумя разными методами, пропорционально 1/Х Анализ данных табл. 5.2 показывает, что смещение между двумя оценками вероятности ошибки уменьшается приблизительно пропорционально 1/У, а среднеквадратичное отклонение опорок вероятности ошибки уменьшается как 1/У"2. Однако этому результату нет теоретического обоснования. 1~ 1= ', 1211 ПРИЛОЖЕНИЕ 5Л Вычисление систематической ошибки между С-методом и методом исключения одного объекта Доказательство соотношения '(5.175) разобьем на три части: вычислим отдельно квадратичные члены выражения (5.174), слагаемое, содержащее определители, и член с априорными вероятностями.
1. Вычисление квадратичных членов. Перепишем оценку ковариационной матрицы (5.171) следующим образом: (П5.1.6) (П5 1.1) 12 50 100 200 400 0,21 1,22 1,44 1,56 1,83 1,3 0,9 0,8 0,7 0,5 18,54 2,97 2,15 2,00 1,97 7,6 1,7 1,0 0,7 0,5 18,33 1,75 0,71 0,44 0,14 (П5 1.2) где 3; (Х») определено в (5.177). С учетом '(5.169) квадратичная форма примет вид =~, ',) (х,-м)'х;„'(х,-м,) (Ю',.— 3Лг +1) ~,'(Х ДЛ 1)+))(.~Ф(Х ) 2. Вычисление члена, содержащего определители. Используя выражение (П5.1.1.), определитель матрицы 2;„можно вычислить следующим образом: (аг 1 ~ ~'~ (Х» М~) (Х» — ЛХ;) (П5.1.4) Пусть Л) Лг Л собственные чиста матрицы Х( (Х вЂ” М~) (Х» — ЛХ;)'.
Тогда последний определитель в (П5.1.4) будет равен ',,х —,.'(х,— м,)(х, м,) П, ~' -,) (Ю,-1)2 ~ (П5.1.5) Ранг матрицы [(Х» — ЛХ;) (Х» — ЛХ ) 1 равен 1. Ранг матрицы ъ~ ЛХ') (Х» — ЛХ;) также равен 1. Поэтому собственные значения Л~ долж ы удовлетворять следующим условия Л(тОфЛ~=Лз ° °,=Лл — 0 я Х Л, = Л,=1г~2, (Х,— М,.)(Х„М,)] (Х» М4) ~г (Х» — ЛХ() = д; (Х»).
(П5.1.7) злдле1не нл состлВление НРОРРАмм 172 Гл. ь. ОценнВАние НАРАметРОВ 17З Используя к виду эти результаты, преобразуем выран»ение (П5.1.5)' Из выражения (П5 1.4) получим Л» — 1 1п ~2»а~= 1п ~Х»[+п1п ', [-1п 1 2 1)2»»» (Ха) (П5.1.9) 3. Вычисление члена, содержащего априорные вероятности. Если предположить, что Х, ~ »о„то из выражений (5.172) и (5.173) получим Л,— 1 Л, л Л,— 1 /ч Л,— 1 Р" ("') = л~' — 1 1ч' л — 1 '~ч = (~») л — 1 ~ч Кроме того, Р» (»о.») = л» 1 — л» л» 1 Р(»о,») л» 1. ' Ф/» (П5 1 11) поэтом У Р (»о ) Р (»о.) Лр. — 1 Р.
(;) Р(" ) Соотношения (П5.1.3), (П5.1.9) и (П5.1.12) определяют все члены выражений (5.175) и (55176). Тем самым доказательство завершено. (П5.1. 12) С другой стороны, из выражения (5.176) получим д~ 1 [(Л'» — ЗЛ'»+ 1)/(/Ч, — 1)1+ 2ЛР»»», й2» 2 (/ч, — 1)2 — л.32. 1 [[(лЛ вЂ” зл',+1)/(/ч,— 1)~ »,'+ л 24] л» 1 — л /()ч, — 1)2 2 [(Л» — 1) -/Ч 12]2 2 1 — р /р — 1)2)22 Л~ »» + Лр. (2Лг~ — 3/Ч +2)»12 — (Лр 1) (2Л' — 1) [(Л» 1)2 Л» б(2] 2 4. Доказательство неравенства ф( ° ) ) О в (5.176). Предположим, что»т'» ) 2. Определитель [Х»,~ в (П5.1.4) дол'кен быть положительным, так как Х», является выборочной ковариационной матрицей, которая положительно определенная. Поэтому определитель (П5.1.8) также будет положительным, т, е.
1 — [Х»/(Х» — 1)'] 3~ (Ха) > О. (П5.1.13) В Член д~/дд; равен нулю, когда д, = 1//Ч» или [,ЗХ; — ЗХ~ + Н»)/Н». (П5.1.15) Второе решение в (П5.1.15) не удовлетворяет условию (П.5.1.13)'. 2 2 Так как при А = О д и д~/дА являются соответственно положительной и отрицательной величиной, то первое решение (П5.1.15)' соответствует минимальному значению ~, которое имеет следующий вид (для Х» ) 2): 1 [(»Чз — 3-'Ч, 4-1)/(»Ч» — 1)1 + 1 1 / 1 л',. [(,ч,. — 1)2 — 11 2 ~ (л', — 1)'» +, 1п/1,,'+ лд и Л» — 1 + 1п» + 1п —,' »Ч — 1 2 Л' — 2 (П5.1 16) Неравенство (П5.1.16) выполняется, так как числители второго и третьего членов больше, чем соответствующие знаменатели.
ЗАДАЕ1ИЕ НА СОСТАВЛЕНИЕ ПРОГРАММ Составьте программы для реп»ения следующих задач. 5.1. Генерирование М выборок по Л» объектов в каждой. Вычисление М выоорочных векторов средних значений и ковариационных матриц. Изучите зависимость дисперсии полученных оценок от Л и М. Исходные данные: стандартные данные» = 1. 5.2. Вычисление доверительной области для математических ожиданий и дисперсий отдельных переменных в случае нормального распределения. Изучите соотношение между Л», а, Ь и 1 в выра»1»ениях (5.89) и (5.93), Исходные данные: стандартные данные» = 1.
53. Верил иооеоолоибл определ еео руопе~„ее, ) р»б~и ~ЛЕ, ( Вычислите доверительную область дли» при данном е с помощью поряд новых статистик. Генерируйте М выборок по /Ч объектов в 1»ах»дой и подтвердите экспериментально приведенный выше результат. Исходные данные: стандартные данные» = 1. 5.4. Табулирование и исследование зависимости толерантных пределов (у;, у,) от Л, р и 7 (см. (5.117)). Генерируйте М выборок по Л' объектов в каждой и подтвердите экспериментально полученный выше результат. Исходные данные: стандартные данные» = 1.
5.5. Генерируйте по Л» объектов из двух распределений. Используйте еХ)Ч объектов для вычисления выборочных векторов средних значений и ковариационных матриц. На основе этих оценок синтезируйте байесовский классификатор. Затем испытайте (1 — г)Л» объектов для оценки вероятности ошибки. Повторите тот же эксперимент для различных выборок из Л» объектов и изучите зависимость между г и дисперсией оценки вероятности ошибки. Исходные данные: стандартные данные» = 1, 2. ГЛ. м. ОЦЕНИВАНИЕ ПЛРЛМВТРОВ 174 9 6.1.
Оценка Парзена 5.6. Оцените вероятность ошибки С-методом и методом исключения одного объекта. Исходные данные: стандартные даиные 1 = 1, 2. ЗАДАЧИ 5Л. Предполагая, что из распределения извлекается )Ч объектов. найдите оценку максимального правдоподобия величины р, где Рг(х = 1) р и Рг(х = О) 1 — р. 5.2. По выборке из )Ч объектов в случае одномерного нормального распределения найдите оценку максимального правдоподобия дисперсии. 5.3.
Пусть о2 — выборочная дисперсия, подсчитанная по Х объектам Найдите нижнюю границу (границу Крамера — Рао) дисперсии Ф. 5.4. Постоянный сигнал Я посылается по каналу связи, характеризуемому коэффициентом усиления й и аддитивным нормальным шумом с нулевым средним и дисперсией и'. Принимаемый сигнал х = 1сг+ и. На основе.
)Ч наблюдений сигнала х: а) найдите оценку максимального правдоподобия коэффициента усиления й, предполагая, что й — постоянная величина; б) найдите оценку максимума апостериорной вероятности коэффициента усиления Й, предполагая, что Й имеет нормальное распределение со средним йе и дисперсией по. 5.5. Для задачи 5.4б, найдите оценку коэффпцнента усиления Й методом наименьших квадратов (Указанне: функция р(хь ..., х,~/7с) р(1р) является относительно й плотностью нормального распределения, математическое ожидание которого совпадает с оценкой коэффициента усиления /с„ полученной методом наименьших квадратов).
5.6. Для той же задачи 5.5 найдите нижнюю границу среднеквадратичиой ошибки. 5.7. Предположим, что х„..., х~ и у,,..., ун — выборки из двух независимых распределений. Дисперсии этих распределений известны и одинаковы. Найдите уравнение для доверительного интервала величпнрл т~ — тр, где т; — математическое ожидание класса 1, 1 = 1, 2. 5.8. Найдите наименьшее Х, при котором существует доверительная область Рг(у, ( $ <у~) = 0,99 для квантиля $ порядка р, где у1 и ууу— наименьший и наибольший объекты среди Х объектов. 5.9. Найдите наименьшее Х, обеспечивающее толерантный предел Рг(Р(уру) — Р(у~) ) р) = 0,95, где у~ и у~у — наименьший и наибольший об ьекты среди Х объектов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
