Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 30
Текст из файла (страница 30)
5.10. Предположим, что плотность вероятности оценки е, определенной по формуле (5Л21), можно аппроксимировать нормальным распределением неизвестным математическим ожиданием е и известной дисперсией. е(1 — е)/Х. При Х = 250 и е = 0,2 найдите доверительный интервал для в при 7 = 0,95 и сравните результат с результатом, приведенным на рпс. 5.2. 5.11. Получите выражение (5Л75) из решающего правила (5Л74) в одномерном случае. 5Л2. Для двух нормальных одномерных распределений с математическими ожиданиями т~ и т2 и равными дисперсиями а' постройте процедуру испытания вероятности ошибки н дайте геометрическую интерпретаци|о этому правилу.
Найдите коэффициент отклонения как функцию порога 1. Глава 8 ОЦЕНИВАНИЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ До сих пор мы рассматривали задачу оценивания параметров. Так, например, если можно предположить, что плотность вероятности определенным образом зависит от параметров, то можно построить классификатор, используя оценки этих параметров. К сожалению, вид плотности вероятности часто заранее неизвестен, и для того чтобы применить критерий отношения правдоподобия, мы должны как-то оценить плотность вероятности, не зная аа отруктуру. В этом оаучаа говорят онапаоаметзкчаанон оценивании, в то время как прежний подход называют паваметрическим оцениванием.
Поскольку число параметров при параметрическом оценйвании обычно гораздо меньше, чем число объектов в выборке, непараметрические методы оценивания более сложны, чем параметрические. Непапаметпцчесипа пцаиииание плотности вероятности означает, по существу, оценивание функции нескольких переменных. Соответствующие методы могут использоваться даже тогда, когда полностью отсутствует априорная информация о плотности вероятности.
Однако в тех случаях, когда такая информация имеется, рекомендуется с самого начала приписать оцениваемой плотности вероятности подходящий вид. Например, если какимто образом установлено, что данные сгруппированы около нескольких мод, то можно постулировать, что плотность вероятности представляет собой взвешеннуто сумму нормальных плотностей вероятности. Таким образом, непараметрические методы, представленные в этой главе, лучше работают' в тех случаях, когда имеется мало информации о цдптщитж,всроятностп.
6.1.1. Класс оценок плотности вероятности. Для простоты рассмотрим сначала оценивапие одномерной плотности вероятности ) Парзен, 1962]. Многомерный случай можно рассмотреть аналогичным образом, и это будет сделано ниже. !77 $ 6.1. ОЦЕНКА ПАР,[ЕПА $7б ГЛ. 6, ОЦЕНИВАНИЕ 11ЛОТИОСТИ ВЕРОЯТНОСТИ Пус1ь х], ..., х]у — независимые и одинаково распределенные наблюдения некоторой случайной величины. Оценку функции распределения вероятностей легко получить следук)щим образом: Р„(х) = (число наблюдений среди х[, ..., х„, таких, что хй ~ ( х)/Ж. (6.1) Выражение Р]у(х) является дискретной случайной величиной, имеющей биномиальное распределение Рг [Р)Й[ (х) = /с//1/] = Р (х)" (1 — Р (х))~ ~, (6.2) й / где Р(х) — истинная функция распределения вероятностей случайной величины х.
Как было показано в (5.121), выран'ение (6.1) является оценкой максимального правдоподобия функции распределения вероятностей Р(х). Математическое ожидание и дисперсия оценки Р„(х) определяются следующим образом: Ж Е [Р, (х)[ = ~ (/с/Х) Р(х) (1 — Р(х)) = Р(х), (6.3) [;=о /с Х Уаг [Рн (х) [ = ~ ((/с//у') — Р (х) )' Р (х)'(1 — Р (х) Г )с=О с = [Р(х) (1 — Р(х))]/Л'. (6.4) Следовательно, Р]у(х) является несмещенной оценкой. Оценка плотности вероятности не может быть получена столь сже легко. Поскольку плотность вероятности определяется обычно как производная от функции распределевия вероятностей, то ео оценку можно записать следующим образом: р]у (х) = [Р]у (х + Й) — Р]у (х — Й) 1/(2Й), (6.5) где Ь вЂ” некоторое положительное число.
Неясно, однако, каким именно должно быть это число в каждом конкретном случае. Очевидно, что число Й должно быть функцией числа наблюдений, причем Й должно стремиться к О, когда Устремится к оо. Но как быстро функция Й(Ж) должна стремиться к О? Для того чтобы ответить на этот вопрос, необходимо исследовать статистические свойства оценки (6.5).
Равенство (6.5) можно переписать следующим образом: х+гг оо р, [х) = [2Й) г ~ 6Рх[г)=1[1)й)й[[х — 1)]й]6Р, [ ) =- х — гу оо = (1/У) ~~ (1/Ь) /с [(х — х;)/Ь], (6.6) 1=1 где (6.8) (6.10) (6.11) 1/2 лри [у//г[ =.1, О р ]у/Ь] > 1. Заметим, что оценка (6.5) представляет собой частный случай оценки (6.6), нри которой /с(у/Й) определяется формулой (6.7); для того чтобы связать оценку Р]у(х) с оценкой р,(х), могкпо было бы выбрать и другую зависимость /с(у/Й). Таким образом, мы приходим к более общей задаче — задаче выбора функции /с(у/Й) и числа Й.
Величину (1/Й) /с(у/Й) будем называть ядром оценки. Оценка (6.6) является асимптотически несмещенной и состоя- тельной, если функция ус(у/Й) и число Й удовлетворягот сле- дующим условиям (доказательство будет приведено ниже). 1.
Условия для /с(у/Й): +хо +оо й[у))г) уу,'Й = ~ )с[г) Нг = 1, +оо +ос ) [й[у)Й)[уу)й = ] [й[г) ]с]г ( со, (6.0) впр [/с(у/Ь) ] = впр ]/с(з) ] < оо, ° — оо < у /[г <+ оо — оо ( г (+ оо 11пг ] (у/Й) /с (у/Й) [ = 11пг [ з/с (з) ] = О. У/)1-гоо г — г оо 2. Условия для Й(Ж): 11гп Й (/1)) = О (условие асимптотической несмещепности), гй[-г ос (6.12) ]ип /'у'Й (/'у') = оо (условие состоятельности). (6.13) Существует много ядер, удовлетворяющих условиям (6.8)— (6.11). Примеры таких ядер приведены в табл.
6.1. Па рис. 6.1 показан результат оценивапия плотности вероятности с исполь- зованием нормального ядра. 6.1.2. Доказательство асимптотической несмещенности и со стоятельности. Покажем теперь, что при выполнении условий (6.8) — (6.13) оценка (6.6) является асимптотически несмещенной и состоятельной. Вычислим математическое ожидание оценки (6.6): +ос Е [р„[х)) = Е[[1)й) й [[х — х))й]) = ) [1))г)й [[х — г))й] р[с) 64 = +оо [1)й) й [у)Й) р [х — у) с]у. [6.14) $6.1. ОЦЕННЛ ПАРЗЕНА 178 3 т 3 су Ц уг га су г з з с'а ! ус г1г с'4 з ч 3 д ха з ~ з — О з (р (х — у) — р (х) ) (1 гЬ) Ь (у)Ь) г(у 8 + н 8 8 + ! Ф' ~~с 8 8 + ! 3 ~~4 ГЛ. 6. ОЦЕП11ВАНИЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ Для доказательства асимптотической песмещенности нужно показать, что +со +со 11т ~ (1,Ь) Ь(у)Ь) р(х — у) г(у = р(х) ) Ь(у)Ь) г(у)Ь (6.15) )Ы-а«о — ОО для любых й(у/й), которые удовлетворяют условиям (6.9) — (6.11).
Тогда в силу условия (6.8) получим 11п1 Е [Р„(х)~ = Р(х). (6. 16) Для точек, в которых функция р(ь) непрерывна, равенство (6.15) доказывается следующим образом. Пусть б — положитель- Рис. 6.1. Аппроксимация плотности вероятности суммой нормальных ядер (у) р(х); б) (Ф1г) 1 )1$(х — х;)1г]. ная константа. Разделим область интегрирования на две части; ~у~ ( б и ~у~ ) б. Тогда (тах(р(х — у) — р (х)) ( )Ь (г)) г)г -)- !И<б ) 1~(б/1г + ) ()р(х — у)(г(у()() у(гЬ))Ь(у))г)(г)у+ )у(>б +) р (х) ) ~ (1(Ь) (Ь (угЬ) )г(у( )у(>б (тах ( р (х — у) — р (х) ) ) (Ь (г) () г)г -)- )у((б + ((гу) .«р (*Ь(г)( ) )р (у)(г)у+ )р (*)) ) (Ь(.))г)г. (Ь111 (1))бай «х (гЬ б!)) ~ео ГЛ. б.
ОЦЕНИВАНИЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ ~ ВЛ. ОЦЕНКА ПАРЗЕНА Когда Х-»- оо, в соответствии с (6.12) Й(Х) -«-О. Из условий (6.9) — (6.11) следует, что второй и третий члены выражения (6Л7) также стремятся к нулю. Полагая б -»- О, видим, что и первый член выражения (6.17) также стремится к нулю. Таким образом, равенство (6.15) „доказано. Асимптотическую несмещепность можно увидеть также и из частотного анализа. Поскольку выражение (6.14) является интегралом свертки от р (х) и (1/Ь~/г(х/Ь), характеристические функции р(х), (1/Ь) /с(х/Ь) и Е (р„(х) ) связаны следующим образом: г]) [ Е (р (х) ) Я = г[) [ (1/Ь) 7с (х/Ь) ) гр [р (х) ].
(6Л8) Поэтому, для того чтобы 1[гп гр[Е (р (х))1= ср(р (х)1! характеристическая функция г]) [(1/й) »6(х/Ь) ) = К(Й»»») должна стремиться к 1, когда число наблюдений А)'-»- оо. Выражение К(Ь»»») представляет собой характеристическую функцию /г(г), Это можно видеть из табл. 6.1, где все функции К(Ь»»») стремятся к 1, когда Ь(Ж) -»-О. Вычислим теперь дисперсию рассматриваемой оценки Уаг ~ р„(х)~ = Е ( р7, (х) $ — Е' (р,„(х)). (6.19) Подставляя (6.6) в (6.19) и используя условие независимости случайных величин х», выражение (6.19) можно переписать следующим образом: Уаг[р„(х) 1 = (1/Х) [ Е((1/Й') й~[(х — х)/Й|)— — Е '((1/Ь) /с [ (х — х) /Ь|) 1.
(6.20) Из (6.15) имеем !!тЕ((1)Й))с!(х — х))Й)) = р(х) ! )с(г) с)г = !с(х), (6 21) +ои Е((1)Й) Й'((х — х)!Й)) = р(х) ] Йг(,) 8г »!).» оо оо так ка((, если к удовлетворяет условиям (6.9) — (611) „Й2 удовлетворяет этим условиям. Подставляя (6.21) и (6.22) в ,(6.20), получаем !!т тсаг [рл(х)]=1ст (ЖЙ) р(х) )( )сг(г)уг — )ст' (1)Йс)рг(х)= Ю- 'о Ю-еоо ()) .» оо +оо = )!т (суй) 'р (х) ) Й' (г) Ыг. (6.23) Ж.» оо Из условий (6.9) — (6.11) следует, что интеграл 1/г'(г)ах ограничен.
Поэтому выражение (6.23) равно нулю, если 1[п» УЬ(Х) =- оо. (6.24) Таким образом, мы получили условие состоятельности. Значеиии интеграла 1Йг(г)уг, характеризующие ееличииу лиелереии, приведены в табл. 6.1. Как видно из (6.6), оценка плотности вероятности р)у(х) является суммой Х случайных величин (1/Ь) Рс[(х — х»)/Ь]. Поэтому при определенных условиях р)р(х) стремится к нормальной плотности вероятности, когда»»' -»- оо. Детальное рассмотрение этого вопроса приведено в [Парзеп, 19621.
6Л.З. Равномерная сходимость и оценивание моды. В этом разделе мы найдем условия, при которых оцениваемая плотность вероятности сходится по вероятности к истинной плотности равномерно по х. Кроме того, при этих же условиях оказывается возможным получить состоятельные оценки моды. Условия равномерной сходимости формулируются следующим образом. Теорема. Если функция Ь (У), кроме условия (6.12), удовлетворяет условию 1'ип ХЬ'(У) = оо (6.25) -и характерис'гическая функция К(Йи) = [ ехр(!иу)Й(у)Й) (1)Й)уу (6.26) величины (1/Ь) к(у/Ь) абсолютно интегрируема (следовательно, плотность вероятности р(х) равномерно непрерывна), то для любого в ) 0 )!т Рг( алу [Рл(х) — Р(х) [> а[ =. О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
