Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 25
Текст из файла (страница 25)
Доверительная область. Рассмотрение этого вопроса начнем с оценивания математического ожидания т одномерного нормального распределения с известной дисперсией п2. Оценка выборочного среднего значения гп, определенная по У наблюдениям, является случайной величиной, имеющей нормальное распределение с математическим ожиданием т и дисперсией п2/У, т. е.
1 (т — т1~1 р (т/тн) =, „, „„ехр ~ —,, ~. (5.77) Поэтому, когда в соответствии с этим распределением извлекается большое число выборок по У объектов и вычисляются оценки гп, то около 95% значений гп будет находиться в интервале между т — 2о/Ж"2 и т+ 2о/У"2, т.
е. Рг [т — 2о/У'/' < п1 < т + 2о 'У'/'[ = т+2о/Р(1/2 ~~я)'/' о/~'Я ро 2 о/Р( 1/2 ат =- 0,95. (5.78) Выражение (5.78) можно переписать следующим образом: Рг(ш — 2о/У'" ~ т ( т + 2о/ЖН2) = 0,95. (5.79) Это вырахсение читают так: «вероятность того, что случайный интерваЛ (п1 — 2о/Ж"2, гн + 2О/У "2) содер."кнт математическое охсидание т, равна 0,95». Этот случайный интервал называют 95~о-ным доверительным интервалом для неизвестного параметра т. Величины 0,95, п1+ 2О/У"~ и ш — 2а/А/'" представляют собой соответственно коэффициент доверия, верхний и нижний доверительные пределы. Из этого примера следует, что для того, чтобы определить случайный интервал с заданным коэффициентом доверия, необходимо знать плотность вероятности оценки и проинтегрировать ее, как это сделано в (5.78).
Аналогичным образом можно ввести доверительные интервалы в случае многих параметров. Снова предположим, что распределение наблюдаемых объектов Х( — нормальное с неизвестным вектором математического ожидания М и известной ковариационной матрицей Х; выборочный вектор среднего значения М также имеет нормальное распределение с вектором математического ожидания М и ковариационной матрицей Х/У. Поэтому 5 ь.з. ИнтегвАльное ОцениВАние $49 ГЛ, 5. ОЦЕНИВАНИЕ ПАРАМЕТРОВ Рг(а($ (б(= ~р(ЦИ3= рр а (5 88) или Д2 УтУ (5.83) Рис. 5.1. Многомерная доверитель- ная область. имеет ~2-распределение с (5,92) или плотность вероятности вектора М будет равна р (хр(ло = (2п) — "~2 ( х (у (-1~' ех р [ — — (лр —.ро* (х(у)-' (лр — ло] (5.80) В этом случае доверительная область должна выбираться в соответствии с а = (м-м) х Х (Х/х'т') ' (М вЂ” М), (5,81) при условии Рг (О < а < а) = ~.
(5 82) На рис. 5.1 изображена эта многомерная доверительная область. Соотношение (5.81) всегда можно представить в виде выполнив декоррелирующее про образование. Поэтому, когда вектор М имеет нормальное распределение, то Ъ' также будет иметь нормальное распределение. Следовательно, плотность веротности величины й2 имеет у2-распределение с и — 1 степенями свободы: р (фв) — 2 — (я — ()12 (~2)(хх — 1)12 — ( ЕХр ( ~2 (5 84) Г [(и — 1)121 2 Коэффициент доверия ( и верхний доверительный предел а (5.82) связаны через плотность вероятности й2.
Рассмотрим случай одномерного нормального распределения с неизвестными математическим ожиданием т и дисперсией О2. В качестве их оценок используем выборочное среднее и выборочную дисперсию: тп = (1/У) ~'.~ х; и а' = (1/У вЂ” 1) ~ (х, — т)'. (5.85) г=1 г=$ Плотность вероятности новой случайной величины $ = (У вЂ” 1) ' 2(т — т)/а '(5.86) известна как плотность вероятности распределения Стьюдента с У вЂ” 1 степенями свободы, и выражается следующим образом; Р (~) = [(У вЂ” 1) и] '12 Р (1+ [Р/(У вЂ” 1)1) ~~~, (5.87) На основании '(5.87) можно найти соотношение между верхним и нижним доверительными пределами и коэффициентом до- верия Рг[т — оп/(У вЂ” 1) '"(т(тп — аа/(У вЂ” 1) ("~ = (.
(5.89) Уравнение (5.89) позволяет определить по хт' наблюдениям доверительный интервал для математического ожидания т без знания истинных значений параметров т и О2. Для этого одномерного случая также можно вычислить доверительный интервал дисперсии случайной величины, имеющей нормальное распределение. Опять предположим, что математическое ожидание т и дисперсия О неизвестны, и используем выбо- 2 рочное среднее и выборочную дисперсию в качестве их оценок. Определим нову(о случайную величину 1х( ~2 = (1/О2) ~ (х; — гп)'. (5. 90) г=1 Хорошо известно, что эта величина Л1 — 1 степенями свободы: 2 1 о — (хх — 1)12 х 2х(хх — х)12 — ( 1 1 2\ Поскольку в плотность вероятности (5.91) в явном виде не входят параметры т и О2, то можно определить по хт' наблюдениям доверительный интервал по формуле: ь Рг (1/о) ~~(х,.
— тп)'(и' <-. (1/а) ~ (х, — гп)' = т. (5.93) х=1 1=1 5.3.2. Порядковые статистики. В этом разделе приводится краткое рассмотрение порядковых статистик. Эти статистики имеют важное значение в теории статистического вывода, в частности из-за того, что некоторые их свойства не зависят от распределения генеральной совокупности. Предположим, что наблюдаемые объекты х(, х2, ..., х„являются одномерными. Можно упорядочить эти объекты по величине и 151 гл. 5.
Оцюнивлние плРлметРОВ $5.3. интеРВлльнок ОцкнивАние определить новые случайные переменные у; следующим образом: У1 С У2 С ° ° ' ( УУ~ (5.94) где величина у1 равна наименьшему значению среди объектов х;, величина У2 является вторым наименьшим значением и т. д. Тогда совместная плотность вероятности случайных величин у1, ..., у„ будет равна ~!Р (У1) Р (У2) Р (Ул1) У1( У2 ( ( У1~, Р Ь1 УЛ1) = 0 в противном случае, (5.95) где все у; — независимые случайные величины.
Соотношение (5.95) можно легко получить, рассматрив, я простой пример при У = 3. В этом случае одному набору значений х; соответствует шесть наборов значений у„т. е. (5.96) Якобианы каждого из этих п1естп преобразований равны 1. Например, для второй строки (х1= У1, Х2= Уз, хз= У2) якобиап о о о о о ~ о (5.97) а,<Х2< =+ 1. Следовательно, Р(У1~ У2~ Уз) Р (У1) Р (У2) Р (Уз) I < Х! < + ,+ Р(У1)Р(уз)Р(У2)/<~2< + "+ Р(Уз)Р(У2)Р(У!)1<~6< 3 ! Р(У1) р(У2) Р(УЗ) при У1( У2( Уз, 0 в противном случае. Используя (5.102), получим р р (5.98) Для упрощения обсуждения выполним следующее преобразование. Пусть к< определяется выражением к,= Р(у;), (5.99) где Р(у*) — функция распределения вероятностей случайной ве (Х1= У1, (Х1= У1, (Х1= У2~ (Х1= У2, 1(Х1= УЗ~ 1(х1= Уз, Х2= У21 хг= Уз, Х2 = У1~ х2 — — Уз, х2 —— У1, Х2 У2ф хз= Уз), хз= Уг), хз= Уз), ! ХЗ= У1),1 ХЗ= У2) 1 ХЗ= У1).
личины у;. Тогда плотность вероятности величины к1 будет равна Р (Д '1 Р (1~1) — 1 при 0 (к1(1,. Р(г,.) = !~Р(Ю1)/Ь1< Р(Ы;) (5.100) 0 в противном случае. Совместную плотность вероятности (5.95) можно выразить как функцию величин к, следующим образом: Х! прн 0(к1(... (кл1(1, (5.101) 0 в противном случае, где порядок всличип х; тот же, что и порядок величин уь в силу монотонности фукции распределения (5.99) .
Маргинальная плотность вероятности для (5.101) вычисляется следующим образом: у, ~ 1 1 р~,,1 =У~ ! ... ! йг,... йа~ ~~ ! ... ! НЯ„... Н~,<.~~ =- о о 1 1~ й Я 1 У = ~6 г~ ~1(1 — гл)~ ~ при 0 ( хл (1. (5.102) Далее рассмотрим получение доверительных интервалов для случая упорядоченных выборок. Определим кеантиль ~ порядка Р следующим образом: Рг(х(Д =РД) =р. (5.103) Например, когда х — отношение правдоподобия и $ — его пороговое значение, то р соответствует вероятности ошибки. Вероятность того, что Й-я порядковая статистика меньше, чем квантили порядка р, будет равна Рг(у, с ~) = Рг(Р(у„) ~ РД)) = Рг(х, с р).
(5.104) .г'г(У1(Р= Р(гл) дг1 = й г~~ '(1 — г )л1 лаз . (5 105) о о Произведя интегрирование этого выражения по частям, найдем Л1 Рг(у„(Д = ~ . р'(1 — р)~ (5.106) Этот результат можно получить, не используя понятия поряд.ковой статистики. Предположим, что извлечено У независимых объектов, для каждого из которых имеет место (5.103). Тогда ° г'хъ ау% Лйг ° х хЭ уЪК ...
х $52 Гл. 5. ОцеииВАние ЦАРАметРОв » 5.3. ИПТЕ1'ВАЛЬНОЕ ОЦЕПИВАПИЕ $53 вероятность того, что 1 объектов удовлетворяют условию х ( $, а (у' — 1 объектов не удовлетворяют этому услови1о, определяется выражением Рг(~ объектов удовлетворяют условию х ( Д = (У~; )Р'(1 — Р)~ ' (5 107)' С другой стороны, выражение Рг(у,($) означает, что к или больше объектов удовлетворяют условию х ~ ~.
Поэтому вероятность Рг(у„( Я является суммой вероятностей (5.107) для у ~ Й и равна вероятности (5.106). Коль скоро вероятность Рг(у, ~ Ц найдена в аналитическом виде (5.106), можно вычислить доверительный интервал для квантили порядка р: Рг(у; < $ ( у)) = Рг(у < $) — Рг(у) < Ц = "(. (5.108) у Конкретизируя значения 1, у, У и р, мо'кно вычислить коэффициент доверня ( с помощью выра11«ений (5.106) и (5.108). Следовательно, доверительньш интервал для Ц с коэффициентом доверия ( определяется объектамн с порядковыми номерамн 1' и у.
Описанный метод построения доверительных интервалов не требует знания плотности вероятности и в связи с этим получил название метод, не зависящий от распределения. Пример 5.5. Пусть имеется выборка из четырех объектов. Вычислим коэффициент доверия для квантилей порядка 0,5 между наибольшим и наименьшим объектами. Из выражений (5.106) и (5.108) имеем Рг(уг(1(у ) =~, ', ( — ) — ~, ' '( ~) Таким образом, гарантия того, что квантиль $ попадет в интервал между у) и у4г составляет 87,5 )о. 5.3.3. Толерантные пределы для распределений. В методе доверительного интервала вычислялась вероятность того что слуг чайныи интервал содержит определенную точку. Другой довольно близкий подход заключается в использовании следующего уравнения: Рг(Р(у)) — Р(у) ~ р) = (.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
