В.И.Тихонов Статистическая радиотехника (2-е издание, 1982) (1092037), страница 88
Текст из файла (страница 88)
Поэтому рассматриваемую функцию можно использовать для построения доверительных интервалов оценки дисперсии Р. На основании практических соображений задаем доверительную вероятность а. Допустим, а = 0,95. Пользуясь имеющимися таблицами распределения у» с и — 1 степенями свободы, находим два таких значения Х' (которые обозначим у.1 и уэ), чтобы вероятности Х'(Х)и у' ) Хг были равны каждая 0,025 (рис, 4.3).
Тогда окажется выполненным соотношение Р К»1( (у» =а=0,95. О С такой же вероятностью можно ожидать выполнения неравенств Р„( (и — 1) Р*/уЯ ( Р ( (и — 1) Р"1)(1 =.Р+. (4.3.75) Два числа Р„и Р„+ определяют доверительные границы для Р. Метод доверительных интервалов применим для одновременной оценки нескольких параметров.
Однако в этом случае «пространство параметров», т. е, совокупность всевозможных допустимых комбинаций их значений, не будет одномерным. Например, при совместной оценке двух параметров пространство параметров будет представлять собой некоторую область на плоскости. 4.4. МЕТОДЫ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ Допустим, что на основании анализа физического механизма, порождающего случайную величину $, можно сделать достаточно обоснованное заключение о типе закона распределения илн плотности вероятности интересующей нас случайной величины. (Например, центральная предельная теорема позволяет считать, что при определенных условиях плотность вероятности является нормальной.) Однако параметры этого распределения (в приведенном случае — математическое ожидание и«, и дисперсия Р) неизвестны, и их нужно оценить по результатам наблюдений, представленных в виде конечной выборки х = (к,, к„..., к„).
Для решения этой задачи могут применяться разные методы, из которых наиболее часто практически используются четыре: 1) метод моментов, 2) оценка по апостернорному математическому ожиданию, 450 РХ~( ). (лл г ОХу 2 4. а 8 Хе~ Рис. 4.3.. К определеии1о доверительных интервалов Рнс. 4.4. Логарифмическая функция Три последних метода базируются на рассмотрении апостериорной плотности вероятности. Поясним это.
При решении некоторых задач до проведения наблюдений (взятия выборки) с большей или меньшей степенью обоснованности бывает известной (точно или ориентировочно) плотность вероятности оцениваемого параметра рр, (Л), которую называют априорной (доопыптной) плотностью вероятности. Пусть вьгбранная нами плотность вероятности случайной величины $ зависит от одного неизвестного параметра Л и при фиксированном значении Л есть р (х1Л).
По теореме умножения вероятностей можем написать р (х; Л) = р „(Л) р (х~Л) = р (х) р (Л!х). (4.4.1) Отсюда получаем формулу Байеса для условной плотности вероятности параметра Л при данной выборке х = (х„х„..., х„): р (Л1х) = рр„(Л) р (х1Л)/р (х), (4.4.2) где по условию нормировки р (х) = ) р, (Л) р (х ~ Л) йЛ, (4.4.3) л Л вЂ” область всех допустимых значений параметра Л. 15' 451 3) оценка по максимальной апостериорной вероятности и 4) метод максимального правдоподобия.
Метод моментов заключается в том, что определенное количество моментов выборочного распределения приравнивается к соответствующим моментам теоретического распределения (см. й 4.2), являющимся функциями от неизвестных оцениваемых параметров. Рассматриваемое количество моментов должно быть равно числу подлежащих оценке параметров.
Решая полученную систему уравнений относительно этих параметров, находим искомые оценки. В большинстве случаев этот метод не требует сложных вычислений. Однако получаемые оценки с точки зрения эффективности не являются «наилучшими» из возможных оценок: в больших выборках они имеют не наименьшую возможную дисперсию. Условная плотность вероятности р (Х)х) называется апостериорной (послеопытной) плотностью вероятности параметра р„, ()) = р (Х)х).
(4.4.4) Прн данной выборке она дает полные сведения об интересующем нас параметре ),. Условная плотность вероятности р (х))ь), рассматриваемая как функция ),, называется грунгп(ией праедоподсбия Ь ()) = р (х))). (4.4.5) При извлеченной выборке (без учета априорного распределения параметра Х) она показывает, насколько одно возможное значение параметра ) «более правдоподобно», чем другое. С учетом введенных обозначений (4) и (5) можно написать рр, ()) = Ар„„(Х) р (х))) = Ир„„()) Е (Х), (4,4,6) где й ='р-' (х) — коэффициент, зависящий от результатов выборки, но не зависящий от параметра ).
Если апостериорная плотность вероятности имеет достаточно «хороший» вид, а именно имеет одну вершину и почти симметрична, то представляется естественным искать такую оценку ), параметра )., которая имеет минимальное апостериорное рассеяние. Сущность оценки параметра по апостериорному математическому ожиданию состоит в том, что оценка )ь подбирается из условия минимума апостериорной дисперсии )д„- =- ~ () — ).) р„(Л) й),.
л Приравняв нулю результат дифференцирования правой части по ), получим, что оценка определяется формулой" ), = ~ ).р„(),) й).. л (4.4.8) *Оценки ь, полученные разными методами, здесь обозначены одинаково. Следует иметь в виду, что эти величины, вообще говоря, различны (см. пример 4.4.4). Они совпадают лишь в некоторых частных или асимптотических случаях. 452 В данном случае оценка представляет собой математическое ожидание или среднее значение («центр тяжести») апостериорной плотности вероятности.
Такая процедура построения оценки оказывается сложной, и поэтому оценку чаще находят другими методами (в частности, методом максимального правдоподобия). В методе максимальной апостериорной вероятности в качестве оценки Х параметра ) берется то значение, при котором для заданного х апостериорная плотность вероятности имеет абсолютный макси- мум. Иначе, за оценку принимается мода апостериорной плотности вероятности. Это значение является решением уравнения =О, 1х=Л (4А,9) которое явным образом зависит от данных выборки.
Так как логарифм — однозначная и монотонно возрастающая функция аргумента (рис. 4.4), то процедура максимизации апостериорной вероятности и величины 1п р„, (Л) совпадают. Поэтому вместо уравнения (9) можно отыскивать соответствующий корень уравнения В)пррз(Л) ! (4.4.10) ил 1л=2 Во многих практических случаях априорная плотность вероятности р „(Л) оказывается неизвестной, и ее полагают достаточно равномерно распределенной (например, прямоугольной или нормальной с большой дисперсией) на интервале возможных значений параметра. При этом координата Л максимума апостериорной плотности вероятности будет совпадать с соответствующей координатой функции правдоподобия.
В этом случае метод максимума апостериорной вероятности переходит в метод максимального правдоподобия. Здесь в качестве оценки берется тот корень уравнения й 1п Ь (Л) ( д 1п р (х( Л) 1 вл (х=й вл 1х=х (4.4.1 1) Решения должны явным образом зависеть от результатов выборки и обеспечивать получение абсолютного максимума апостериорной плотности вероятности или функции правдоподобия. Покажем теперь, что три последних метода оценки параметров можно получить как частные случаи более общего, байесовского метода. Свяжем оптимальность оценки с так называемой функцией потерь с (Л, Л), вид которой выбирается из интуитивных соображений. Так, если хотят, чтобы оценка Л была близка к истинному значению Л, то с (Л, Л) должна иметь минимум при Л = Л и увеличиваться с ростом 453 который явно зависит от данных выборки. Это уравнение называется уравнением правдоподобия.
Вели оценке подлежат несколько параметров Л„ Л„ .... Л распределения р (х; Л„Л„..., Л ), то апостериорная вероятность и функция правдоподобия будут зависеть от этих параметров. В данном случае совместные оценки Л„Л„...,Л параметров определяются как решения системы уравнений — 1п Е (Л,, Л„..., Л,„) ~ Л, 1=1, 2,..., т, (4.4.12) — 1прр,(х(Л,, Лм..., Л ), 1=1,2,..., т. (4.4.13) д~; (Л вЂ” Л~, Можно предложить много выражений для таких функций потерь, например: с(Л, Л)=)Л вЂ” Л~, с(Л, Л)=(Л вЂ” Л)', с(Л, Л)=-сопз1 — 6(Л вЂ” Л), (4.4.14) где б (х) — дельта-функция.
На практике наиболее часто используются квадратичная (вторая) и простая (третья) функции потерь. Поскольку оценка Л зависит от результата наблюдения х = = (х„х„..., х„), т. е. Л = Л (х), то значение функции потерь с (Л, Л (х)) является случайным. Средние потери, связанные с принятой оценкой Л при конкретном результате наблюдения х, определяются выражением с(Л(х) = ( с(Л, Л(х)) р(Л) х)йЛ, (4А.15) (к) где р (Л)х) — условная или апостериорная плотность вероятности (4). Это есть условные потери, осредненные по всем возможным значениям параметра Л. Полные потери или средний риск получаются осреднением (15) по всевозможным наблюдениям х: с(Л) =Я(Л)= ) с(Л(х) р(х) йх=- (х) = ) р(х)((х ) с(Л, Л(х)) р(Л(х) йЛ.
(4.4.16) (х) (А) Байесов подход к оценке параметра предполагает заданным априорное распределение параметра р„„(Л), позволяющим по формуле (2) определить апостериорное распределение р (Л(х). При этом качество устройства, которое по реализации х выносит оценку Л (х), характеризуется средним риском )т (Л). Оценка, минимизирующая средний риск, называется оптимальной байесовой оценкой. Нахождение оптимальной баейсовой оценки сводится к минимизации внутреннего интеграла в правой части (15): с(Л, Л) р(Л ! х) йЛ=ш)п.
( ) Е Подставив вторую функцию потерь из (14) в (17), получим уравнение для оптимальной оценки при квадратичной функции потерь: Лз — 2Л ~ Лр(Л ! х) йЛ+ ~ Л'р (Л ( х) йЛ = ппп. (Х) (Х) ь" Отсюда дифференцированием по Л находим Л= ~ Лр(Л(х) йЛ=М(Л(х). (4.4.18) (Х) Таким образом, при квадратичной функции потерь (что соответствует оценке по минимуму среднего квадрата ошибки) оптимальная байесо- 454 ва оценка совпадает с условным или апостериорным математическим ожиданием. Важно отметить, что эта оценка не зависит от вида апостериорной плотности' вероятности р (Л[х).
Условное математическое ожидание (18) является оптимальной байесовой оценкой не только для квадратичной функции потерь, но и для более широкого класса функций потерь. Укажем здесь два таких класса [27[. 1. Функция потерь зависит только от разности е = Л вЂ” Л, симметрична с (е) = с ( — е), выпуклая (с вогнутостью вверх) и апостериорная плотность вероятности р (Л[х) симметрична относительно математического ожидания М (Л[х). 2. Функция потерь симметрична с (е) = с ( — е), неубывающая с (з ) > с (з,) при е, > е, > 0 и апостериорная плотность вероятности симметрична относительно М (Л[х), унимодальна и удовлетворяет условию 1[ш с(Л) р(Л[х)=0.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
