Дженкинс, Ваттс - Спектральный анализ и его приложения (выпуск 1) (1044211), страница 23
Текст из файла (страница 23)
Дальнейшее обсуждение принципа правдоподобия читатель может найти в [8, 9]. Перемножение правдоподобий. Если функцию правдоподобия для параметра 0, вычисленную по данным 0ь обозначить 0(010,) и если независимые данные 0з дают функцию правдоподобия Ь(8 ~0з), то полная функция правдоподобия, основанная на данных 01 и 0ь имеет вид /. (е10,, 0,) =/. (е ~ 0,)/. (910,). Это сразу следует из того, что если два набора данных независимы, то полная выборочная плотность вероятности равна произведению отдельных выборочных плотностей вероятности. В этом смысле функция правдоподобия подчиняется тому же мультипликативному закону, что н плотность независимых случайных величин. Правдоподобие, как и распределение вероятностей, ЯвлЯетсЯ неотРицательной величиной. Однако на этом их схо, ство кончается. Не существует закона для объединения правдоподобий, который был бы аналогичен правилу сложения для вероятности объединения двух взаимоисключающих событий.
Шансы, получаемые из отношения правдоподобия (1(йе11(зооб обе(з). Рассмотрим функцию правдоподобия (4.4.3) для параметра р. Выборочной оценкой максимального правдоподобия является /31 р='/е, которая дает значение правдоподобия /.~ — /' =0,282. Для 8 другой величины р, скажем р='/з, правдоподобие равно /.~ — ) =- / 8 =0,0104. Отсюда шансы, получаемые из отношения правдоподобия, за то, что р='/е по сравнению с р ='/е, равны 27: 1. Это утверждение можно интерпретировать следующим образом: 1) Шансы, получаемые из отношения правдоподобия, измеряют степень обоснованности, с которой по нашим данным параметру р можно приписать значение '/,, а не '/е. Для того чтобы эти два значения можно было считать одинаково правдоподобными, нужно, чтобы другой независимый эксперимент дал те же шансы в пользу значения р ='/з.
'Ф 3 'Ф 2) Лицо, не имеющееннкакойдальнейшейинформации, былобы готово заключить пари в отношении 27: 1 за то, что истинным значением окажется р =з/з, а не р = с/з. 4.4.3. Примеры функций правдоподобия Оценивание параметра показательного распределения. Рассмотрим обсуждавшуюся в равд. 4.2.4 задачу оценивания среднего срока службы осветительных ламп. Первый шаг в методе правдоподобия заключается в том, что нужно выписать выборочную плотность вероятности для наблюдений. В нашей задаче соответствующей выборочной плотностью вероятности будет з Ли(-, ....,М-~П-т(- ~*) (4.4.6) с=! Следующий шаг состоит в подстановке наблюденных значений хе=2,6, хе=1,9 и хз=1,5 в (4.4.6), а результате чего получается функция правдоподобия.
/. (Л)=Лзехр( — 6Л). (4.4.7) 4.4. Вьсводы, основанные на буункяии правдоподобия 151 150 Г.у. 4. Введение в теоршо статистияеских выводов Третий шаг заключается в построении графика функции правдоподобия, который показан на рис. 4.2. На четвертом шаге из функции правдоподобия извлекается и кратко суммируется информация, В настоящем разделе мы опишем очень простой способ выполнения этого шага, Более детальные способы описания функций правдоподобия будут приведены в равд.
4.4.5. В отличие от функции правдоподобия (4.4.1) функция правдоподобия (4.4.6) асимметрична. Рис. 4.2 показывает, что она круто возрастает от Л = 0 до своего максимума при Л = 0,5, а затем относительно медленно стремится к нулю при Л-~ оо. Значение Л= 0,5 у г ! г-3 О,В ыб,б О,в О, О О',25 О,ОО О,?5 141 Р Рис. 4.5. Функции правдоподобия для биномиального распределения (нормиро. ванные). является наиболее прпвдоподобным, или вероятнылу, значением для этих трех наблюдений. Оно называется вьуборосуной оценкой максилуалыюго правдоподобия Л параметра Л. Значения Л=О,! и Л= 1,4 оба дают шансы правдоподобия 1: 10 против Л. Таким образом, шансы против того, что Л ( 0,1 и Л ) 1,4, не меньше чем 10 1.
Поэтому область от к=0,1 до Л= 1,4 называют вероятной областью (сгед!Ые гей!оп) с шансами, не меньшими чем 10; 1, против любого значения ие из этой области. Оцеиивание биномиального параметра. Рассмотрим обсуждавшуюся в а юся в равд. 4,4.2 задачу оценивания биномиального параметра, Используя (4.4,2) нли (4.4.4), получаем, что при г успехах в п испытаниях функция правдоподобия имеет вид 7.
(Р) = КР' (! — Р)а ' (4.4,8) аз'иы функции правдоподобия дл причем обе кривые пронор ч о их максимум Ранен единице. Продифференцировав (44 8) ходим что выборочная оценка максимального правдоподоби вид р=г7п. Для случая г= 1 кривая правдоподобия похожа на кривую, изображенную на рис. 4.2, т. е. она резко возрастает до максимума при р=р и затем медленно убывает для р, ббльших чем р. Вероятная область с шансами 10: 1 простирается от 0,006 до 0,49, причем внутри нее в точке 0,125 находится выборочная оценка максимального правдоподобия.
Для случая «=3 кривая правдоподобия вполне симметрична относительно выборочной оценки максимального правдоподобия р = 0,375. Вероятная область с шансами 10: 1 простирается от 0,095 до 0,71. 4.4.4. Метод наименьших квадратов и оценивание'с помощью правдоподобия Оцениванне с помощью наименьших квадратов эквивалентно оцениванию методом максимального правдоподобия при условии, что ошибки распределены по нормальному закону.
Чтобы показать это, рассмотрим простую однопараметрическую модель У т = Ох,. + Ео обсуждавшуюся в равд, 4.3. Если предположить, что ошибки 2у независимы, имеют нулевое среднее значение н дисперсию оа, то выборочная оценка наименьших квадратов получается при минимизации суммы квадратов о(О) = ~' (Уу — Оху)Я, (4 4.9) у=! Если предположитуь что ошибки независимы, имеют пулевое среднее значение и дисперсию о', а также распределены по нормальному закону, то плотность вероятности для данных до того, как проведен эксперимент, имеет внд 1 1 чм (у„у,, ..., у )= м ехр[ — —,т (у. — Ох уе н ( 2 )м ~ 2ся у у) После того как данные собраны, логарифмическая функция правдоподобия равна Л~ 1 ()= — -2 !п2' — Л'1по — 2 я тв (уу — Ох)я (44.10) 152 1и.
4. Введение в теорию статистикескик выводов Таким образом, выборочная оценка О, максимизируюшая логарифмическую функцию правдоподобия (4.4,10), совпадает с выборочной оценкой, минимизирующей суммы квадратов (4.'4.9). Следовательно, для нормально распределенных ошибок выборочные оценки наименьших квадратов и максимума правдоподобия совпадают, тЧы обосновали оценки наименьших квадратов в равд. 4.3.1, пользуясь критерием среднеквадратичной ошибки. Однако критерий среднеквадратичной ошибки нельзя использовать в теории правдоподобия, поскольку он включает усреднение по выборочному пространству. Следовательно, необходимо заново интерпретировать теорию наименьших квадратов с точки зрения метода правдоподобия. Логарифмическую функцию правдоподобия (4.4.10) можно переписать в виде /(О) = !п 7С вЂ” —,1,;)', х[ [В В)', (4.4.1 !) где О=археус/~„хе является выборочной оценкой и наименьших квадратов, и максимума правдоподобия.
Отсюда функция правдоподобия пропорциональна нормальной плотности вероятности со средним значением О и дисперсией о2 '~р хт Заметим, что выражение (4.4.12) в точности совпадает с выборочной дисперсией (4.3.8) оценки наименьших квадратов. Так как дисперсия (4А.!2) равна (4.4.12) — 1 ат !дт! (0)/д0т) ~ .т то отсюда следует, что количество информации Фишера Е[дЧ/д0']- заменяется в методе правдоподобия на фактически имеюи)ееся значение второй производной логарифмической функции правдоподобия в точке ее максимума.
Вероятные области. В равд. 4.4.3 было показано, что понятие шансов, получаемых из отношения правдоподобия, можно использовать для определения вероятных областей для параметра, При этом, если сравнивать любое значение параметра внутри этой области с любым другим значением, то шансы правдоподобия не превосходят заданного отношения. Однако если функция является нормальной, то вероятная область, основанная на шансах правдоподобия, эквивалентна области, которую можно получить, набирая определенную долю площади под функцией правдоподобия.
На- 4.4. Выводы, основанные на функции правдоподоеип 153 пример, 7,5: 1 — вероятная нормальная область эквивалентна охвату 95о/о плошади под функцией правдоподобия. 95'/о-ная вероятная область для параметра 0 в упомянутом выше примере имеет вид 0+1,96 и она является также вероятной областью с шансами 7,5: 1. При построении интервала, исходя из плошади, мы неявно считаем функцию правдоподобия распределением вероятностей. В байесовском подходе к выводам [10, 11, 2") это делается явно. Наименьшие квадраты в случае, когда независимые переменные содержат ошибки.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
