Дженкинс, Ваттс - Спектральный анализ и его приложения (выпуск 1) (1044211), страница 25
Текст из файла (страница 25)
Введение в теорию статистических выводов Пример. Рассмотрим правдоподобие для биномиального распределения (4.4.8), обсуждавшееся выше. В этом случае получаем дзг г и — г и доз рз (1 — р)5 Р(1 р) если производную брать в точке выборочной оценки максимального правдоподобия р=. г/и. Отсюда, используя (4.4.16), получаем чр(р) =~ . =агсз(п ')г р. др УР (1 — р) О О2 Пб Пб ОВ 10 12 ы=агсзаа ~ГР Р и с. 4.6. Преобразованные функции правдоподобия для бицомиального распре деления (нормированные).
Таким образом, функция правдоподобия, у которой в качестве аргумента взят агсз(п')гр, будет лучше аппроксимироваться нормальной плотностью вероятности со средним значением бр и дисперсией оз, получаемой из (4.4.14). На рис. 4.6 показаны правдоподобия после преобразования для случаев т =1, п=-8 и г=З, п=8. В обоих случаяхфункцииправдоподобия похожи на нормальную кривую, в то время как до преобразования кривая для г = 1 очень сильно отличалась от нормальной, как видно из рис.
4.5. 4.4. Выводы, основанные на функции праодоподобик Р59 В табл. 4,2 приведены среднее значение и дисперсия аппроксимирующего нормального распределения, а также 95б)о-ная, или вероятная область с шансами 7,5: 1, для р до и после преобразования. Таблица 4,2 Выборочные оценки среднего правдоподобия и вероятные области для бнномиальных параметров, полученные из функций правдоподобия до и после преобразования Мы видим, что преобразование изменяет выборочную оценку среднего правдоподобия сильнее для асимметричного правдоподобия (г = 1), чем для более симметричного правдоподобия (г = 3). 4.4.6. Оценивание среднего значения и дисперсии нормального распределения Чтобы проиллюстрировать описанные в предыдущих разделах способы получения выводов, основанных на правдоподобии, рассмотрим задачу оценивания среднего значения и дисперсии по выборке наблюдений, которые по предположению имеют нормальную плотность вероятности.
Воспользовавшись (4.2.1), получаем функцию правдоподобия для(л и о' в виде а л(е, Ч=,' -а( — —,' (Х1 -57~- (Р— еф. (у 2п )«( 2аз (4.4 17) Удобный способ описания двумерных правдоподобий состоит в построении на плоскости ((л, о') контуров постоянного уровня функции правдоподобия. Если функция правдоподобия является двумерной нормальной функцией, то эти контуры будут эллипсами; в противном случае можно иногда так преобразовать паоаметры, что функция правдоподобия будет приблизительно двумерной нормальной функцией. Так как функция правдоподобия (4.4,17) является нормальной по отношению к ро то необязательно искать преобразование этого параметра. К тому же, так как оценки для )5 и ое независимы, то необходимо найти лишь преобразование для оз.
160 о о о о о. д2( л 1 ты — — — — (х — р)'. д (а2)2 2а4 аь т=! (4.4.18) а» л, З,З З,гг 3,! З,О о г,з о о о Ю о а о. Р ис. 4.?. Контуры линий уровня правдоподобия для среднего значения и дис. персии нормальных наблюдений при о=100. -04 -0,2 0 0,2 1п !г' и о' ео и и о!! »о е. а» а Э- и а .а о. а сг ! и а б Заказ № !2!а Гл. 4. Еведекие в творило статистических вь!водов Из (4.4.17) получаем д( а — л 1 Ъч д(аз) = + —,~ (х — !х) 2а2 2а4 !=! Получаем выборочные оценки максимального правдоподобия р= — х, о == — ~(х! — х), 1=! и в точке, ноордннаты которой равны этим оценкам, выражение (4.4.18) становится равным дя( л д(аз)2 — 2"4 ' Отсюда, пользуясь (4.4.!6), получаем, что преобразование, приводящее к нормальному распределению, имеетвидгр=!поз.
Функция правдоподобия для данных о транзисторах, изображенных на рис. З.З, показана на рис. 4,7 как фу!пипия )х и 10 аз. Мы видим, что контуры функций правдоподобия очень близко аппроксимируются эллипсами в области, где функция существенна.
Маргинальные правдоподобия. Двумерная функция правдоподобия (4.4.17), если ее построить как функцию )4 и 1п о', ведет себя в сущности как произведение двух нормальных распределений. Проинтегрировав (.((4, о') по ра мы получим маргинальное прае()олодобие для о', а именно ( л г,!а!= ! с!т е)аа- г— т-, Р( — гЬ Х ! — ! ~. — аа г=! (4.4.19) ~ Я .е „ С и о Б и.
.а и и !62 Гм 4. Введение в теорию статно<инессах вь<водов 166 4вв Реэюме Далее, двумерная функция правдоподобия приблизительно нормальна по переменным !э и <р =1и о', так что маргинальное правдоподобие для !с можно получить, проинтегрировав Т. (!с, <р) по <р, т. е.
А, (1.) = ) Т. (О, ат = Вт) д9 = 1 Е (р, оэ) " (") = о = [х.,-»~" Маргинальные правдоподобия (4.4.19) и (4.4.20) показаны на рис. 4.8 и 4.9 для данных о транзисторах, приведенных на рис. 3.3. Маргинальное правдоподобие для !с гостроено как функция от !э, а маргинальное правдоподобие для ое построено как функция от 1п ой Отметим, что маргинальное правдоподобие для ое пропорционально уэ-распределению, а маргинальное правдоподобие для !<в 4-распределени<о. Отсюда вероятные области для р и оэ в этом примере были бы точно такими же, как в равд. 4.2, где они были получены с помощью метода выборочных распределений. (4.4.20) 4.6. РЕЗЮМЕ В этой главе обсуждено три аспекта теории статистических выводов, причем особое внимание уделялось задачам оценивания параметров.
Эти три аспекта являются следующими: метод выборочных распределений, метод наименьших квадратов и метод правдоподобия.-Четвертый метод — Байесовский подход — был опущен, но он очень похож по виду на метод правдоподобия. Эти три вида статистических выводов не являются разрозненными, а представляют собой результат постепенного исторического развития.
Кроме того, ответы на практические задачи, полученные при использовании различных методов, не будут существенно отличаться, а во многих случаях вообще не будут отличаться. Например,метод выборочных распределений в качестве выборочного распределения среднего значения дает 4-распределение с (п — 1) степенью свободы, а метод правдоподобия даст то же самое распределение для маргинального правдоподобия, В методе выборочных распределений 4-распределение с (и — 1) степенью свободы представляет распределение возможных значений х около !с в повторных выборках, в то время как в методе правдоподобия оно представляет распределение вероятных значений !с около х. Естественно, что исторически первым должен был появиться метод выборочных распределений, так как он требовал лишь непосредственного применения существовавшей теории вероятностей к задачам статистических выводов.
Например, выборочное распре- деление некоторой оценки является распределением вероятностей, дающим относительную частоту появления значений оценки в повторных выборках объема и. По плотности вероятности этойоценки можно сосчитать область, покрывающую истинные значения параметров с вероятностью 1 — <х. Заменяя оценки на выборочные оценки, полученные по данной выборке, мы получим !00(1 — а) о<в-ную доверительную область для параметров. Теория наименьших квадратов также развивалась в рамках метода выборочных распределений. Так, оценки наименьших квадратов обладают тем свойством, что они минимизируют среднеквадратичную ошибку, илн, что эквивалентно, минимизируют ожидаемый объем доверительной области для параметров.
Метод правдоподобия, хотя он часто и дает ответы, аналогичные тем, которые получаются из метода выборочных распределений, имеет совершенно иную отправную точку. В то время как выборочное распределение описывает все возможные значения наблюдений при данных значениях параметров, функция правдоподобия описывает все возможные значения параметров при данных значениях наблюдений. Метод правдоподобия дает возможность по-новому интерпретировать теорию наименьших квадратов.
Например, функция правдоподобия является по существу поверхностью суммы квадратов 5(Оь Оь, Ои), если ошибки Л нормальны и независимы. Так как эта сумма является квадратичной формой от Оь то функцию правдоподобия можно просто описать с помощью выборочных оценок наименьших квадратов (Оь Оь..., Ои) и вторых производных 5. Эти производные можно интерпретировать как ковариации оценок в методе выборочных распределений илн как меры рассеяния функции правдоподобия в методе правдоподобия. Наиболее важной стороной метода правдоподобия является построение функции правдоподобия в таких переменных, для которых имеется примерно одинаковая информация относительно всех параметров. Тогда информация, заключенная в функции правдоподобия, по существу содержится в ее выборочной оценке среднего правдоподобия и в вероятной области. Существуют как различия, так и общие стороны у этих методов.
Метод правдоподобия совершенно справедливо фокусирует внимание на множестве доступных наблюдений, а не па других множествах наблюдений, которые могли бы получиться. В некоторых случаях метод правдоподобия приводит к более разумным ответам, чем метод выборочных распределений. В равд. 4.4.8 приводился , пример, где было показано, что сведения о распределении ошибок в независимых переменных не дают никакой информации для оценивания параметров в моделях наименьших квадратов.
Другие примеры, когда метод выборочных распределений является 6" !64 ЛИТЕРА ТУРА соответственно, а Хгг ... Хга хп Хг! Хгг ... Х,„ Х= хлн хлг ° ° ° хл» (у — ХО)' Ч-! (у — ХО). (П4. 1.3) Гл. 4. Введение в теорию статистических вьгводов неудачным, получаются, если оценки, выбранные из-за того, что спи хороши в среднем, явно абсурдны в применении к данной выборке.
В таких случаях построение функции правдоподобия покажет, что данная конкретная выборка содержит мало информации. Как правило, функция правдоподобия никогда не обманывает, 1. Р агаси Е., Модегп РгоЬаЬИИу ТЬеогу апд Нз Аррнсанопв, Зо!тп тнеу, Ь[етч Уогй, 1960. 2. Г[ в Ь е г [х. А., РЫ1. Тгапв., А222, 309 (1922).
3 [с[в Ь с г РС А., Ргос. СагпЬг!дне Р!01. 3ос, 22, 700 (1925). 4. Ь ей гп а п Е. 1., Тем[пи 51аны[са[ Нура[Исаев, до!тп Цг
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
