Дженкинс, Ваттс - Спектральный анализ и его приложения (выпуск 1) (1044211), страница 24
Текст из файла (страница 24)
При рассмотрении наименьших квадратов в разд. 4.3 предполагалось, что хе не содержали ошибок. Однако во многих случаях невозможно осуществить какой-либо контроль над независимыми переменными (например, в рассматриваемых ниже задачах с временными рядами). В таких случаях х; можно рассматривать как реализации случайных величин. Для однопара'метрического случая совместную выборочную плотность вероятности наблюдений, до того как онн произведены, можно записать в виде Ую „(У,, Ув, ..., Ун)=У',т ,,(У„ У,...,, Ум[0, х„ ..., х„) Х х~„, Совместная плотность вероятности /и .. и в правой части равенства представляет собой условное распределение у; при условии, что хе фиксированы, а плотность /м,ь описывает плотность вероятности хе.
После получения данных можно выписать функцию правдоподобия А(0)=А(0[х„..., х, )Х(х,, ..., х ). Так как /. (хь ..., хн) не имеет среди своих аргументов О, то функция правдоподобия для О будет такой же (за исключением независящего от О множителя), что и функция правдоподобия 5(0[хи ..., х„), полученная, когда хе рассматриваются как фиксированные, или не содержащие ошибок. Таким образом, знание распределении хе никак не помогает при оценивании О. Отметим еще раз, что метод выборочных распределений дает другой ответ на эту задачу, так как дисперсия 6 равна ч !01-е[ 155 4.4. Выводы, основанные на дгрнкчии правдоподобии 154 Гл.
4. Введение в теорию статистических выводов где математическое ожидание берется по выборочному пространству Х; "1. В методе правдоподобия выборочное пространство не имеет отношения к существу дела, а «дисперсня» функции правдоподобия дается все еще выражением (4.4.12) и, следовательно, зависит только от конкретных значений кь которые получились в данных измерениях. 4.4.5.
Методы извлечения информации из функции правдоподобия Квадратичные правдоподобия. Логарифмическая функция правдоподобия (4.4.1!) квадратична по параметру О. В более общем случае, если модель линейна по параметрам, а ошибки распределены по нормальному закону, логарифмическая функция правдоподобия является квадратичной формой от параметров Оь Следовательно, функция правдоподобия сама является многомерным распределением, и ее можно описать с помощью средних значений (выборочных оценок максимального правдоподобия) и матрицы ковариаций этого распределения. Из (3.1.19) мы видим, что матрица вторых производных до; дйу является матрнцей, обратной матрице ковариаций, соответствую- щей этому многомерному нормальному распределению.
Неквадратичные правдоподобия. Если модель нелинейна по параметрам или же выборочное распределение отличается от нормального, то функцию правдоподобия нельзя описать только с помощью ее первых двух производных. Как правило, для неквадратнчной логарифмической функции правдоподобия лучше всего построить график всей функции. Задача получения выводов относительно О сводится в этом случае к задаче описания, нли аппроксилиации, функции правдоподобия самым простым возможным способом. В некоторых случаях получаются функции правдоподобия с несколькими максимумами; извлечь информацию из тако!1 функции и кратко описать ее трудно.
Если же на графике функции пра- »~ Рзссуждения заторов в последнем подразделе не совсеи точны. Если нвм известны хь то вообше нс имеет значения, кзк они получились н что они собой представляют, поскольку мы пользуемся условньш распределением при фиксировзнных хь Если же в нашем распоряжении имеются лишь искаженные ошибкзми значения х„то мы не можем вычислить функцию Е(8(х,, х„) и, следоввтельно, не можем получать из нее оценку для 8.
Об оценках пзреметров функций, в случае когда независимые переменные содержит ошибки, см. подробнее в книге Клепикова Н. П. и Соколова С. Н. «Лнзлиз и плени. оввиие экспериментов методом максимума правдоподобия», М., изд-во «Нвукв», 964, гл. 3.— Прим, персе. вдоподобия имеется один максимум, то можно использовать способы, приводимые ниже. В первом из ннх функция правдоподобия приближается нормальной функцией правдоподобия, а во втором подбирается такое преобразование параметров, чтобы функция правдоподобия преобразованных переменных была ближе к нормальной, чем до применения преобразования. Способ 1. Приближение с помощью нормального распределения.
Предположим, что функция правдоподобия не является нормальной, все же разумно приблизить ее с помощью нормальной плотности вероятности по параметру О. Поскольку функция правдоподобия определена с точностью до постоянного множителя, приближение будет иметь вид е(0)=Кехр ~ — —., (о — 0) 1 "21 (4.4.13) где 8 — среднее значение аппроксимирующего распределения и аз — его дисперсия.
Если «моменты» функции правдоподобия определить с помощью соотношений 1' = ) 0'Е(о)с(0, (4.4.15) то, используя свойства нормальной плотности, можно найти константы К, 0 и а' из (4.4.13): 1о )' 2г в )12я 1,~ 1 1 — 12 1! (4.4. 14) 1о 12 2 2о а2 2 — О 1о 12 Оценка среднего правдоподобия. Барнард [7) назвал о= ~ ое(0)йо/ ~ е(о)йо выборочной оценкой среднего правдоподобия.
Если Е(0) — нормальная функция правдоподобия,.то выборочная оценка среднего правдоподобия совпадает с выборочной оценкой максимального правдоподобия, но в общем случае они будут различны. Преимущество выборочной оценки среднего правдоподобия над оценкой максимального правдоподобия состоит в том, что первая учитывает форму всей функции правдоподобия, в то время как Гл. 4. Введение в теорию статистических выводов 156 4 4. Вь~водсц основанною на функции лравдолодобил !57 вторая характеризует только одну точку на кривой.
Поэтому выборочная оценка максимального правдоподобия может вводить в заблуждение для малых выборок, если функция правдоподобия не является нормальной. Для больших выборок большинство функций правдоподобия стремится к нормальной плотности, так что выборочная оценка максимального правдоподобия вместе с ее дисперсией достаточны для описания всей функции правдоподобия.
Можно показать [4], что если нет никакой причины предполагать а рг!оП, что какое-нибудь одно значение 0 более вероятно, чем другие, то оценка *), соответствующая выборочной оценке среднего правдоподобия (4.4.15), является оценкой с наименьшей среднеквадратичной ошибкой при любом объеме выборки. Это не означает, что для всех значений 0 выборочная среднеквадратичная ошибка этой оценки равномерно меньше, чем для любой другой оценки. Это значит лишь, что после усреднения по всем значениям 0 полученная полная среднеквадратичная ошибка будет наименьшей.
С точки зрения правдоподобия критерий среднеквадратичной ошибки не имеет отношения к делу, и, следовательно, выборочную оценку среднего правдоподобия лучше всего рассматривать как удобный способ описания центра расположения функции правдоподобия. Пример. Чтобы проиллюстрировать этот способ извлечения информации из функции правдоподобия, рассмотрим пример с биномиальным параметром из равд.
4.2.2. Из функции правдоподобия (4.4.8) получается выборочная оценка максимального правдоподобия, т /т = л в то время как выборочная оценка среднего правдоподобия равна — г+! л+2 а ее дисперсия имеет вид т+ 1 (л — г+ 1) л+2 (л+3) (о+2) Отсюда для т=З, п=8 функцию правдоподобия (4.4.8) можно аппроксимировать нормальной плотностью вероятности со средним значением р =0,4 и дисперсией ос=0,022. Следовательно, 95%-ная, или вероятная область с шансами 7,5: 1 для р представляет собой интервал (0,11; 0,69). Для г=1, п=8 аппроксимирующая нормальная плотность будет иметь среднее значение р = 0,2 и дисперсию о'=0,015. Как можно увидеть из рис.
4.5, нормальное прибли- '1 Рассматриваемая каи случайная величина. — Прим. лерев. жение для т/ 3 будет намного лучшим, чем для г= 1, из-за асимметрии функции правдоподобия во втором случае. На самом деле 95%-ная вероятная область для с= 1 имеет отрицательную левую границу, что говорит о том, что нормальное приближение не оправдано. В этом случае лучший способ состоял бы в следующем. Способ 2.
Преобразование параметров. Если логарифмическая функция правдоподобия не является квадратичной, то полезно найти такие преобразования сре(0ь Оь ..., Ои) параметров, что функция правдоподобия стала бы приближенно многомерной нормальной функцией от сро Как отмечалось выше, если функция правдоподобия является нормальной, то вторая производная ее логарифма постоянна, т. е.
количество информации Фишера равно константе. Если функция правдоподобия не является нормальной, то — с('1/с/О' будет функцией от О. Это нежелательно, так как в этом случае в различных точках шкалы 0 получается различная информация относительно О. Поэтому хотелось бы найти преобразование ср=ср(0), такое, чтобы в масштабе ср производная — с(в!Ясрв была бы константой в окрестностн выборочной оценки максимального правдоподобия ср = ~р(0) параметра !р.
Сделав преобразование ср = ф(0), имеем ат Щ да дэ дй дв В точке выборочной оценки максимального правдоподобия Ж/~(ср= =О, так как с(//с/0=0, и, следовательно, Если потребовать, чтобы — с/е!/с6рв было положительной константой й, то отсюда получаем и, следовательно, с точностью до постоянного множителя желаемое преобразование ср(0) имеет вид (4.4.16) 158 Яа л ь ° й оя *о л сэ о с со но б После преобраэонаннл До преабраэаеаннл рбв-пал область %%-нае ооласть 0,0217 (О,11; 0,69) 0,374 0,655 0,0145( — 0,04; 0,44) 0,148 0,394 0,0256 (0,10; 0,68) 0,0265 (0,05; 0,43) 0,375 0,125 п=8, г=-3 „= — 8, =1 0,4 0,2 О,В О,В 0,4 Гл. 4.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
