Б.Л. ван дер Варден Математическая статистика (1960) (1186203), страница 41
Текст из файла (страница 41)
Хотя 2»е н 2»» представляют собой несмсщенныс оценки, однако пх дисперсии значительно превосходят дисперсию д, причем эти оценки не являются асимптотически эффективными. Фишер сравнивал друг с другом пять различных оценок У»,..., Уе, где Ут совпадает с нашей оценкой л» я 7» совпадает с оценкой 3. л'» является оценкой, полученной посредством минимизации (х! пре)» ЯР» Исследования Фишера показывают, что только последние три оценки, Я'„7» и 2'„являются эффективными в том смысле, что их смещения являются величинами высшего порядка малости по сравнению с )/)(в, а нх днсперсии аснмптотически равны той наименьшей дисперсии а ! о о"х»а = л(д) м вотораи возможна для несмещенных оценок, согласно неравенству Фреше, Позднее мы еще вернемся к вопросу об эффективности оценок наибольшего правдоподобия. Пример 83. Произведено м выстрелов из пушки по неполвижной точечной цели без перемены прицела, причем в й случаях наблюдался перелет, а в остальных ! случаях — недолет (й+ ! = и).
В лальнейшем, когда мы будем говорить »высота выстрела», то под этим будет подразумеваться высота точки попадания снаряда в вертикальную плоскость, проходящую через цель перпендикулярно к направлению стрельбы. Пусть все высоты выстрелов — независимые, одинаково нормально распределенные случай ные величины с известным квадратичным отклонением н неизвестным математическим ожиданием. Какую поправку нужно внести в установку пушки, чтобы среднее значение высот выстрелов было возможно ближе к высоте пели? Если высоты выстрелов отсчитывать от горизонталы<ой плоскости, проходящей через цель, а квадратичное отклонение положить равным единице, то плотность вероятности для отдельной высоты выстрела будет иметь вид 1 х< „) д(х(г») = в э Среднее значение этого распределения равно р., и поэтому исномая поправка равна †)».
Вероятность того, что данный снаряд перелетит цель» задается формулой ~ д(х()») Ых =- Ф(р). о а 47. Состоятельность оценок наибольшего правдоподобия 229 Вероятность того, что при и выстрелах й раз будет наблюдаться перелет, а остальные и — й раэ — недолет, равна Логарифтн« еская функция правдоподобия Е(й)(л) =. й Ь< Ф(«) + (и — й) 1п (1 — Ф((ьн достигает максимума прн таком значении (<, котррос удовлетворнст уравпению 1< Ф(м) = — . Следовательно, правдоподобное значение гл выражается с помощью функции Ч', обратной длн функции Ф: = й) Если й — О, то и. - —, если н<с Ь и, то (ь = + . И так как хотя бы одно нз двух событий й = О и й = и обязательно имеет положительную нсроятностгч то для случайной величины р., строго говоря, не существует ни конечного среднего значении, ни тел< более навечной дисперсии.
1(а практике этот недостаток можно, разумеется, легко исправит<ь сслн в обоих крайних случаях й = О и й = и заменить оценку (л разумно выбранными коночными значениями; нсдь положение цели, более илн менее грубо, всегда бывает известно! Однако прежний результат остается в силе, так нак н данном случае дословное применение метода наибольшего правдоподобия при любом и приводит к оцеакс с бесконечно большой дисперсией. Тсц не менее оценка (л является состоятельной', при и <ьь она сходится по вероятности к истинному значению (<.
2 47. Состоятельность оценок наибольшего правдоподобия При весьма общих предположениях оценка наибольшего правдоподобия является состоятельной. В 2 45 мы ссылалнсь па доказательство этого общего утвер>кдепия, принадлежащее Вальду в Вольфовицу. Теперь, когда в качестве результатов наблюдений рассматриваются частоты, мы постараемся исследовать этот вопрос несколько подробнее, т Если И (б) — непрерывно дифферснцируемая функция параметра д, пРнчсм Р' (б) <гл О, н если длЯ д сУществУет аснмптотнчсскн ноРмальнаЯ и нсимптотическн эффектинная оценка д, то (ь(д) будет аснмптотнчески норчальной н вснх<и<отическн эффективной оценкой для е(д) (см.
Ьч е у па пи Т., ('оп(ИЬцмоц Со чье Ытеогу от 0<е Хь, 1. Вег1<с1оу аширов. оп Мазь. Яьак, Х па Аци. (1949), 239). Так как (<(и — наилучшая асимптотически норл<альПан Опсина ДЛЯ Ф((<) Н Ф'(и) чл О, тО, В СПЛУ Этсй тСОРСМЫ, 1< = 2<(й/И) является не только состоятельной, но и, что Седее важно, аснмптотнчески нормалы<он н аснмптотически эффск<изной оценкой для Н. — Лрим. перев. 230 Гл.
л Х. Оценка ларамекчроа ао наблюденным частотам Пусть снова наблюдаются три частоты: йе= — ' (г=!,2,3), и пусть вероятности р„, рг, р, трех взаимно исключающих исходов являются функциями одного параметра д. Предположим, что между д и (р,,р„р,) имеется непрерывное, взаимно однозначное соответствие, т. е.
д и дв различны тогда и только тогда, когда различны соответсгпвугои1ие точки с координатамн (р„р„рг) и (р,", ро, р„".), причем если (ри рг, р,)- ' (уй. рго ро) то д, дв Если не делать таких предположений. то по результатам наблюдений невозможно будет получить приближенное значение для д, так как в данном случае результаты наблюдений — частоты— сами являются лишь приближенными значениями для вероятностей рр Как и в ~ 46, функция правдоподобия задается формулой д(~ ( д) р рт рг Если эту формулу умножить на не зависящий от ь' множитель' Пи ~-л, г.;м а-к, то получится функция достигающая своего максимума в той же точке д, что и д(з ! д). Логарифм О равен Ь(х ( ь) = к„1п Р' -Е хг 1п — "* —; кг 1п — "' .
(2) Йт ае Формула (2) определяет л (х(ь) при всех допустимых значениях параметра д и, в частности, при д = д*, где д* — неизвестное истинное значение д. Рассмотрим разности зе = хе — пр, (р; > О). (3) Если д = д* и и достаточно велико, то, согласно результатам З 5, с вероятностью, сколь угодно близкой к единице, случайные величины х, будут отличаться от соответствующих математических ожиданий пр, нс более, чем на величину порядка )Гпрр Иначе говоря, для всяких д > О и С > О найдется такое яа = = по(д,С), что прн любом и > по абсолютные величины ~ з, ( ' Если яв .= О, то условимся с поить, что м",' =- П вЂ” Прим. нерее. д 47.
Состоятельность оценок наибольшего правдоподобия 231 ~е будут превосходить С )яре с вероятностью р ~! — д. При э гом У в = аь + зе + зе —— О. (4) Если в (2) все яре выразить через х, н зь то, в силу (4), получим Х(х ~ о) = ~'х1в — —" = ~а+ ~х1п ~1 — --) = =~~х~ -+1п~1 — ..11= Ъ х4в(-), (5) Эта формула, разумеется, справедлива не только для истинного значения б*, но и для всех допустимых значений параметра д. Кроме того, она справедлива для произвольного количества частот и произвольного количества параметров ьо ..., дт Функция р(ь) = 1+ 1п (1 — 1), входящая в (5), имеет максимум р(О) = О, так как ее производная р'(1) = 1 — „— ', обращается в нуль при Ю = О, причем если 1 < О, то дв'(1) ) О, если же 1~ О, то р'(1) < О.
Следовательно, в (5) все слагаемые неположительны. Если ~1) <1, то р(1) можно разложить в степенной ряд: (о(е) — 1 ее 1з (6) В частности, если 1= з/х, где з является величиной порядка )/ир, то при О < р < 1 имеем 1в! 1е~ 1е) х пр+ в 2ц3 — (в) следовательно, 1 — величина порядка 1/1/ир и, в силу (6), — р(1)— величина порядка 1/пр. Но если в — величина порядка )/яр, то х = яр+ з — величина порядка вр. Таким образом, все слагаемые (5) представляют собой величины порядка единицы, Иными словами, если в = ь", то для всякого в > О найдутся такие и, = =- ят(е) и д = д(е), что при и ) я, с вероятностью р ~ 1 — е будет выполняться неравенство Ь(х ) о) = — д.
(7) Напротив, если ! в ! велико сравнительно с )х, то 1= з/х велико сравнительно с 1/(/х, и поэтому — ер(1) велико сравнительно с 1/х. Таким образом, — Х(х ', ь) будет бесконечно больщой 2З2 Гл. х Х Оценка параметров по наблюденным частпатам величиной при п . Иначе говоря, если О7'=да, то для всякого в> О и всякого д) О найдется такое и, = п,(е, д), что при и ~ и, с вероятностью р ~ 1 — е будет выполняться неравенство 7,(х ~ й) ( — д. (8) Итак, мы установили, что для истинного значения параметра ов (и, значит, для соответствующих истинных значений вероятностей р*) с большой вероятностью будет выполняться неравенство (7). Пусть д — оценка наибольшего правдоподобия для б*, т.
е. такое значение параметра й, при котором функция С(х1б) (а значит. и х (х ( б) ) достигает максимума, тогда с(х ( о) — с)(х1о*), и поэтому .Цх~б) с большой вероятностью удовлетворяет неравенству (7), а соответствующие разности я = х — пр не превосходят величин попядка 1)х. Таким образом, при п — абсолютные величины ~ з ~ со сколь угодно близкой к единице вероятностью, являются величинами порядка ()х . ))пр*. Так как е = х — пр* с вероятностью, сколь угодно близкой к единице,являются величинами порядка ((прв, то разности з — е = = п(р — р*) с вероятностью, сколь угодно близкой к единице, будут величинами того же порядка, т.
е. Г!ри достаточно болыиом п разности р — рв с вероятностью сколь угодно близкой к единице, будут являться величинами порядка ! 7)уп. В силу непрерывности функции 6 = б(р„рв ра), заключаем, что Б = д(рт, рз, р) сходится по вероятности к йм = ь(р,*, р,*, р,*) при п-, !ем и завершается доказательство состоятельности оценки наибольшего правдоподобия'. Если Р,=Р!(д) и О =ъ(РыРз,Рз) ЯвлЯютсЯ ДнффеРенциРУемыми функциями, то имеет место следствие этой теоремы: Р зность д — и* с вероятностью, сколь угодно близкой к единице, является величиной порядка !)"))и. ' В этой теореме прскположсннс о непрерывном, взаимно однозначном соотвстстнин мсжлу В и (рт, р„р,) является излившс сильным.
Теорема останется справсхлпвой, сслн потребовать лишгч чтобы параметр В являлся нспрсрынной фун кцисй точки (рт, рз, ра) и чтобы во нссх и опытах значения асрояпюстсй и,, рм и, были тпкнми жс, как и в первом опытс. !!ри этом доказательство будет точно таким жс, как у автора. Указанная тсорсма нмсст большое практнчсскос значение, так как позволяет оцснннать любые нспрсрывныс функции от нснзисстных вероятностей рн Асимптотичсскив свойства таких оценок устанавливаются тсорсмой, указанной в сноски на стр.
229. — Прим. перев. 8 48, Наибольшее правдоподобие, минимум х' и наименьшие квадраты 2ЗЗ Если (б) подставим в (5), то получим очень полезное разложение функции Х(х ~ 6) в ряд: 1 „ее 1 вь ь(*~ ) ---,;2,--3-Х вЂ”,— 1 (х — пр)' 1 (х — пр)' — — — з 2': В большинстве случаев оказывается достаточным приближение Ь(х ~ д) () 0) 3 48. Наибольшее правдоподобие, минимум да и наименьшие квадраты Только что указанное приближение функции правдоподобия очень удобно для быстрого и экономного вычисления первого приближения для д.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
