Б.Л. ван дер Варден Математическая статистика (1960) (1186203), страница 32
Текст из файла (страница 32)
Е., Л. ФехСЬоой оГ Есопогпе1г1«з, Еоапввоп апй Хвт« Уог)г, 1953; Ноой Ч'. С. апй Кооргпапз Т. С., Я1пй1ез ш Есопоше1- г1с МегЬой, Сот«1ез 31опоягарЬ Ео. 14, Ыетг 'х ог1« (1т'11еу), 1953. ГЛЛВ А КШ ОЙЕНКИ НЕИЗВЕСТНЪ|Х ПАРАМЕТРОВ Эта глава распадается па четыре части.
Первая часть ($35 и Зб) посвящена методу наибольшего правдоподобия н поясняющим примерам. Эта часть в первую очередь предназначена для тех читателей, которые еще не знакомы с этим методом. Тот, кто при практическом применении метода наибольшего правдоподобия столкнется со сложными уравнениями, сможет в Э 36 найти вспомогательные указания для отыскания корней. Во второй части Я 37 — 39) показано, что для оценок неизвестного параметра существует некоторая граница точности и никакая оценка не может иметь точность выше этой границы.
В некоторых случаях метод наибольшего правдоподобия является наилучшим методом отыскания оценок, так как часто точность ~ цепок наибольшего правдоподобия достигает границы точности. Вспомогательным средством этой второй части является неравенство Фреше. Для пояснения постановки задачи вторая часть очень полезна, но логически она не представляется необходимой. В третьей части Ц 40 — 44) развивается метод, с помощью которого можно достигнуть большего, чем с помощью упомянутого неравенства. Метод третьей части приводит к наиболее точным несмещенным оценкам даже в тех случаях, когда метод наибольшего правдоподобия перестает действовать. Совсем короткая четвертая часть Я 45) содержит обзор асимп~отическнх свойств оценок наибольшего праьдоподобия.
В этой главе в большинстве случаев предполагается, что результаты наблюдений, служащие отправным пунктом при построении оценки неизвестного параметра, являются непрерывпыми случайными величинами в,,..., х,. В следующей, гл. 9 будет рассмотрен случай, когда результаты наблюдений являются частотами. Однако примеры этого рода будут встречаться уже н и этой главе (примеры 21, 28 и 31). Гл. )г111. Оценки квнзввстных параметров 184 5 35. Метод наибольшего правдоподобия Р.
А. Фишера Как мы видели в 8 ЗО, основой гауссовского обоснования метода наименьших квадратов является принцип, согласно которому наилучшими значениями неизвестных параметров ь„..., д, являются те значения, при которых результат наблюдений имеет наибольшую вероятность', Этот принцип Р, А. Фишер использовал в качестве основы общего метода, позволяющего оценить неизвестные параметры д,,..., д, в том случае, когда результаты наблюдений являются случайными величинами с распределением, зависящим от д,,..., д,, Наблюдаемые величины х,, х„могут быть дискретными илн непрерывными. Введем функцию д(С ( д) = д(С„..., С„! д„..., д,) и будем считать, что в дискретном случае д(С ( е) — вероятность того, что величины х,, „х„соответственно равны Если же х„..., х„— непрерывные случайные величины, то д(С ! д) = д(С» ., С„( ьы..., д,) будем истолковывать как плотность совместного распределения величин х„..., хгг Напомним, что в теории метода наименьших квадратов д(С ~ д) представляет собой произведение гауссовых функций ошибок и т д(С(д) = о (2п) в в (1) где «истинные значения> й, являются заданными функциями от д.
Теперь мы откажемся от этого специального предположения н будем считать, что д(С ~ д) — произвольная плотность вероятности, зависящая от д. Непосредственно наблюденные значения х, Фишер подставил в д(С ~ д) (т. е, положил С, = х,) н полученную функцию д(х ) д) от д,,..., д, назвал функцией правдоподобия. Те значения параметров д, для которых функция правдоподобия достигает максимума, называются праедоподобньсми значениями параметров д. Согласно л>в>поду наибольшего правдоподобия, в качестве оценок для истинных значений параметров д выбирают правдоподобные значения д. Логарифм функции д(х ( д) мы в дальнейшем будем обозначатьа символами Ь(х ~ д) или Ь(д), > Так нан х>,..., х„— непрерывные случайные величины, то вероятность, о которой гонорит автор, всегда равна нулю.
На самом леле, максимальной должна быть не вероятность, а соответствующая плотность веронтности (см. (3) $ 30). — Прим. нерва. Фунннию Ъ(х/д) = )и д (х/д) называют логарифмической функцией, правдоподобия. — Прим. перев. д Зб. Мегпод наибольшего правдоподобия Р. А. Фишера 188 Функцию правдоподобия не следует смешивать с вероятностью. Хотя эта функция и определяется с помощью вероятностей (в дискретном случае) или плотности вероятности (в непрерывном случае), однако и вероятности, и плотность вероятности относятся не к неизвестным параметрам, а к результатам наблюдений.
Параметры совсем не зависят от случая и поэтому не имеют плотности вероятности. Для каждого фиксированного результата наблюдений некоторые значения параметров могут оказаться более правдоподобными, так как при таких значениях вероятность получения наблюденных результатов имеет заметную величину, а другие — менее правдоподобными, потому что наблюденные результаты при таких предположениях являются весьма маловероятными.
Пусть д(С ~ Ю) — плотность совместного распределения случайных величин х„..., х„, Если вместо х, ввести новые случайные величины х,' по формулам х, = Ф,(х,',..., х„'), то соответствующая плотность вероятности будет иметь вид (см. (2) 8 11) й(С' ) й) = д(С ( й) ) —," — ' ' — ' — ", а(С,„..., Сп) д(Сь Сп) где С, =- срс (С,',..., С„'). Таким образом, й(С' ! о) отличается от д(С ( й) множите,тем, завися1цим лишь от С', и, следовательно, при замене переменных С, точка максимума функции правдоподобия остается неизменной. Точно так же в дискретном случае с целькт упрощения функции д(С ~ о) мы будем считать себя вправе умножать ее на некоторый множитель, зависящий лишь от С. Точка максимума д как функции о от этого, очевидно, не изменится.
В качестве примеров использования метода наибольшего правдоподобия в первую очередь служат все примеры отыскания оценок методом наименьших квадратов (гл, тг1), Теперь мы укажем три новых примера, имеющих принципиальный интерес. Пример 81, Оценка неизвестной вероятности. Рассмотрим последовательность н независимых испытаний, в каждом из которых положительный исход наступает с постоянной и неизвестной вероятностью р. Пусть а — наблюдаемое число положительных походов. Каково наиболее правдоподобное значение р? Согласно фоомуле Бернулли Я 5 А), функция правдоподобия имеет вил ( ) рх (1 р)п-х или, если отбросить число сочетаний, зависящее лишь от а, д(н)р) — Рх (1 Р)п-х 12) При отыскании максимума вместо самой функции д(а)р) можно воспользоваться ее логарифмом Ь(р) . = * 1и р + Сп — *) 1п П вЂ” р). Гл.
У11Е. Оценки неизвестны» парам»трое 186 Дифференцированием по р получаем х я — х х — ир Е'(р) =.— — — — =— р 1 — р р(1 — р) х р=й= и (3) Оценка (3) является несмещенной; математическое ожидание Ь в точности равно истинному значению р. Далее, оценка (3) состоятельная, т. е.
Ь стремится, по вероятности, к истинному значению р при и . Это является следствием закона балтии» чисел (4 5 и 33). Пример 22. Случайная величина х имеет нормальную плотность вероят. носта 1 Дх)=.ьзхь '1/2 н с неизвестным срслниы значением /» и неизвестной дисперсией а'-. 11усть в результате наблюдений получены я независимых значений х„..., х„ случайной величины х, Каковы правдоподобные значения /ь и хе? Если плотность совместного распределения х„..., х„умножить на несущественный множитель (йн)"/~, то функция правдоподобия окажется равной 1 — —, л.
1» — М' д(х„,..., ха ~ /ь, а.) =- — г Еь* а" а а ес логарифм 1 Е (йч а') = — п 1п сг — --, Ъ' (х; — /»)". йаэ (4) Второй член справа являетсн отрицательно определенным кналратическтг мпогочлсном относительно /ь. Точку л~акснмума /» этого многочлеиа находим дифференцпровапнем (4) по рн ~ (т, — /ь) = О, 1 /ь= - ч.г,- х. и Следовал~ельне, правдоподобное значение /ь является арифмеашчеслил~ средним иэ наблюденны» значений х. Гаусс нашел этот же результат методом наименьших квадратов.
Если и. подставить в (4) и затем (4) продпффсрснцпроваю по о., то получим д - и 1 — Е (/», т) =- — — + — ~~(х< — х)'. ди а. иь л Эта производная обращается в нуль прн мел = э (хг — х)э. Производная 1'(р) обращается в нуль при р = х/и, причем при р ( х/и она положительна, а при р ) х/я — отрицательна.
Поэтому р = х/я является точной максимума функции Е(р). Следовательно, правлоподобное значение р равно т ЯБ. Метод наибольшего правдоподобия Р. А. Фшигра 1:слп аь( ~'(х( — х)'[и, то производная положительна, если же ах ) ч (х, — х)ь[л, то она отрицательна. Следовательно, правдоподобным зпаче~,пем т' является 1 а' = — 5 (х( — х)-'. (6) и Ранее вместо (6) мы имели приближенное значение 1 а- — ж (х; — х)-, п — ! (7) Пример 23. В этом примере метод наибольшего правдоподобия не приводит к состоятельной оценке.
В лаборатории измерялись м концентраций, каждая из которых определялась дважды. Точность измерений была одинаковой во всех опытах, а исти»»»»ые значения л концентраций были различными. Предположим, что все 2л РезУльтатов измеРсний х„УВ .. д х»ь У„ЯнлаютсЯ неэависимымн нормальными случайными величинах(и с совместной плотностью вероят- ности 1 — —, ~' [(х; — ш)' (ш — ш)'1 1 д(хь у,)х, рч) = — - — е з ' ахл (2я)л !1енэаестнымн являются и средних значений р„..., р„и дисперсия»г'.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
