А.Н. Бородин - Элементарный курс теории вероятностей и математической статистики (DJVU) (1115320), страница 27
Текст из файла (страница 27)
Зависимость (24.6) является частным случаем следующей зависимости, в которой величины у; могут быть случайными: Хз = Ог 7' + 91 + Е; 1 = 1, 2,..., и. (24.10) Предполагается, что У;, 4 = 1,2,...,п, являются одинаково распределенными независимыми случайными величинами, независящими от величин Е;, которые интерпретируются нак ошибки измерения. В свою очередь величины Е4, 4 = 1, 2,..., и, тоже являются независимыми со средним ноль (Е(Е;) = О) и хонечной дисперсиеИ (Е(Ез) ( оо). По наблюдениям значений пар случайных величин Х;, У;, 1 = 1,2,..., и, нужно определить параметры Рм Рз.
Такая модель называется простой линейной регрессией. По тем же соображениям, которые приведены для вывода оценки наименьших квадратов, в качестве оценок ды и рз для параметров У1, и дз естественно взять те значения, иоторые минимизируют функцию квадратичного отклонения Приравнивая к нулю частные производные втой функции по бы и дз, получим систему уравнениИ (24.7) с величинами У; где у'„= 1'; у1/и, уХ„= 2'; 4у;Х;/и, у„= 2» 1у;/и, Х„= ~; 1Х;/и. Теперь из первого уравнения системы (24.6) находим МАТЕМАТИЧЕСКАЯ СТАТИСТИКА 184 вместо у1. Решения системы уравнений будут аналогичны (24.8), (24.9): аЕУХ вЂ” ЕУ ЕХ.
С!!(лм ! у ) (24.11) !! Е у! — (Е у) дь(У) ю=1 !=! В! = — ~Х! — дт-~~~ 1'! = Хо — дзУи. (24 12) в=1 Соответствие я = дзу+ В1, у б (-оо, оо), называется уравнением линейной регресии. Не удивительно, что для параметров В1, и дз получились именно такие оценки. Вычислим ковариацию величин Х и У, связанных линейной зависимостью Х = дзУ+В1+В. Поскольку величины Е и У независимы и Е(б) = О то Е(Х) = дзЕ(У) + В1, соч(Х, У) = Е((дзУ + б — дзЕ(У))(У вЂ” Е(У))) = = В,Е(1 - Е(1 ))'+ Е(б)Е(У - Е(У)) = В,В(У). Отсюда следует, что дз = ', д! = Е(Х) — дзЕ(У). Тесоч(Х, у) перь, если в втих выражениях вместо ковариации, дисперсии и математических ожиданий взять их выборочные характеристики из 819 (формулы (19.7), (19.3)), то для В1, и дз получим оценки (24.11) и (24.12). ЗАдАчи Задцча 24.1.
В книге "Основы химии" Л. И. Менделеева приводятся данные о растворимости ззотнокислого натрия Ла!ч'Оз в зависимости от температуры воды. В 100 частях воды растворяется следующее число условных частей Ла!!1Оз при соответствующих температурах: 0 4 10 15 21 29 36 51 68 Х 66.7 71.0 76.3 80.6 85.7 92.9 99.4 113.6 125.1 Через у и Х обозначены соответственно температура раствора и количество ЛаА!'Оз. На количество растворившегося Жа1!! Оз влияют случайные факторы. Предполагается, что имеет место линейная зависимость между температурой у и 25. Мгтод мднсимдльного пРАВдоподовия тзз количеством растворившегося 1та1тОз вида Х = рту+ О1+Е с неизменными параметрами Вы Оз и величиной случайного влияния Е со средним ноль и конечной дисперсией. Оценить параметры О1 и Оз с помощью метода наименьших квадратов.
Задача 24.2. Ланные опыта приведены в таблице: у 0 2 4 б 8 10 Х 5 — 1 0.5 1.5 4.5 8.5 Полагал, что у и Х связаны зависимостью Х = Озут + Озу+ В1 + Е, где величина случайного влияния Е имеет среднее ноль и конечную дисперсию, найти ковффициенты Ви Оз и Вз методом наименьших квадратов. з 25. МетОД мАксимАльнОГО пРАВДОпОДОБиЯ Пусть Х = (Хи Хз,..., Х„) — случайная выборка, отвечающая случайной величине Х с плотностью распределения Дх, О), где Π— неизвестный параметр. Предполагается, что вид плотности известен, а параметр О неизвестен. Например, у(х, О) может быть плотностью нормального распределения с математическим ожиданием О и дисперсией 1, т.
е. у(~,О) = ~ 1х з)~~~ ~/я7 Задача состоит в том, чтобы зная вид плотности, оценить неизвестный параметр О по наблюдениям ХМХз,...,Х„. Оп р еде ление 1. Функцией правдрподобия для случайных наблюдений ХМХз,...,Х„с плотностью распределения г(х, О) называется функция ь(хп хт,..., х„, О) = = у(хд, О)у(хз, О).../(х„, О). Оценкой параметра О, построенной методом максимального правдрподобия по наблюдениям Хы Хз,..., Х„, называется оценка О„(Х), определяемая равенством Е(Хы Хг,..., Хе, В„(Х)) = шахЕ(ХМ Хз,..., Хе, В).
(25.1) Иными словами ета оценка определяется следующим образом. В качестве первых п координат функции правдоподобия нужно взять случайные наблюдения Хи Хт,..., Х„, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА затем рассмотреть функцию Ь(Хи Хз,..., Х„, д) как функцию одной переменной д и определить такое значение переменной д = д„, при котором эта функция принимает максимальное значение. Ясно, что величина переменной д» будет зависеть еще и от Х. Формально все это задано равенством (25.1).
Почему именно так выбирается оценка д»? Лело в том, что в силу независимости наблюдений Хи Хз,..., Х„их совместная плотность равна произведению плотностей величин Хц которые имеют одинаковый вид и равны Дац д). Таким образом, функция Цл, д) и есть совместная плотность распределения случайной выборки Х. Лля тех значений л, для которых плотность Цл, д) больше, вероятность появления значевий выборки Х в малой окрестности ьт в ходе эксперимента тоже больше. Поэтому, если мы уже наблюдаем какие-то значения величин ХиХз...Х„, то естественно предположить,что и значение плотности в этих точках, т. е.
значение ЦХи Хз,..., Х», д), должно быть велико. Поэтому мы и выбираем оценку д»(Х) для истинного значения параметра д так, чтобы Ь(Хд, Хз,..., Х„, д„(Х)) было наибольшим возможным значением. Если функция дифференцируема и достигает максимального значения в какой-нибудь точке, то производная в этой точке должна быть равна нулю. Таким образом, для нахождения оценки д„(Х) имеем уравнение — ЦХ,д) =О. (25.2) » » » ) 1пК(Ход) = О, (25.3) Это уравнение, в котором неизвестным является параметр д, называется уравнением максимального правдрподобия.
Считаем, что совместная плотность Ь нигде не обращается 1 д в нуль, тогда уравнение (25.2) можно записать — — Ь = О. 5дд Пользуясь формулой для производной логарифма, перепив шем его следующим образом: — 1пЦХ,д) = О. Учитывая определение ЦХ,д) и свойство логарифма!п(аЬ) = 1па+1п5, окончательно получим тз. мгтод максимального правдоподобия твт Если у него существует единственное решение О„(Х), то оно называетея оценкой максимального правдопо,црбия для параметра О.
Замечание 1. Метод максимального правдоподобия можно применять, когда О = (Оы...,О ) — многомерный параметр. Функция максимального правдоподобия будет достигать максимума в той точке О, в которой все частные производные ло Оз, х = 1,2,...,т, равны нулю. Поетому для нахождения оценки О„(Х) = (О~'~(Х), Ои~(Х),..., О<'">(Х)) вместо (25.2) имеем систему уравнений — ЦХ,О) =О, я=1,2,...,тп. ав, Свойства оценки максимального правдопоцобия. 1) Оценка максимального правдоподобия О„(Х) является состоятельной оценкой параметра О, т. е. О„(Х) -~ О по вероятности при п -+ оо. 2) Оценка О„(Х) является асимптотически нормальной оценкой параметра О с дисперсией Ь~ = 11 1(О), где 11(О) = / ( — 1п~(х,О)) ~(х,О)дх, — информационное количество Фишера относительно параметра О, содержащееся в одном наблюдении, В силу замечания 1 122 оценка О„(Х) будет асимптотически еффективной оценкой параметра О.
Свойства 1) и 2) справедливы при определенных условиях на плотность распределения ~(х, О). Доказательство етих свойств выходит за рамки елементарного курса математической статистики. Пример 1. Пусть выборка ХыХз,...,Х„отвечает плот- 1 / (ж — а)21 ности. распределения ~(х,О) = —. ехр~- ). Найдем чз оценку для параметра О методом максимального правдоподобия. Уравнение (25.3) в етом случае имеет вид —,',~ (-~~','~ +1 ~ — ')) =О. ьы МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Дифференцируя под знаком суммы, получим 1 и Решением етого уравнения является Ви(Х) = — ~ 1 1 Х1.
Таким образом, оценка максимального правдоподобия для В, когда — у(х,В) плотность нормального распределения, есть выборочное среднее. Это естественно, поскольку В является математическим ожиданием для нормального закона. Пример 2. Пусть выборка Х1, Хг,...,Хи отвечает показательному распределению с параметром В ',В > О, с плот- ностью -е и~э у(х,В) = ( х' О, при х >О, при х (О.
и аХ! 1) =О, Ьи1 1 и Откуда находим решение В„(Х) = — ~ 1 Х1, которое как и и в предыдущем примере есть выборочное среднее. Замечание 2. Метод максимального правдоподобия в полной мере применим и для случая, когда Х = (Х1,..., Х„) — случайная выборка, отвечагощая случайной величине Х, принимающей дискретные значения х1,5 = 1,2,..., с вероятностями р(хг,В) = Р(Х1 = хг). Предполагается, что вид функции известен, а параметр В неизвестен. Фупгьция правдоподрбии для дискретной величины имеет вид Ь(х1,хг, °,*и,В) = р(х1,В)р(хг,В)...р(хи, В). Как и в случае с плотностью, оценка, построенная методом максимального правдоподобия, определяется равенством (25.1). Это равенство, если функция р(х, В) дифференцируема по В, влечет уравнение максимального правдоподобия и — !яр(Х1, В) = О.
а 1=1 (254) Найдем оценку для параметра В методом максимального правдоподобия. Уравнение (25.3) в этом случае преобра- зуется к виду 25. МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 169 Если существует единственное решение Р„(Х), то оно называетея оценкой максимального прввдрподзбия для параметра р. Пример 3. Пусть выборка Х1,Хз,...,Х„отвечает распределению Пуассона с параметром о, т. е. р(вв,д) = Р(Хв —— вп) = —,е пв = 0,1,2, Найдем оценку для параметра д методом максимального правдоподобия.
Уравнение (25А) в етом случае превращается в следующее и — ( — д+Х11пр — 1в(Х1!)) = О. После дифференцирования получим а — а + - ~ Х1 = О. 1 в 1ю1 Отсюда для параметра д находим оценку максимального 1 и правдоподобия д„(Х) = — ~',1 1 Хп которая как и в предыдущем примере есть выборочное среднее. Пример 4. Пусть выборка Х1,Хз,...,Х„отвечает равномерному распределению, сосредоточенному на интервале единичной длины с неизвестным центром Е, т. е. распределению с плотностью У(х,р) = 2~в х,в+х1(х), где йя(х) — индикатор множества А, определенный в п.1 1 12. Равенство (25.1) принимает вид е е П 5~в.-1,в.+у(Х1) швах П 5[в-1,в+44(Х1) (25 5) 1=1 1=1 Хотя плотность у(х, 0) не дифференцнруема для всех в, оценку 0„, удовлетворяющую (25.5) найти можно.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
