Л.Н. Фадеева, А.В. Лебедев - Теория вероятностей и математическая статистика (1115296), страница 39
Текст из файла (страница 39)
дада а,.) 267 Проверим, является ли точка (а, а ) точкой максимума функции правдоподобия: ! Е ЧАСТЫ!. Математическая статистика ч —,~(хт -а) о !.! П 422 л 2 Х(~~ о';, и 3 т — — — ~~(х. -а)2 2 464 ! о о и! Отсюда Л = — + — > (хт-а)2- — ~~(х,-тт)2 = — + — -О= — >О. 2 4 6 т 6(~ 1 4 4 4 2 Следовательно, точка (62, о ) — действительно точка максимума, и полученные оценки являются оценками максимального правдоподобия.
Задачи 7. Найти оценку максимального правдоподобия для параметра сдвига 9 распределения Коши, заданного плотно- 1 стью р(х) = , по выборке из двух наблюдений, если: (1+( -О)') ' а) х, = -1, х, = 1; б) х, = -2, х, = 2. Решение. Функция правдоподобия для двух наблюдений имеет вид ЦО) = 1 1 а(1+(х, -О)') и(1+(х, -О)') 1 Введем функцию тс(0) = —,. Тогда задача максимизации тс'С(0) функции правдоподобия эквивалентна задаче минимизации Я(0): а) если х, = -1, х, = 1, то Я(0) =(1+(1+0)')(1+(0-1)') = 0'+4. Функция )с достигает минимума в точке 0 = О, так что это и есть оценка максимального правдоподобия; гбв Как известно из математического анализа, чтобы функция р(х„х„..., х) достигала максимума в некоторой точке, достаточно, чтобы матрица второго дифференциала функции аа7'в этой точке была отрицательно определена. По критерию Сильвестра для этого необходимо и достаточно, чтобы ее главные миноры чередовались по знаку, а именно Ь, < О, Ь2 > О.
Рассмотрим матрицу производных Глава 1з ф б)если х, =-2,х,=2,то й(0)=(1+(2+О)')(!+(0-2)')=Ол-60'+25, и производная имеет три нуля: в точках О = О и О = ьГЗ. При этом точка О = О оказывается точкой максимума функции Я. Точкам О = + 13 соответствует минимум функции Я, причем в обеих этих точках величина Я одинакова. Таким образом, оба значения ь /3 являются в данном случае оценками максимального правдоподобия. Замечание.
Ни метод моментов, ни метод максимального правдоподобия не могут дать хороших оценок для параметра сдвига распределения Коши. Тем не менее существует простая оценка для него — выборочная медиана: О„= х, поскольку Р(6) = 1/2. В. Нерегулярные случаи Задача 8. Найти методом максимального правдоподобия оценки параметров а и Ь равномерного закона распределения: — хе[а, Ь], 1 р(х; а, Ь)= Ь-а О, хе[а, Ь]. Решение. Для равномерного закона не выполняется одно из условий регулярности.
А именно, область возможных значений исследуемой случайной величины, в которой р(х 0) > О, зависит в данном случае от параметра О, где 0 — оцениваемый параметр. В подобных ситуациях оценку следует искать другим способом. Выпишем функцию правдоподобия для равномерного распределения: 1 2(хо х„..., х„) = „, если все х,е [а, Ь]; (Ь-а)" Цх„х„..., х„) = О в остальных случаях. Условие, что все наблюдения принадлежат отрезку [а, Ь], можно выразить через неравенства для крайних членов вариационного ряда: а я х .,„, Ь > х .
При фиксированном значении а функция правдоподобия убывает по Ь при Ь ~х и, следовательно, принимает максимальное значение при Ь = х . При а69 ЧАСТЬ! Ь Математическая статистика фиксированном значении Ь функция правдоподобия возрастает по а при а < х„м и, следовательно, принимает максимальное значение при а = х ,.„. Таким образом, оценками максимального правдоподобия будут крайние члены вариационного ряда: а = х м и Ь = х Задачи 9.
Построить оценку методом максимального прав- доподобия параметра сдвига О для распределения Лапласа с 1 плотностью р(х)=-ехр(-(х-О!),-со<х< а. 2 Решение. Функция правдоподобия имеет вид ( я А(0) = — ехр~-~ )х, -О! 2" Логарифмируя, получаем: я (п2(0)=- 1п2-~ (х,-е(.
ш Заметим, что эта функция недифференцируема во всех точ- ках х„х„..., х„, а в остальных точках производная имеет вид: ст'!п2, " 1ч-1, 0<х,, с(0;, (-1, 0>хс Отсюда следует, что функция правдоподобия возрастает, если слева от значения 0 находится меньше членов вариационного ряда, чем справа, и убывает в противном случае. Следовательно, максимума она достигает посередине вариационного ряда. Если и = 2тс + 1, то это происходит в точке х,в.
Если п = 2/с, то функ- ция постоянна на интервале (х„,, х, „), где принимает наиболь- шее значение, и в качестве оцейки можно взять середину этого интервала. Таким образом, оценкой максимального правдоподо- бия оказывается выборочная медиана: О, = х 5 гЗ.З. Метод наименьших квадратов. Линейная регрессия Метод иаимевывих квадратов заключается в том, что оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки. Метод наименьших квадратов получил самое широкое распростра- гто Глава <з 4)< пение в практике статистических исследований, так как, вопервых, не требует знания закона распределения выборочных данных, во-вторых, достаточно хорошо разработан в отношении вычислительной реализации.
Первоначально метод был разработан для обработки данных с нормальными ошибками. В простейшем случае речь идет о данных вида х,. = 0 + ал где в< в <<Г(0, о'). Оценка 0 строится методом максимального правдоподобия. Функция правдоподобия для нормального распределения равна <<" — ',2.<~-ву 2,(0)=1 — 1 .
ьв - =С -"', <.« /2в~ ( л где С = ( — ), << = —, > О, Т = Ч ~(х, -О)'. '«,в <2«! ' 2«~ Следовательно, функция правдоподобия имеет максимум тогда, когда Т=~(х, -О)' достигает минимума. Если на пара!=! метр 0 не накладываются ограничения, то оценка, полученная методом наименьших квадратов, совпадает с оценкой максимального правдоподобия для нормального распределения: 0 = х . В более общем случае пусть г' — некоторый экономический показатель, объективный закон которого описывается функциональной зависимостью г' = <р(Х, О), где 0 = (0„0„..., 0„) — параметр; Х вЂ” многомерная неслучайная перемейная.
Пусть в результате <'-го наблюдения мы получили значение у, функции <р(х,, О) со случайной ошибкой а, т.е. у, = <р(хл О) + а< Требуется по наблюдениям (х„у,), ..., (х„, у„) оценить значения параметров е,, е„..., е„. Если в результате наблюдений получено и пар значений (хл у,.), где х,. — значение аргумента, а у, — значение функции, то параметры (0„0„..., 0„) аппроксимирующей функции выбираются так, чтобы обратилась в минимум сумма я= ч',(у« — р(хл 0))< Обоснование метода следующее. Пусть измерения независимы и распределение ошибок нормальное: в, в <<Г(О, о'). Величина у< как сумма постоянной величины <р(х„е) и случайной величины а,.является случайной величиной, и ее рас- 271 4~ ЧАСТЬ ((. Матеиатическаа статистика пределение также нормальное: у,. а У((()(хи 6), с)2).
Плотность распределения у, будет иметь вид (а -е(а,е)) Р(у 6)= е те' стч)'2п Функция правдоподобия для наблюдаемых значений У) у„ ", у будет равна 1 (и .ЦУ, 6) = — ~ е " " (, ст>/2п Отсюда функция правдоподобия Х(6) при изменении 6 име- ет максимум тогда и только тогда, когда статистика Т.(6) = ЕЬ,- Ч(хи 6)Р > ) достигает минимума. Задача свелась к задаче математического программирова- ния: найти такое значение 0„, которое минимизировало бы квадратичную форму Т (6„) = ппп ~(у(-(()(х(,ОН, „) (х у),, (х, у) — случайнаЯ выборка Так 0„= (0„0„..., 0„) является точкой минимума статистики Т„(В), то приравнивая к нулю ее частные производные =О (=1 2 ... Ус 06.
» >-.» > получаем систему нормальных уравнений, решения которой и являются оценками (0„0„...,6„) неизвестных параметров, най- денными методом наименьших квадратов. Система нормальных уравнений всегда имеет решение, так как положительный квадратичный многочлен всегда достигает минимума. Однако решение не обязательно является единствен- ным.
Может случиться, что нормальные уравнения однозначно разрешимы лишь для некоторых определенных линейных ком- бинаций параметров 0„0„..., 0„, а относительно самих параме- тров однозначного решейия нет. Такие линейные комбинации индийский статистик Рао назвал допускающими оценку. На практике метод применяется теперь гораздо шире, в частности, если об ошибках а, известно лишь, что Ма, = О и 272 Глава |з И, < о. Бывает, что метод применяется даже в случаях, когда об ошибках нельзя сказать, что они являются случайными величинами, независимыми и одинаково распределенными.
Одной из основных задач математической статистики является исследование зависимости между двумя или несколькими переменными. Строгая функциональная зависимость реализуется редко, так как одна или обе величины подвержены еще и воздействию случайных факторов. Статистической называется зависимость, при которой изменение одной из величин влечет за собой изменение распределения другой. Поскольку обычно невозможно точно предсказать неизвестное значение одной величины при известном значении другой, это желательно сделать хотя бы «в среднемв.
Поэтому естественно использовать функции регрессии (см. З 7.4). Например, в случае двумерного нормального распределения с плотностью р(х„х,) = 1 х 2каа, 1-р' функции регрессии оказываются линейными и имеют вид ~г (У! оьк (х1) — ив +р (х а1) о~ а (хв)=а| +р (х2 ав). 1 ав Однако на практике модель линейной зависимости между величинами используется гораздо шире, без предположения нормальности совместного распределения. Линейной регрессией называется сведение наблюдаемой на опыте зависимости некоторой переменной (зависнмой или объясняемой) от одной или более других переменных (независимых или объясняющих) к линейной (в предположении, что строгая линейная зависимость между ними нарушается случайными ошибками).
Для проведения линейной регрессии часто используется метод наименьших квадратов. В простейшем случае речь идет о двух переменных. Пусть х — независимая переменная, у — зависимая„и между ними существует следующая связь: у,.= а+ Ьх,,+ се где а и Ь вЂ” числовые коэффициенты, а, — случайные ошибки, Ма,. = О и Юв,. < в. Задача состоит в том, чтобы по имеющимся а73 ЧАСТЬ ! !. Математическая статистика наблюдениям (х„у,), (х„у,), ..., (х„, у„) построить оценки для а и Ь. Согласно методу наименьших квадратов, необходимо решить следующую математическую задачу: Т= , '(у,.-а-Ьх!)'-+штп. Решим задачу, вычислив частные производные суммы квадратов по каждому из коэффициентов и приравняв эти производные к нулю.
Получим систему нормальных уравнений: дт ч — = -2~(у,. — а — Ьх,) =О, да дТ вЂ” =-2~(у!-а-Ьх!)х! =О. дЬ Решая данную систему относительно параметров а и Ь, получим оценки: ч ( и Ь=ч ~(у, — у)(х,-х)!т ) (х,.-х)', а=у-Ьх. 1=! ! ! Уравнение вида у=а+Ьх называется уравнением линейной регрессии, а получаемые из него значения у! =а+Ьх! — предсказанными значениями, в отличие от наблюдаемых значений ус Заметим, что уравнение линейной регрессии часто бывает удобно записать в виде у=У+Ь(х — х).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
