Оценивание параметров и метод максимального правдоподобия

5. Оценивание параметров и метод максимального правдоподобия

Оценивание параметров является одной из основных задач математической статистики. В наиболее общей постановке предполагается, что распределение  случайного элемента  за­висит от неизвестного параметра , принадлежащего некоторо­му множеству . Оценка параметра  — это произвольная случайная величина со значениями в , измеримая относитель­но -алгебры, порождённой , или, что то же самое, представимая в виде функции от . Содержательный смысл задача оце­нивания приобретает после конкретизации модели и дополни­тельных требований, которые предъявляются к оценке (несмещённость, состоятельность, эффективность, робастность и т. п.).

Пример 1. Пусть  — гауссовский случайный вектор с независимыми компонентами, имеющими среднее зна­чение  и дисперсию . Эта классическая модель послужила источником для выработки многих понятий и методов теории оценивания. Она допускает несколько вариантов:

1.   неизве­стно,  неизвестно,

2.   неизвестно,  известно,

3.   извест­но,  неизвестно.

Требуется оценить неизвестный параметр .

В классической теории считаются естественными следующие свойства оценки параметра  ( указывает длину выборки -число компонент вектора ).

Несмещённость — математическое ожидание оценки совпа­дает с истинным значением параметра: ; или более сла­бое свойство:  при  (асимптотическая несмещённость).

Рекомендуемые материалы

Состоятельность —  стремится к  по вероятности при .

Эффективность — оценка  обладает наименьшей мерой случайного уклонения от  среди всех оценок. В случае ска­лярного параметра в качестве меры уклонения оценки  часто берут величину , совпадающую для несмещённых оце­нок с дисперсией. В векторном случае в качестве меры разброса берут определитель или след ковариационной матрицы оценки.

Полезным свойством оценки, более сильным, чем состоятель­ность, является асимптотическая нормальность — сходимость распределений случайных величин  к нормальному закону.

Важнейшим методом получения оценок параметров является максимального правдоподобия метод. Предположим, что  (распределение случайного элемента ) при всех  имеет плот­ность  относительно некоторой меры . Тогда оценка ме­тода максимума правдоподобия (ОМП) — это случайная вели­чина, доставляющая максимум по  функции правдоподобия .

Метод максимального правдоподобия предназначен для нахождения статистических оценок неизвестных параметров распределения, согласно которому в качестве оценок выбирают­ся те значения параметров, при которых данные результаты на­блюдения «наиболее вероятны». Обычно предполагается, что результаты наблюдений  являются взаимно независимыми случайными величи­нами с одним и тем же распределением вероятностей, зависящим от одного неизвестного параметра , где  — множество до­пустимых значений . Для придания точного смысла принципу «наибольшей вероятности» поступают следующим образом. Вводят функцию от переменных  и

,

где  в случае исходного непрерывного распределения интерпретируется как плотность вероятности случайной величины , а в дискретном случае — как вероятность того, что случайная величина  примет значение . Функцию от случайных величин , рассматриваемую как функцию , называют функцией правдоподобия, а оценкой максимального правдоподобия параметра  называют такое значение

 (само являющееся случайной величиной), при котором функ­ция правдоподобия достигает наибольшего возможного значе­ния. Так как точка максимума для  та же, что и для , то для нахождения оценок максимального правдоподобия следу­ет решить т. н. уравнение правдоподобия

.

Метод максимального правдоподобия в достаточно широком круге практически важных слу­чаев является в известном смысле наилучшим. Так, например, можно утверждать, что если для параметра  существует не­смещённая оценка * с наилучшей дисперсией при фиксиро­ванном , то уравнение правдоподобия имеет единственное ре­шение  = *.

Что касается асимптотического поведения оценок максимального правдоподобия при больших , то известно, что при некоторых общих условиях метод максимального правдоподобия приводит к не­смещённым оценкам, которые, следовательно, асимптотически нормальны и асимптотически эффективны.

Данные выше определения непосредственно обобщаются и на случай нескольких неизвестных параметров и на случай вы­борок из многомерных распределений.

Метод максимального правдоподобия в его современном виде был предложен Р. Фише­ром (Великобритания, 1912), однако в частных формах ме­тод использовался в 19 в. К. Гауссом (Германия), а ещё рань­ше, в 18 в., к его идее были близки И. Ламберт (Германия) и Д. Бернулли (Швейцария).

Пусть в примере 1 оба параметра неизвестны, . Тогда

и оценка ме­тода максимума правдоподобия (ОМП) имеет вид

, .

Её первая компонента  является несмещённой, состоятель­ной и эффективной оценкой , в то время как оценка диспер­сии из этих свойств обладает только вторым. ОМП дисперсии имеет отрицательное смещение, равное  и, значит, являет­ся асимптотически несмещённой. Можно показать, что в опре­делённом смысле эта оценка асимптотически эффективна.

ОМП обладает хорошими асимптотическими свойствами и для гораздо более широких классов моделей.

Пример 2. Авторегрессионная модель в непрерывном вре­мени. Пусть  — случайный процесс, являю­щийся решением стохастического дифференциального уравне­ния вида

, ,

где  — винеровский процесс,  — вещественный параметр. При любом  распределение  процесса  в пространстве не­прерывных функций имеет плотность относительно винеровской меры. Функция правдоподобия в рассматриваемой моде­ли имеет вид

.

Отсюда получается выражение для ОМП

.

Другим методом статистического оценивания параметров является метод мо­ментов. Пусть компоненты вектора  — независимые одинако­во распределённые случайные величины, распределение кото­рых зависит от -мерного параметра . Идея метода моментов состоит в нахождении значения параметра, при котором первые  теоретических моментов  совпада­ют с выборочными моментами, т. е. оценка метода моментов находится как решение системы уравнений

, .

В задаче стохастического оценивания параметров, вообще говоря, не предпола­гается, что параметр  однозначно определяет распределение и, следовательно, метод максимума правдоподобия и метод мо­ментов применимы не для любых моделей. Кроме того, соот­ветствующие оценки могут не существовать.

Пример 3. Модель линейной регрессии. Вектор , имеет ком­поненты

, ,

 — некоторые наперёд заданные числа, а ошибки наблюде­ний  — независимые случайные величины, имеющие нулевое среднее и конечную дисперсию .

В регрессионных задачах традиционно используется наи­меньших квадратов метод, когда оценки ищутся из условия минимизации квадратичной формы

.

Для нормально распределённых ошибок оценки метода наи­меньших квадратов совпадают с оценкой метода максимального правдоподобия. В практических зада­чах метод наименьших квадратов получил самое широкое рас­пространение, причём немаловажную роль при этом играет лёгкость его вычислительной реализации.

Бесплатная лекция: "10 Стадия выполнения подготовительных действий" также доступна.

Несмотря на свои достоинства, методы максимума правдопо­добия и наименьших квадратов обладают существенным недо­статком. Предположим, что при записи наблюдений произошла ошибка, в результате чего в регрессионных данных появилась резко выделяющаяся точка. Линия регрессии, построенная по методу наименьших квадратов, отклонится в сторону ошибоч­ного наблюдения. Удаление выделяющейся точки или исправ­ление ошибки приведёт к совершенно другим значениям коэф­фициентов. Анализ подобных ситуаций привёл к построению робастных оценок параметров (от английского robust— гру­бый), обладающих свойством устойчивости по отношению к «загрязнениям», когда с малой вероятностью появляются на­блюдения, сильно отличающиеся по своим свойствам.

Например, для получения робастных оценок в задаче регрес­сии вместо минимизации суммы квадратов уклонений можно минимизировать сумму величин вида , где  — функция, растущая медленнее, чем  и т. п.). В задачах оценивания параметров робастными оказываются оценки, основанные на порядковых статистиках и рангах (номерах членов вариа­ционного ряда — выборки, упорядоченной по возрастанию значений). Так, в модели с «засорением» нормального распре­деления выборочная медиана во многих случаях оказывается более эффективной оценкой среднего значения распределения. При построении робастных оценок полезным оказывается приём с отбрасыванием «хвостовых» членов вариационного ряда — цензурирование выборки.

Особую ветвь в теории статистического оценивания параметров составляет бейесовский подход к оцениванию, при котором оценка  также считается случайной величиной. Условное математическое ожидание  называется бейесовской оценкой . При бейесовском подходе используется следующая терминология: рас­пределение  (вероятностная мера на ) называется априорным распределением, условное распределение  при условии, что  приняло значение , — апостериорным распре­делением. Таким образом, бейесовская оценка есть среднее значение , вычисленное по апостериорному распределению.

В задачах практики часто важно знать не точное значение параметра, а иметь гарантию, что его истинное значение лока­лизовано в какой-то области с достаточно большой вероят­ностью. В одномерном случае это означает, что надо указать интервал, границами которого являются случайные величины  и , накрывающий истинное значение пара­метра с вероятностью , близкой к единице. Интервал [] называется интервальной оценкой параметра  (в отличие от точечных оценок, рассмотренных выше) или доверительным интервалом с уровнем доверия .

Традиционно оцениваемый параметр принадлежит подмножеству конечномерного евклидова пространства. Это объясня­ет терминологию, когда задачи, в которых оцениваемый пара­метр принадлежит какому-нибудь пространству функций, на­зываются непараметрическими задачами оценивания.

В статистике случайных процессов развит подход последо­вательного оценивания параметров, когда момент окончания наблюдений заранее не фиксирован, а является случайной ве­личиной, зависящей от текущей реализации процесса. Такие моменты называются марковскими или моментами остановки. Методы последовательного анализа позволяют для моделей авторегрессии и скользящего суммирования строить оценки с гарантированной дисперсией.