Лекции в электронном виде, страница 19

Площадьn∆ni=1i=1каждого прямоугольника ni /n есть частота попаданияэлементов выборки в соответствующий интервал Ji статистического ряда.~ n )/n, которая дляРис. 14.2.Рассмотрим случайную величину ni (X~nкаждойреализации~xnслучайнойвыборкиXравнача~ n )/n при n → ∞ бустоте ni /n. В соответствии с законом больших чисел в форме Бернулли ni (Xдет сходиться по вероятности к вероятности попадания случайной величины X в промежуток Ji ,i = 1, m, т.е.~ n) P©ªni (X−→ P X ∈ Ji =n→∞nZp(x) dx,Jiгде p(x) — плотность распределения генеральной совокупности X. Если длина ∆ промежутковдостаточно мала и объем выборки n велик, то с вероятностью, близкой к 1, можно утверждать, чтоni≈ p(exi )∆,nилиni≈ p(exi ),n∆67где xei — середина промежутка Ji , i = 1, m.

Таким образом, при большом объеме выборки n и достаточно малом ∆ с вероятностью, близкой к 1, можно считать, что pn (x) ≈ p(x). Иными словами,функция pn (x) является статистическим аналогом плотности распределения p(x), наблюдаемой вэксперименте случайной величины X, а гистограмма выглядит приблизительно как график плотности случайной величины X.~ n — случайная выборка из генеральной совокупности X с функцией распределения F (x)Пусть X(и плотностью распределения p(x) в случае непрерывной статистической модели).Случайную величинуnX~ n) = 1Xk(14.4)µbk (Xn i=1 iназывают выборочным начальным моментом k-го порядка.

В частности, выборочный на~ n ) называют выборочным средним.чальный момент первого порядка X = µb1 (XСлучайную величинуnX¡¢k~ n) = 1νbk (XXi − X(14.5)n i=1называют выборочным центральным моментом k-го порядка. В частности, выборочный~ n ) = νb2 (X~ n ) называют выборочной дисперсией.центральный момент 2-го порядка σb2 (Xq~ n) = σ~ n ) называют выборочным средним квадратичВыборочную характеристику σb(Xb2 (Xным отклонением.Случайную величинуnX¡¢¡¢b X~ n, Y~n ) = 1K((14.6)Xi − X Yi − Yn i=1называют выборочным корреляционным моментом.Выборочную характеристику~ n, Y~n ) =ρb(Xгдеb X~ n, Y~n )K(,~~n )σbx (Xn ) σby (Yn~ n) =σbx2 (X(14.7)n¢21 X¡Xi − X ,n i=1~n ) =σby2 (Y¢21 X¡Yi − Y ,n i=1называют выборочным коэффициентом корреляции.Значения выборочных моментов (неслучайные числа) будем для краткости называть теми жетерминами, что и сами моменты (случайные величины).Основное свойство выборочных моментов состоит в том, что при увеличении объема выборки nони сходятся по вероятности к соответствующим теоретическим моментам.

В частности, при n → ∞PP~ n ) −→имеем X −→ MX, а σb2 (XDX.n→∞n→∞68Лекция 15Точечные оценкиОдной из задач математической статистики является оценка неизвестных параметров выбраннойпараметрической модели.Предположим, что закон распределения генеральной совокупности принадлежит множеству~ : θ~ ∈ Θ}, где вид функции распределения задан, а вектор параметров θ~ = (θ1 ; . . . ; θr ) неизве{F (x; θ)стен. Требуется найти оценку для θ~ или некоторой функции от него (например, математическогоожидания, дисперсии) по случайной выборке (X1 ; . .

. ; Xn ) из генеральной совокупности X.Например, предположим, что масса X детали имеет нормальный закон распределения, но егопараметры θ1 = MX и θ2 = DX неизвестны. Нужно найти приближенное значение параметров порезультатам наблюдений x1 , . . .

, xn , полученным в эксперименте (по реализации случайной выборки).~ n = (X1 ; . . . ; Xn ) — случайная выборка из генеральной совокупности X, функция распреПусть X¡ ¢деления F x; θ которой известна, а θ — неизвестный параметр, т.е. рассматривается параметриче~ : θ~ ∈ Θ} (для простоты изложения будем считать пока, что θ — скаляр).ская модель {F (x; θ)bX~ n ), которую можно было бы принять в качестве точечнойТребуется построить статистику θ(оценки параметра θ.Определение 15.1 Точечной оценкой параметра θ ∈ Θ назовем любую функцию от наблюдений~ n ).(т.е. любую статистику) θ̂(XbX~ n ) называют состоятельной оценкой параметра θ ∈ Θ, еслиОпределение 15.2 Статистику θ(с ростом объема выборки n она сходится по вероятности к оцениваемому параметру θ, т.е.PbX~ n ) −→θ(θ.n→∞bX~ n ) называют несмещенной оценкой параметра θ, если ееОпределение 15.3 Статистику θ(bX~ n ) = θ для любого фиксированного n.математическое ожидание совпадает с θ, т.е.

Mθ(Замечание 15.1 Можно показать, что статистикаnS2 =¢21 X¡Xi − Xn − 1 i=1является несмещенной и состоятельной оценкой дисперсии DX генеральной совокупности. Ее называют исправленной выборочной дисперсией.Замечание 15.2 Можно доказать, что выборочные начальные и центральные моменты являютсясостоятельными оценками соответствующих теоретических моментов, если только они существуют.Однако эти оценки, кроме X, являются смещенными.Пример 15.1 Пусть X1 , . . .

, Xn — случайная выборка из генеральной совокупности X, имеющейнормальное распределение с неизвестным средним значением θ и известной дисперсией σ 2 .b 1 , . . . , Xn ) = X1 является несмещенной для θ, ибо MX1 = MX = θ, но не являетсяОценка θb = θ(Xсостоятельной, так как, во-первых, X1 не зависит от объема выборки и, следовательно, ее распределение не меняется с ростом n, а во-вторых,©ª2P |X1 − θ| < ε = √σ 2π69Zεe0−t22σ 2dt 6= 1.Метод моментовМетод моментов был предложен английским статистиком К.

Пирсоном и является одним изпервых общих методов оценивания. Он состоит в следующем.~ n = (X1 ; . . . ; Xn ) из генеральной совокупности X, распредеПусть имеется случайная выборка X¡ ¢~ление которой p x; θ известно с точностью до вектора параметров θ~ = (θ1 ; . . . ; θr ). Требуется найти~ n.оценку параметра θ~ по случайной выборке XОбозначим~ = M(X)k , νk (θ)~ = M(X − MX)k —µk (θ)начальный и центральный моменты порядка k, k = 1, 2, . . .

. В методе моментов в качестве точечнойb~X~ n ) = (θb1 (X~ n ); . . . ; θbr (X~ n )) вектора параметров θ~ берут решение системы r уравненийоценки θ((~~ n ) =µi (θ),µbiα (Xα~~ n ) =νj (θ),νbj (Xββα = 1, k,β = 1, l,,k + l = r,(15.1)относительно неизвестных θ1 , . . . , θr . Индексы iα и jβ выбирают так,чтобы система уравнений решалась как можно проще. Можно показать,что при условии непрерывной зависимости решенияэтой системы от µbiα и νbjβ , оценка, полученная методом моментов, является состоятельной и имеет асимптотически нормальное распределение, т.е. ее распределение при n → ∞ стремитсяк нормальному. При этом уравнения (15.1) во многих случаях просты и их решение не вызываетбольших вычислительных сложностей.Понятно, что метод моментов не примени́м, когда моменты генеральной совокупности нужного порядка не существуют (например, для распределения Коши, у которого не существует даженачальный момент первого порядка — математическое ожидание).Пример 15.2 Пусть дана случайная выборка (X1 ; .

. . ; Xn ) объема n из генеральной совокупностиX, имеющей равномерный закон распределения( 1, x ∈ (a, b);p(x) = b − a0,x∈/ (a, b),с неизвестными параметрами a и b. Найдем методом моментов точечные оценки этих параметров.Известно, что для равномерно распределенной случайной величины XMX =a+b,2DX =(b − a)2.12~ n ) вычисляются по формуламВыборочное среднее X и выборочная дисперсия σb2 (XnX=1XXi ,n i=1nX~ n) = 1σb2 (X(Xi − X)2 .n i=1Составляем систему двух уравненийa+b= x,22(b−a)=σb2 (~xn ).12Решая систему, получаемbb = x +√√3σb(~xn ),ba = x−3σb(~xn ).~ n ),3σb(X~ n) = X −ba(XОкончательно имеемbb(X~ n) = X +√√~ n ).3σb (XМетод максимального правдоподобияОдним из наиболее универсальных методов оценивания параметров является метод максимального правдоподобия (предложенный Р.

Фишером), суть которого состоит в следующем.~ n из генеральной совокупности X,Рассмотрим функцию правдоподобияслучайной выборки X¡ ¢плотность распределения p x; θ~ которой известна с точностью до параметра θ~ ∈ Θ:~ =L(X1 , . . . , Xn , θ)nY¡¢p Xi ; θ .i=170По определению, оценкой максимального правдоподобия параметра θ называют статистикуb ~b~θ(Xn ), значения θ~ которой для любой выборки ~xn удовлетворяют условию~b = max L(~xn ; θ),~L(~xn ; θ)~θ∈Θ(15.2)~ достигает максимума.т.е. для выборки функция правдоподобия, как функция аргумента θ,b~ дифференцируема как функция аргумента θ~ при любом значении ~xnЕсли функция L(~xn ; θ)¡¢~ n и максимум L ~xn ; θ~ достигается во внутрениз множества Xn значений случайной выборки Xней точке из Θ, то значение точечной оценки максимального правдоподобия в случае скалярногопараметра удовлетворяет уравнению (необходимому условию экстремума)¡¢¡¢∂ ln L ~xn ; θ∂L ~xn ; θ= 0, или= 0,(15.3)∂θ∂θтак как при логарифмировании точки экстремума остаются теми же, а уравнение, как правило,упрощается.Если распределение случайной величины X зависит от вектора параметров θ~ = (θ1 ; .