ТЕОРИЯ ВЕРОЯТНОСТЕЙ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, (1269688), страница 31
Текст из файла (страница 31)
Поэтомуnn1D( X )D( X ) n - 1M ( D% ) = å M ( X i - m)2 = D( X ) =D ( X ).n i =1nnnПоследняя запись означает, что оценка D% имеет смещение. Онасистематически занижает истинное значение дисперсии. Для полученияnнесмещенной оценки введем поправку в виде множителяиn -1полученную оценку обозначим через s2:nn %nD=n -1n -1Величинаå( Xi =1- X)=nins2 =å(Xi =1i2nå( Xi =1- X )2=n -1is2.- X )2n -1является несмещенной и состоятельной оценкой дисперсии.(3.1.3)Пример 3.1. Оценить математическое ожидание и дисперсиюслучайной величины Х по результатам ее независимых наблюдений: 7, 3, 4,8, 4, 6, 3.Решение.
По формулам (3.1.1) и (3.1.3) имеем7 +3+ 4+8+ 4+6+3М (X ) » X=5;=7(7 - 5)2 + (3 - 5) 2 + (4 - 5) 2 + K + (3 - 5) 2 252D( X ) » s ==» 4,17.66177Ответ. М ( X ) » 5; D ( X ) » 4,17.Задача 3.1. Оцените математическое ожидание и дисперсиюслучайной величины Х по результатам ее независимых наблюдений.
(См.пример 3.1; в качестве исходных данных возьмите данные к задаче 3.22.)Пример 3.2. Данные 25 независимых наблюдений случайной величиныпредставлены в сгруппированном виде:Границы5–77–99–1111–1313–15интерваловЧисло24973наблюденийТребуется оценить математическое ожидание и дисперсию этой случайнойвеличины.Решение. Представителем каждого интервала можно считать егосередину. С учетом этого формулы (3.1.1) и (3.1.3) дают следующиеоценки:6 × 2 + 8 × 4 + 10 × 9 + 12 × 7 + 14 × 3 260М (X ) » X ===10,4;2525(6 - 10, 4)2 × 2 + (8 - 10, 4) 2 × 4 + K + (14 - 10, 4) 2 3 120D( X ) » s ===2424Ответ. М ( X ) » 10,5; D ( X ) » 5.25.Задача 3.2. По сгруппированным данным результатов наблюденийслучайной величины оцените математическое ожидание и дисперсию этойслучайной величины.
(См. пример 3.2; в качестве исходных данныхвозьмите данные к задаче 3.12.)3.1.3. Метод наибольшего правдоподобия для оценки параметровраспределенийВ теории вероятностей и ее приложениях часто приходится иметьдело с законами распределения, которые определяются некоторымипараметрами. В качестве примера можно назвать нормальный законраспределения N (m, s2 ). Его параметры m и s2 имеют смыслматематического ожидания и дисперсии соответственно. Их можнооценить с помощью Х и s2.
В общем случае параметры законовраспределения не всегда напрямую связаны со значениями числовых178характеристик. Поэтому практический интерес представляет следующаязадача.Пусть случайная величина Х имеет функцию распределения F ( x, q),причем тип функции распределения F известен, но неизвестно значениепараметра q. По данным результатов наблюдений нужно оценить значениепараметра. Параметр может быть и многомерным.Продемонстрируем идею метода наибольшего правдоподобия наупрощенном примере. Пусть по результатам наблюдений, отмеченных нарис.
3.1.1 звездочками, нужно отдать предпочтение одной из двух функцийплотности вероятности f ( x, q1 ) или f ( x, q2 ) .f(x,q1)f(x,q2)ХРис. 3.1.1Из рисунка видно, что при значении параметра q2 такие результатынаблюдений маловероятны и вряд ли бы реализовались. При значении жеq1 эти результаты наблюдений вполне возможны. Поэтому значениепараметра q1 более правдоподобно, чем значение q2. Такая аргументацияпозволяет сформулировать принцип наибольшего правдоподобия: вкачестве оценки параметра выбирается то его значение, при которомданные результаты наблюдений наиболее вероятны.Этот принцип приводит к следующему способу действий.
Пустьзакон распределения случайной величины Х зависит от неизвестногозначения параметра q. Обозначим через Р ( х, q) для непрерывнойслучайной величины плотность вероятности в точке х, а для дискретнойслучайной величины –– вероятность того, что Х = х. Если в n независимыхнаблюдениях реализовались значения случайной величины Х 1 , Х 2 ,K, Х n ,то выражениеL( Х 1 , Х 2 ,¼, X n , q) P (=X 1 , q) P( X 2 , q) ×¼× P( X n , q)(3.1.4)называют функцией правдоподобия. Величина L зависит только от параметраq при фиксированных результатах наблюдений Х 1 , Х 2 ,K, Х n .
При каждомзначении параметра q функция L равна вероятности именно тех значенийдискретной случайной величины, которые получены в процессе179наблюдений. Для непрерывной случайной величиныL равна плотностиrвероятности в точке выборочного пространства Х = { Х 1 , Х 2 ,K, Х n } .Сформулированный принцип предлагает в качестве оценки значенияпараметра выбрать такое q = q% при котором L принимает наибольшеезначение. Величина q% , будучи функцией от результатов наблюденийХ 1 , Х 2 ,K, Х n , называется оценкой наибольшего правдоподобия.Во многих случаях, когда L дифференцируема, оценка наибольшегоправдоподобия находится как решение уравнения¶L= 0,(3.1.5)¶qкоторое следует из необходимого условия экстремума.
Поскольку ln Lдостигает максимума при том же значении q, что и L, то можно решатьотносительно q эквивалентное уравнение¶ ln L= 0.(3.1.6)¶qЭто уравнение называют уравнением правдоподобия. Им пользоватьсяудобнее, чем уравнением (3.1.5), так как функция L равна произведению, аln L –– сумме, а дифференцировать ln L проще.Если параметров несколько (многомерный параметр), то следуетвзять частные производные от функции правдоподобия по всемпараметрам, приравнять частные производные нулю и решить полученнуюсистему уравнений.Оценку, получаемую в результате поиска максимума функцииправдоподобия, называют еще оценкой максимального правдоподобия.Известно, что оценки максимального правдоподобия состоятельны.
Крометого, если для q существует эффективная оценка, то уравнение правдоподобияимеет единственное решение, совпадающее с этой оценкой. Оценкамаксимального правдоподобия может оказаться смещенной.3.1.4. Метод моментовНачальным моментом k-го порядка случайной величины Хназывается математическое ожидание k-й степени этой величины, т.е.М ( Х k ).
Само математическое ожидание считается начальным моментомпервого порядка.Центральным моментом k-го порядка называется М [ Х – М ( X )]k .Очевидно, что дисперсия –– это центральный момент второго порядка.Если закон распределения случайной величины зависит от некоторыхпараметров, то от этих параметров зависят и моменты случайнойвеличины.180Для оценки параметров распределения по методу моментов находятна основе опытных данных оценки моментов в количестве, равном числуоцениваемых параметров.
Эти оценки приравнивают к соответствующимтеоретическим моментам, величины которых выражены через параметры.Из полученной системы уравнений можно определить искомые оценки.Например, если Х имеет плотность распределения f ( x, q), то¥М (X ) =ò х f ( x, q)=dxj(q).-¥Если воспользоваться величиной Х как оценкой для М(Х) на основеопытных данных, то оценкой q по методу моментов будет решениеуравнения j(q) = Х .Пример 3.3.1.
Найти оценку параметра показательного законараспределения по методу моментов.Решение. Плотность вероятности показательного закона распределения¥имеетf ( x, l ) l=ехр(-lх), х ³ 0.видПоэтомуM ( X )=ò хlе-lхdx=0= – хе-lх ¥0¥+ ò е -lх dx=0Ответ. l =111и = Х . Откуда l = .l lX1.XПример 3.3.2. Пусть имеется простейший поток событийнеизвестной интенсивности l. Для оценки параметра l проведенонаблюдение потока и зарегистрированы Х 1 , Х 2 ,K, Х n –– длительности nпоследовательных интервалов времени между моментами наступлениясобытий. Найти оценку для l.Решение.
В простейшем потоке интервалы времени междупоследовательными моментами наступления событий потока имеютпоказательный закон распределения F ( x) = 1 – exp{– lx}, х ³ 0. Так какплотность вероятности показательного закона распределения равнаf ( x, l ) F ¢(= x, l) l ехр{–=lx}, то функция правдоподобия (3.1.4) имеет видL = f ( X 1 , l) f ( X 2 , l ) f ( X 3 , l ) × K × f ( X n , l ) =nìün= l ехр{– lX 1} × l ехр{– lX 2 } × K × l ехр{– lX n } l= exp í – l å X i ý.î i=1 þ181nТогда ln L = n ln l – l å X i и уравнение правдоподобияi =1¶ ln L n= - å X i = 0 имеет решение l%¶ll i =1nn=nå Xi1. =Хi =1При таком значении l = l% функция правдоподобия действительно¶ 2 ln Lnдостигает наибольшего значения, так как= - 2 < 0.2¶ll1Ответ. l% = .ХОпределение.
Пусть Х 1 , Х 2 ,K, Х n –– результаты n независимыхнаблюдений случайной величины X. Если расставить эти результаты впорядке возрастания, то получится последовательность значений, которуюназывают вариационным рядом и обозначают:X (1) , X (2) ,K, X ( n ) .В этой записи X (1) = min{ X 1 , X 2 ,K, X n }, X ( n ) = max{ X 1 , X 2 ,K, X n }.Величины X ( k ) называют порядковыми статистиками.Пример 3.3.3. Случайная величина Х имеет равномерное распределениена отрезке [q – b; q + b], где q и b неизвестны.
Пусть Х 1 , Х 2 ,K, Х n ––результаты n независимых наблюдений. Найти оценку параметра q.Решение. Функция плотности вероятности величины Х имеет видì1 / 2b при х Î [q – b; q + b],f ( x, b, q) = íî 0 при остальных х.В этом случае функция правдоподобия L = [1 / 2b]n от q явно независит. Дифференцировать по q такую функцию нельзя и нетвозможности записать уравнение правдоподобия. Однако легко видеть, чтоL возрастает при уменьшении b. Все результаты наблюдений лежат в[q – b; q + b], поэтому можно записать:q – b £ X (1) , X ( n ) £ q + b,где X(1) –– наименьший, а X(n) –– наибольший из результатов наблюдений.При минимально возможном bq=–=b X (1) , X ( n ) q + b,откуда q – b + q + bX=(1) + X ( n ) или 2qX (1)= + X ( n ) .Оценкой наибольшего правдоподобия для параметра q будет величина182X + X (n)Ответ.
q% = (1).2X + X (n)q% = (1).2Пример 3.3.4. Случайная величина X имеет функцию распределенияì0 при x < 0,ïF ( x)= í x 2 / a 2 при x Î [0, a ],ï1 при x > a,îгде a > 0 неизвестный параметр.Пусть Х 1 , Х 2 ,K, Х n –– результаты n независимых наблюденийслучайной величины X. Требуется найти оценку наибольшегоправдоподобия для параметра a и найти оценку для M(X).Решение. Для построения функции правдоподобия найдем сначалафункцию плотности вероятностиì 2 x / a 2 при x Î [0, a ],f ( x) = íî0 при остальных x.Тогда функция правдоподобия:2 X1 2 X 22 X n 2n nL( X 1 , X 2 ,¼, X n , a=)×× ...
× 2 = 2 n Õ X i .a2 a 2aa i =1Логарифмическая функция правдоподобия:nln[ L( X 1 , X 2 ,K, X n , a)] = n ln 2 - 2n ln a + å ln X i .i =1Уравнение правдоподобия¶ ln( L)2n==0¶aaне имеет решений. Критических точек нет. Наибольшее и наименьшеезначения L находятся на границе допустимых значений a.По виду функции L можно заключить, что значение L тем больше,чем меньше величина a. Но a не может быть меньше X(n). Поэтомунаиболее правдоподобное значение a = max{ X 1 , X 2 ,K, X n } = X ( n ) .a2x2dx = a , то оценкой наибольшего правдоподобия2a302для M ( X ) будет величина X ( n ) .32Ответ. a = max{ X 1 , X 2 ,K, X n } = X ( n ) , M ( X ) = X ( n ) .3Так как M ( X ) = ò x ×183Пример 3.3.5. Случайная величина Х имеет нормальный законраспределения N(m,s2) c неизвестными параметрами m и s.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
