А.В. Прохоров - Курс лекций по математической статистике (1124594), страница 6
Текст из файла (страница 6)
Ïóñòü ^n àñèìïòîòè÷å2ñêè íîðìàëüíà ñ N (; n() ). Îíà íàçûâàåòñÿ àñèìïòîòè÷åñêè ýåêòèâíîé (â ðàìêàõ àñèìïòîòè÷åñêîéíîðìàëüíîñòè), åñëè1=In ()! 1:2 ()=n n!12.5.3. Ìåòîä ìàêñèìàëüíîãî (íàèáîëüøåãî) ïðàâäîïîäîáèÿÏðèíöèï ÌÏ â ïðîñòåéøåì ñëó÷àå Ïðèíöèï ÌÏ áûë ðàññìîòðåí åù¼ àóññîì â ñëåäóþùåé îðìå:íàéä¼ì òàêèå çíà÷åíèÿ ïàðàìåòðîâ, ÷òîáû âåðîÿòíîñòü ïîëó÷èòü äàííóþ âûáîðêó áûëà ìàêñèìàëüíîé (áåð¼ìmax P (1 = x1 ; : : : ; n = xn ) = P (1 = x1 ; : : : ; n = xn )). îöåíêà ÌÏ (íàèáîëåå ïðàâäîïîäîáíîå çíà÷åíèå 2).Îáùàÿ ñèòóàöèÿ x1 ; : : : ; xn âûáîðêà â (X; A ; P ), P = fP j 2 g.
L(; x1 ; : : : ; xn ) óíêöèÿ ïðàâäîïîäîáèÿ. Âîçüì¼ìòàêîå, ÷òîsup L(; x1 ; : : : ; xn ) = L( ; x1 ; : : : ; xn ) 2(åñëè òî÷íàÿ âåðõíÿÿ ãðàíü äîñòèãàåòñÿ). íàçûâàåòñÿ îöåíêîé ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ÎÌÏ).Ïðèìåð 5.5. 1 ; : : : ; n âçàèìíî íåçàâèñèìû è ðàâíîìåðíî ðàñïðåäåëåíû íà [0; ℄; 2 = (0; +1).L(; x1 ; : : : ; xn ) = f (x1 ) f (xn ), ãäå f (x) = 1 I[0;℄(x) ïëîòíîñòü ðàâíîìåðíîãî ðàñïðåäåëåíèÿ. L 6= 0 òîãäàè òîëüêî òîãäà, êîãäà äëÿ âñåõ i xi 2 [0; ℄.(1 x 6L = n (n)0 â èíîì ñëó÷àåL äîñòèãàåòñÿ ïðè = = x(n) = maxx .
ÎÌÏ.i iÏðåäïîëîæèì, ÷òî óíêöèÿ L(; x1 ; : : : ; xn ) äèåðåíöèðóåìà ïî ïàðàìåòðó ( 2 R). Òîãäà ÎÌÏln L = 0, åñëè ýòîìîæíî íàéòè, ðåøàÿ óðàâíåíèå ïðàâäîïîäîáèÿ: L() = 0 (èëè ïåðåõîäèì ê ëîãàðèìàì: kâîçìîæíî).  ñëó÷àå R ïîëó÷àåì ñèñòåìó óðàâíåíèé.ßñíî, ÷òî ìàêñèìóìÒåîðåìà 2.10 (î ñâîéñòâàõ ÎÌÏ òåîðåìà Äþãå). Ïðè âûïîëíåíèè óñëîâèé ðåãóëÿðíîñòè () ÎÌÏîáëàäàåò ñëåäóþùèìè àñèìïòîòè÷åñêèìè ñâîéñòâàìè:1. ñîñòîÿòåëüíîñòü;2. àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü è àñèìïòîòè÷åñêàÿ ýåêòèâíîñòü.Óñëîâèÿ ðåãóëÿðíîñòè ():1.ln f , 2 ln2 f , 3 ln3 f äëÿ 2 . íåâûðîæäåííûé çàìêíóòûé èíòåðâàë íà R; ñóùåñòâóþò 182.
Äëÿ âñåõãäå 2 :g1 è g2 ln f 6 g1 (x);èíòåãðèðóåìû íà R, àH 2 ln f 2 3 ln f 3 6 H (x);îáëàäàåò ñëåäóþùèì ñâîéñòâîì:+1ZM H =3.6 g2 (x);1H (x)f (x) dx < M(M íå çàâèñèò îò ).0 < I1 () =+1Z1 ln f 2f (x) dx < 1:Ýòè óñëîâèÿ ñîäåðæàò óñëîâèÿ Êðàìåðà àî.Ëåììà 2.11. Ïóñòün1X ln f (i ) B0 =n i=1=0B1 =n1X 2 ln f (i ) n i=12=0n1XB2 =H (i )n i=1PPPBj ÿâëÿþòñÿ óíêöèÿìè îò 1 ; : : : ; n ).
Òîãäà B0 !MB0 = 0; B1 !MB1 = k2 , ãäå k2 = I1 (); B2 !MH (1 ) < M (ïðè n ! 1). Ïðåäåëüíûå ñâîéñòâà B1 , B2 è B3 ñëåäóþò èç ÇÁ× (Bj ÿâëÿþòñÿ ñðåäíèìè àðèìåòè÷åñêèìè íåçàâè(âñåñèìûõ îäèíàêîâî ðàñïðåäåë¼ííûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûìè ìàòåìàòè÷åñêèìè îæèäàíèÿìè). óñëîâèÿõ ðåãóëÿðíîñòè ìåíÿåì äèåðåíöèðîâàíèå ïî è èíòåãðèðîâàíèå:f ( )M ln=+1Z1 ln f (x)f (x) dx =+1Z11 f (x)f (x) dx =f (x) +1Z1|f (x) dx = 0{z=1}nPf (i ) = 0.MB0 = n1 M lni=1Óòâåðæäåíèå MB1 = k 2 âûòåêàåò èç ñëåäóþùåé âûêëàäêè3 :Îòñþäà+1+1 ZZ 2 ln f ( ) ln f (x)1 f (x)M 2 = f (x) dx = f (x) f (x) dx =11+1+1 2+1ZZZ1 f (x) f (x) f (x) 1f (x) 2 1=f(x)dx+f(x)dx=dx +f2 (x) 2 f (x) f (x)111+1+1+1ZZZ2 12 ln f (x) ln f (x) 2+ 2f (x) dx =f (x)dx =f (x) dx =f (x)111|{z}=0 ln f ( ) 2= M= I1 () = k2:Ëåììà 2.12.1.2.dPdXn n!1! X , Yn n!1! 0 ) Xn + Yn n!1! X.dPddXn n!1! X , Zn n!1! 1 ) Xn Zn n!1! X , Xn =Zn n!1! X.3 Ëåêòîð íà íå¼ çàáèë, íî ÿ âñ¼ æå ïðèâåäó å¼.
ïðèìå÷. Ñ. Ê.19(Ýòî çàäà÷à ïî òåîðèè âåðîÿòíîñòåé) [Äîêàçàòåëüñòâî òåîðåìû Äþãå℄(x 2 R, ln f (x) ln f 2 ln f 1= fðàçëîæåíèå Òåéëîðàg =+ ( 0 )+ ( 0 )2 H (x) =02 =0 2j j < 1). Âñïîìèíàåì, ÷òî L(; x1 ; : : : ; xn ) = f (x1 ) f (xn ), è ïåðåïèñûâàåì óðàâíåíèå ïðàâäîïîäîáèÿ1 ln L(; x1 ; : : : ; xn )=0nâ âèäå:10 )B1 + ( 0 )2 B2 = 0:2Çàäàäèì " > 0, Æ > 0 ìàëûå ÷èñëà. Âûáåðåì n > n0 (Æ; ") òàê, ÷òîáû"k22P jB0 j > Æ < 3 P B1 > 2 < 3" P(jB2 j > 2M ) < 3" :Ïîëîæèì S = fx j jB0 j < Æ 2 ; B1 < 21 k 2 ; jB2 j < 2M g. Ïðè n > n0 P(S ) > 1 ".
Ïóñòü x 2 S . Ïîëîæèì = 0 Æ .Òàê êàê jB0 + 21 Æ 2 B2 j 6 Æ 2 (1 + M ), ïðè ìàëûõ Æ çíàê âûðàæåíèÿ Û() = B0 ÆB1 + 12 Æ 2 B2 îïðåäåëÿåòñÿln L > 0, à åñëè = 0 + Æ, òî ln L < 0. Îòñþäàâòîðûì ñëàãàåìûì. Ïîýòîìó (ïðè ìàëûõ Æ ) åñëè = 0 Æ , òî ln L = 0, ò. å. òî÷êà ìàêñèìóìà. Èòàê, ñ âåðîÿòíîñòüþ,ïî íåïðåðûâíîñòè 9 2 (0 Æ; 0 + Æ ) ò.,÷. íå=ìåíüøåé, ÷åì 1 ", òî÷êà ìàêñèìóìà ëåæèò â (0 Æ; 0 + Æ ), îòêóäà ñëåäóåò ñîñòîÿòåëüíîñòü.Äîêàæåì àñèìïòîòè÷åñêóþ íîðìàëüíîñòü è àñèìïòîòè÷åñêóþ ýåêòèâíîñòü. Èìååì Û( ) = 0.
ÎòñþäàÛ() = B0 + (Äàëåå (k 2B01 ( 0 )B2 :2 0 =B1= I1 ()), 01 =pnk21pnk2n ln f ( )Pii=1:+ 12 k B2Yi = lnf (i ) íåçàâèñèìûå è îäèíàêîâî ðàñïðåäåë¼ííûå ñ MYi = 0 è DYi = MYi2 = k2 .  ñèëó ÖÏÒ ÷èñëèòåëüp1 2nkXB1k220 ln f (i ) d! Z N (0; 1):n!1PPB1 !k2 , B2 !MH (1 ) < M , îòêóäà çíàìåíàòåëüB1 1 0 P+ B2 ! 1k2 2 k2p(âòîðîå ñëàãàåìîå îöåíèâàåòñÿ ÷åðåç 12 kM2 ( 0 ), à 0 < Æ ! 0). Òîãäà (â ñèëó ëåììû 2.12) nk 2 ( 0 )àñèìïòîòè÷åñêè íîðìàëüíà ñ N (0; 1).
Îòñþäà àñèìïòîòè÷åñêè íîðìàëüíà ñ N (0 ; nk1 2 ), à ò. ê. àñèìïòîòè÷åñêàÿäèñïåðñèÿ nk 2 = In (), òî àñèìïòîòè÷åñêè ýåêòèâíà (â ðàìêàõ àñèìïòîòè÷åñêîé íîðìàëüíîñòè).  ñèëó ëåììû 2.11Çàäà÷à 2.3. Ïóñòü P = fP j 2 g ðåãóëÿðíîå ïàðàìåòðè÷åñêîå ñåìåéñòâî ðàñïðåäåëåíèé.
Äîêàæèòå,÷òî åñëè ñóùåñòâóåò ýåêòèâíàÿ (â ñìûñëå íåðàâåíñòâà Êðàìåðà àî) îöåíêà ^, òî^ åñòü ÎÌÏ.2.6. Î ñâîéñòâàõ èíîðìàöèè ÔèøåðàP = fP j 2 g, x1 ; : : : ; xs âûáîðêà. L(; x1 ; : : : ; xn ) óíêöèÿ ïðàâäîïîäîáèÿ. Èíîðìàöèÿ Ôèøåðà: ln L(; 1 ; : : : ; n ) 2In () = MI 1 () = I1 () (I ()=: I (): èíîðìàöèÿ â âûáîðêå ýòî ïðîñòî òàêîå îáîçíà÷åíèå). Äëÿ èíîðìàöèè Ôèøåðàâûïîëíÿþòñÿ âñå îáû÷íûå ñâîéñòâà èíîðìàöèè:Óòâåðæäåíèå 2.13 (ñâîéñòâà èíîðìàöèè Ôèøåðà).1.I () = I 1 () + + I n (), åñëè 1 ; : : : ; níåçàâèñèìû.202.
Äëÿ ïîâòîðíîé âûáîðêè I () = nI 1 ().3. Ïóñòü (T; C ) èçìåðèìîå ïðîñòðàíñòâî çíà÷åíèé ñòàòèñòèêè T , Q ðàñïðåäåëåíèå ñòàòèñòèêèT , Le(; T (x)) óíêöèÿ ïðàâäîïîäîáèÿ äëÿ T (x) (ñòàòèñòèêà T íå îáÿçàòåëüíî îäíîìåðíà), I T () () =e ; T ( ))M ln L(!2 èíîðìàöèÿ Ôèøåðà â ñòàòèñòèêåT . Òîãäà I () > I T () ().Äîêàæåì òîëüêî ïóíêò 3 (îñòàëüíûå òðèâèàëüíû), äà è òî ëèøü â äèñêðåòíîì ñëó÷àå.L(; x) = P ( = x).Le(; T (x)) = Le(; t) = ln L(; x)0 6 M ln Le(; T (x))!2= I ()Xx:T (x)=tP ( = x)! ln L(; x) ln Le(; T (x))2M+ I T () ():Äàëåå (çäåñü øòðèõ îçíà÷àåò ïðîèçâîäíóþ ïî ),Le0 (; t) =Xx:T (x)=tP0 ( = x) =Xx:T (x)=tL0 (; x);îòêóäà!X X L0 (; x) LXLXe 0 (; T (x))e 0 (; t)ln L ln LeM =L(;x)=L0(; x) =e (; T (x))e (; t)L(;x)LLt x:T (x)=ttx:T (x)=t!2!2X LXLe 0 (; t)e 0 (; T ( ))e 0 (; t)L0=Le (; t) =Le(; t) = M e= I T () ();eeL(; t)L(; T ( ))tt L(; t)ïîýòîìó0 6 I () 2I T ()() + I T () () = I () I T () (), òî åñòü I () > I T () ().
2.7. Äîñòàòî÷íûå ñòàòèñòèêè(X ; A ; P = fP j 2 g) ïàðàìåòðè÷åñêàÿ ìîäåëü; x1 ; : : : ; xn âûáîðêà.Îïðåäåëåíèå. Ñòàòèñòèêà T (x) = T (x1 ; : : : ; xn ) íàçûâàåòñÿ äîñòàòî÷íîé (äëÿäàííîé ìîäåëè), åñëè äëÿâñåõ 2 è äëÿ âñåõ A 2 A óñëîâíàÿ âåðîÿòíîñòü P (A j T ( ) = t) íå çàâèñèò îò äëÿ âñåõ t, äëÿ êîòîðûõîïðåäåëåíà óñëîâíàÿ âåðîÿòíîñòü.Íàéòè äîñòàòî÷íóþ ñòàòèñòèêó ïî îïðåäåëåíèþ íå ïðåäñòàâëÿåòñÿ âîçìîæíûì.PÏðèìåð 7.1.
Ñõåìà Áåðíóëëè. T (x) = xi . Ïóñòü t è x òàêîâû, ÷òî T (x) = t. Òîãäàtn tP ( = x j T ( ) = t) = PP(T((=) =x)t) = Ct (1t (1 ))n t = C1tnnÑëåäîâàòåëüíî,T (x) =Pxi íå çàâèñèò îò . äîñòàòî÷íàÿ ñòàòèñòèêà.Òåîðåìà 2.14 (êðèòåðèé äîñòàòî÷íîñòè òåîðåìà Íåéìàíà Ôèøåðà òåîðåìà î àêòîðèçàöèè). T äîñòàòî÷íàÿ ñòàòèñòèêà òîãäà è òîëüêî òîãäà, êîãäà èìååò ìåñòî ñëåäóþùåå ïðåäñòàâëåíèåóíêöèè ïðàâäîïîäîáèÿ:L(; x) = g (T (x))h(x)g (T (x)) = g(; T (x));ãäå g èh íåîòðèöàòåëüíûå èçìåðèìûå óíêöèè (êàæäàÿ â ñâîåé îáëàñòè).Çàìå÷àíèå.
L(; x) ïëîòíîñòü ñîâìåñòíîãî ðàñïðåäåëåíèÿ 1 ; : : : ; n ïî íåêîòîðîé ìåðå ; ñåìåéñòâî fP gàáñîëþòíî íåïðåðûâíî îòíîñèòåëüíî ìåðû , ïëîòíîñòü ïðîèçâîäíàÿ àäîíà Íèêîäèìà. Íàì âàæíû äâàñëó÷àÿ: à) ìåðà Ëåáåãà, á) ñ÷èòàþùàÿ ìåðà. [Äîêàçàòåëüñòâî äëÿ äèñêðåòíîãî ñëó÷àÿ℄ x 2 X âûáîðêà.(P (=x)4P ( = x j T ( ) = t) = P (T ()=t) ; T (x) = t0;T (x) 6= t4 Ëåêòîð èñïîëüçîâàë ñòðàííîå îáîçíà÷åíèåx 2 fx j T (x) = tg ïðèìå÷.21Ñ. Ê.Íåîáõîäèìîñòü. ÏóñòüT äîñòàòî÷íàÿ ñòàòèñòèêà. Òîãäà ïîëîæèìh(x) =P ( = x)P (T ( ) = t) íå çàâèñèò îò â ñèëó äîñòàòî÷íîñòè T ,îòêóäà L(; x) = P ( = x) = P (T ( ) = t) h(x) = g (T (x)) h(x).Äîñòàòî÷íîñòü.
Ïóñòü T (x) = t. ÒîãäàP ( = x j T ( ) = t) =ïîýòîìóT äîñòàòî÷íàÿ ñòàòèñòèêà.g (t)h(x)h(x)=Pg (t)h(x)h(x)T (x)=tP íå çàâèñèò îò ,2.8. Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèåÎïðåäåëåíèå. Ïóñòü (; A ; P) âåðîÿòíîñòíîå ïðîñòðàíñòâî, A -èçìåðèìàÿ óíêöèÿ (ñëó÷àéíàÿ âåëè÷èíà), C -ïîäàëãåáðà â A . Òîãäà óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì (ÓÌÎ; îáîçíà÷åíèå: M( j C )) îòíîñèòåëüíî C (áîëåå òî÷íî, âàðèàíòîì ÓÌÎ) íàçûâàåòñÿ ñëó÷àéíàÿ âåëè÷èíà ~(!), óäîâëåòâîðÿþùàÿ ñëåäóþùèì óñëîâèÿì:1.
~ C -èçìåðèìà;2. äëÿ âñåõ C 2 CZCÇàìå÷àíèå. íå îáÿçàíà áûòü dP =Z~ dP, ò.å. M IC = M~IC :CC -èçìåðèìîé (èíà÷å îïðåäåëåíèå òðèâèàëüíî: âîçüì¼ì ~ = ). ÓÌÎ åñòüîñðåäíåíèå ñëó÷àéíîé âåëè÷èíû, ÷òîáû òà ñòàëà èçìåðèìîé îòíîñèòåëüíî áîëåå ãðóáîé -àëãåáðû.Ñëåäóþùèå äâà óòâåðæäåíèÿ îáîñíîâûâàþò êîððåêòíîñòü îïðåäåëåíèÿ:Óòâåðæäåíèå 2.15. Âàðèàíòû ÓÌÎ ñóùåñòâóþò, åñëè Mj j < 1.R Ñíà÷àëà ðàññìîòðèì ñëó÷àé íåîòðèöàòåëüíîé ñëó÷àéíîé âåëè÷èíû .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
