А.В. Прохоров - Курс лекций по математической статистике (1124594), страница 5
Текст из файла (страница 5)
àñïðåäåëåíèå ïîðÿäêîâîé ñòàòèñòèêè (k) , 1 6 k 6 n, äëÿ ñëó÷àéíîé âûáîðêè 1 ; : : : ; nñ ðàâíîìåðíûì ðàñïðåäåëåíèåì íà îòðåçêå [0; 1℄ ÿâëÿåòñÿ áåòà-ðàñïðåäåëåíèåì ñ ïàðàìåòðàìè a = k , b =n k + 1.Çàìå÷àíèå. Ôóíêöèÿ ðàñïðåäåëåíèÿ ïîðÿäêîâûõ ñòàòèñòèê â ñëó÷àå ïðîèçâîëüíîé íåïðåðûâíîé óíêöèèðàñïðåäåëåíèÿF (x) ñëó÷àéíîé âûáîðêè 1 ; : : : ; nèìååò âèäP((k) 6 x) = IF (x) (k; n k + 1).2.3.
Ôóíêöèÿ ïðàâäîïîäîáèÿ. åãóëÿðíûå ìîäåëèÏóñòü â íåêîòîðîé ñòàòèñòè÷åñêîé ìîäåëè (X; AX ; P = fP ; 2 g) èìååòñÿ âûáîðêà x = (x1 ; : : : ; xn ),ïîðîæäåííàÿ ñëó÷àéíîé âûáîðêîé 1 ; : : : ; n (), ãäå ñëó÷àéíûå âåëè÷èíû 1 ; : : : ; n íåçàâèñèìû è îäèíàêîâîðàñïðåäåëåíû ñ óíêöèåé ðàñïðåäåëåíèÿ F (x), 2 ïàðàìåòð ðàñïðåäåëåíèÿ.Îöåíêà ïàðàìåòðà ýòî ïîäõîäÿùàÿ ñòàòèñòèêà (èçìåðèìàÿ óíêöèÿ îò âûáîðî÷íûõ äàííûõ): ^ = ^(x).Ïóñòü èìåþòñÿ äâå îöåíêè ïàðàìåòðà . Îïðåäåëèì, ÷òî çíà÷èò, ÷òî îäíà îöåíêà ¾ëó÷øå¿ äðóãîé.Îïðåäåëåíèå. Ïóñòü ^1 è ^2 äâå îöåíêè ïàðàìåòðà . îâîðÿò, ÷òî îöåíêà ^1 ëó÷øå (èëè ïðåäïî÷òèòåëüíåé) îöåíêè ^2 , åñëèM (^1 )2 6 M (^2 )2 8 2 ;22è 9 0 : M (^1 0 ) < M (^2 0 ) :00Îïðåäåëåíèå. Ýåêòèâíîé îöåíêîé ïàðàìåòðà íàçûâàåòñÿ íåñìåùåííàÿ îöåíêà ñ ìèíèìàëüíîé äèñïåðñèåé, ò.
å. òàêàÿ îöåíêà ^ , äëÿ êîòîðîé âûïîëíåíû ñëåäóþùèå ñâîéñòâà:141)2)M ^ = 8 2 ;M (^ )2 = ^ min^ M (^ )2 : : M =Íàïîìíèì, ÷òî äëÿ íåñìåùåííûõ îöåíîê ñðåäíåêâàäðàòè÷íîå îòêëîíåíèå ñîâïàäàåò ñ äèñïåðñèåé:M (^ )2 = M (^ M^)2 = D:^Òàêèì îáðàçîì, ýåêòèâíàÿ îöåíêà ýòî íàèëó÷øàÿ èç âñåõ íåñìåùåííûõ îöåíîê. Àíàëîãè÷íî ìîæíîîïðåäåëèòü ýåêòèâíóþ îöåíêó â êëàññå îöåíîê ñ çàäàííûì ñìåùåíèåì : M ^1 = M ^2 = .Íàñ áóäóò èíòåðåñîâàòü äâà ñëó÷àÿ: ðàñïðåäåëåíèå äèñêðåòíî (ñ ðàñïðåäåëåíèåì âåðîÿòíîñòåé P ) èëèàáñîëþòíî íåïðåðûâíî (ñ ïëîòíîñòüþ p(; x)).
×òîáû â äàëüíåéøåì íå ðàññìàòðèâàòü ýòè ñëó÷àè îòäåëüíî,ââåäåì ñëåäóþùåå óäîáíîå îáîçíà÷åíèå:f (; x) =P ( = x);p(; x);åñëè ìîäåëü äèñêðåòíà;åñëè ìîäåëü àáñîëþòíî íåïðåðûâíà. äàëüíåéøåì ïðèäåòñÿ èíòåãðèðîâàòü ïî âûáîðî÷íîìó ïðîñòðàíñòâó, ïîýòîìó îòìåòèì, ÷òî åñëè ìîäåëüäèñêðåòíà, òî èíòåãðèðîâàíèå çàìåíÿåòñÿ ñóììèðîâàíèåì (äëÿ êðàòêîñòè, ìû áóäåì ïðîâîäèòü âñå âûêëàäêèäëÿ àáñîëþòíî íåïðåðûâíîé ìîäåëè).Îïðåäåëåíèå. Ôóíêöèåé ïðàâäîïîäîáèÿ (äëÿ äàííîé âûáîðêè x1 ; : : : ; xn ) íàçûâàåòñÿ ñëåäóþùàÿ óíêöèÿ(ïàðàìåòðà ):nYL(; x1 ; : : : ; xn ) := f (; xi ); 2 :i=1 äàëüíåéøåì äëÿ êðàòêîñòè ìû áóäåì ïèñàòü L(; x) = L(; x1 ; : : : ; xn ), x = (x1 ; : : : ; xn ).Îïðåäåëåíèå.
Ñòàòèñòè÷åñêàÿ ìîäåëü íàçûâàåòñÿ ðåãóëÿðíîé (ïî àîÊðàìåðó), åñëè âûïîëíåíû ñëåäóþùèå óñëîâèÿ (ðåãóëÿðíîñòè):1) L(; x) > 0 è äèåðåíöèðóåìà ïî 8 2 è 8 x 2 X ;n ln f (; xi )P ln L(; x)=(êîòîðàÿ íàçûâàåòñÿ óíêöèåé âêëàäà2) Ñëó÷àéíàÿ âåëè÷èíà U (; x) =i=1âûáîðêè) èìååò îãðàíè÷åííóþ äèñïåðñèþ:0 < M2 U (; x) < 1;3) Äëÿ ëþáîé ñòàòèñòèêè8 2 :^ = ^(x) èìååò ìåñòî ðàâåíñòâîZZ ^L(; x)(x)L(; x) dx = ^(x)dxXX(Ýòî îçíà÷àåò, ÷òî âûáîðî÷íîå ïðîñòðàíñòâîXíå çàâèñèò îò ïàðàìåòðà ).Ïðèìåð 3.1. (íåðåãóëÿðíîé ìîäåëè). àññìîòðèì ìîäåëü R(0; ) (ðàâíîìåðíîå ðàñïðåäåëåíèå íà îòðåçêå(0; ), > 0).
Óñëîâèå 3) ðåãóëÿðíîñòè äëÿ ýòîé ìîäåëè íå âûïîëíåíî:Z0Z1 1dx = = (1) = 0; íî0 1dx = Z011dx = :2Òàêèì îáðàçîì, ýòà ìîäåëü íå ÿâëÿåòñÿ ðåãóëÿðíîé.Çàäà÷à 2.2. Ïðîâåðèòü óñëîâèå ðåãóëÿðíîñòè 3) äëÿ ýêñïîíåíöèàëüíîãî ðàñïðåäåëåíèÿ ñ ïëîòíîñòüþp (x) =e (x ); x > 0;0;x < 0:2.4. Êîëè÷åñòâî èíîðìàöèè Ôèøåðà. Íåðàâåíñòâî àî Êðàìåðà2.4.1. Èíîðìàöèÿ ÔèøåðàRÏóñòü ìîäåëü ðåãóëÿðíà. àññìîòðèì òîæäåñòâî L(; x) dx 1 (îíî âûïîëíåíî, òàê êàê L(; x) ïëîòíîñòüX1 ; : : : ; n ). Ïðîäèåðåíöèðóåì åãî ïî :ZZ ln L(; x)L(; x) dx =L(; x) dx = 0:ðàñïðåäåëåíèÿ ñëó÷àéíîãî âåêòîðàXX15L(;x) = 0:Îòñþäà ñëåäóåò, ÷òî ìàòåìàòè÷åñêîå îæèäàíèå óíêöèè âêëàäà ðàâíî 0: M U (; x) = M ln Îïðåäåëåíèå. Êîëè÷åñòâîì èíîðìàöèè Ôèøåðà (èëè ïðîñòî èíîðìàöèåé Ôèøåðà) íàçûâàåòñÿ äèñïåðñèÿ óíêöèè âêëàäà:In () := D U (; x) = M U 2 (; x) =Z XÊîëè÷åñòâî èíîðìàöèè äëÿ îäíîãî íàáëþäåíèÿ ðàâíîáëþäåíèÿ (ñëó÷àéíûå âåëè÷èíû)In () = nI1 ().1 ; : : : ; n ln L(; x) 2L(; x) dx:I1 () =R ln f (;x) 2 f (; x) dx, à ïîñêîëüêó íàXíåçàâèñèìû, òî èíîðìàöèÿ Ôèøåðà î âûáîðêå ðàçìåðànðàâíà2.4.2.
Íåðàâåíñòâî àî ÊðàìåðàÏóñòü èìååòñÿ ðåãóëÿðíàÿ ìîäåëü ñ ïàðàìåòðè÷åñêèì ñåìåéñòâîì ðàñïðåäåëåíèé P = fP ; 2 g. Ñëåäóþùàÿ òåîðåìà äàåò íèæíþþ ãðàíèöó äèñïåðñèé îöåíîê ïðîèçâîëüíîé äèåðåíöèðóåìîé óíêöèè îò ïàðàìåòðà â êëàññå îöåíîê ñ çàäàííûì ñìåùåíèåì.Òåîðåìà 2.8 (Íåðàâåíñòâî àî Êðàìåðà2 ). Ïóñòü ìîäåëü ñ ïàðàìåòðè÷åñêèì ñåìåéñòâîì ðàñïðåäåëåíèé P ðåãóëÿðíà, x = (x1 ; : : : ; xn ) âûáîðêà, è ïóñòü íåêîòîðàÿ ñòàòèñòèêà ^(x) îöåíèâàåò äèåðåíöèðóåìóþ óíêöèþ () ïàðàìåòðà . Îáîçíà÷èì b() = M ^(x) () ñìåùåíèå îöåíêè ^(x). Åñëè b() äèåðåíöèðóåìàÿ óíêöèÿ, òî ñïðàâåäëèâî íåðàâåíñòâî020D ^(x) () b() > [ ()I +(b) ()℄ ;nãäå In () êîëè÷åñòâî èíîðìàöèè Ôèøåðà î âûáîðêå x. Ïðè ýòîì íåðàâåíñòâî îáðàùàåòñÿ â ðàâåíñòâîòîãäà è òîëüêî òîãäà, êîãäà îöåíêà ^(x) ÿâëÿåòñÿ ëèíåéíîé óíêöèåé âêëàäà âûáîðêè, ò.
å. ^(x) () b() =a()U (; x). ÷àñòíîñòè, åñëè îöåíêà ^(x) íåñìåùåííàÿ, M ^(x) = (), òî b() = 0, è ñ ó÷åòîì In () = nI1 () íåðàâåíñòâî 0 () 2^.ïðèíèìàåò âèä D (x) >nI1 ()Ïî îïðåäåëåíèþ ñìåùåíèÿ îöåíêè ^(x) èìååì () + b() = M ^(x). Ïðîäèåðåíöèðóåì ýòî ðàâåíñòâî,çàïèñàâ M ^(x) â âèäå èíòåãðàëà è ïîëüçóÿñü óñëîâèåì ðåãóëÿðíîñòè 3): 0 () + b0 () =ZX^(x)L(; x) dx =ZX ln L(; x)^(x)L(; x) dx =Z^(x)U (; x)L(; x) dx = M ^(x)U (; x) :XM U (; x) = 0, ïîëó÷àåì: 0 () + b0 () = M ^(x)U (; x) = M ^(x) () b() + () + b() U (; x) = M ^(x) () b() U (; x) +Ó÷èòûâàÿ, ÷òî+ () + b() M U (; x) = M ^(x) M ^(x) U (; x) M U (; x) = ov (^(x); U (; x)):Ïðèìåíèì êov (^(x); U (; x)) íåðàâåíñòâî Êîøè Áóíÿêîâñêîãî (ov(; ))2 6 D D: 0 () + b0 () 2 = ov (^(x); U (; x)) 2 6 D ^(x)D U (; x) = D ^(x) () b() In (x):Îòñþäà ñëåäóåò òðåáóåìîå íåðàâåíñòâî. À òàê êàê íåðàâåíñòâî Êîøè Áóíÿêîâñêîãî ïðåâðàùàåòñÿ â ðàâåíñòâî òîãäà è òîëüêî òîãäà, êîãäà óíêöèè (â íàøåì ñëó÷àå ñëó÷àéíûå âåëè÷èíû) ëèíåéíî ñâÿçàíû, òî è íàøåíåðàâåíñòâî ïðåâðàùàåòñÿ â ðàâåíñòâî â òîì è òîëüêî òîì ñëó÷àå, êîãäà (ïðè êàæäîì ) ^(x) è U (; x) ëèíåéíîñâÿçàíû: ^(x) () b() = a()U (; x).
Òåîðåìà äîêàçàíà. 2.4.3. Ñåìåéñòâà ðàñïðåäåëåíèé ýêñïîíåíöèàëüíîãî òèïàÅñëè ìû áóäåì ðàññìàòðèâàòü íåñìåù¼ííûå îöåíêè ïàðàìåòðà (b() = 0, () = ), òî ðàâåíñòâî â òåîðåìåÊðàìåðà àî (D^ = 1I n ()) äîñòèãàåòñÿ ïðè ln L(; x1 ; : : : ; xn )= K ()(^ );2 à íå Êðàìåðà!16ãäå K íå çàâèñèò îò âûáîðêè (ýòî óñëîâèå ïðîïîðöèîíàëüíîñòè, ïðè êîòîðîì íåðàâåíñòâî Êîøè Áóíÿêîâñêîãîîáðàùàåòñÿ â ðàâåíñòâî).
ÎòñþäàL(; x1 ; : : : ; xn ) = C (x1 ; : : : ; xn )ea1 ()^(x1 ;:::;xn)+a2 ():Ìû ïîëó÷èëè ÿâíûé âèä óíêöèè ïðàâäîïîäîáèÿ. Ýòî ïëîòíîñòü ïàðàìåòðè÷åñêîãî ñåìåéñòâà ðàñïðåäåëåíèé,ïðèíàäëåæàùèõ ê òàê íàçûâàåìîìó ýêñïîíåíöèàëüíîìó òèïó. Ïðèìåðàìè òàêèõ ðàñïðåäåëåíèé ñëóæàò áèíîìèàëüíîå, ïîêàçàòåëüíîå, íîðìàëüíîå è äðóãèå.2.4.4. Ìíîãîìåðíûé ñëó÷àéP = fP j 2 g. àññìàòðèâàåòñÿ îöåíêà ^ = (^1 ; : : : ; ^s),Ïóñòü = (1 ; : : : ; s )T âåêòîð-ïàðàìåòð,^k = ^k (x1 ; : : : ; xn ). Ïîëîæèìj = ln L(; x1 ; : : : ; xn );j = (1 ; : : : ; s )T : ìíîãîìåðíîì ñëó÷àå ðîëü äèñïåðñèè èãðàåò êîâàðèàöèîííàÿ ìàòðèöà = ^() = M (^( ) M^( ))(^( )M^( ))T ; = (ij ), ij = M (^i M^i )(^j M^j ) = ov(^i ; ^j ); ii = i2 äèñïåðñèÿ, îñòàëüíûå ïîïàðíûåêîâàðèàöèè. Íåñìåù¼ííîñòü îöåíêè çàäà¼òñÿ ðàâåíñòâîì M ^( ) = .Àíàëîãîì êîëè÷åñòâà èíîðìàöèè Ôèøåðà ÿâëÿåòñÿ èíîðìàöèîííàÿ ìàòðèöà Ôèøåðà J () = M (T ).Ïðåäïîëîæèì, ÷òî ýòà ìàòðèöà îáðàòèìà (ñóùåñòâóåò J 1 ()).
Òîãäà èìååò ìåñòî àíàëîã òåîðåìû Êðàìåðà àî: ìàòðèöà ^() J 1 () ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåë¼ííîé.2.5. Ìåòîäû ïîëó÷åíèÿ îöåíîê2.5.1. Ìåòîä ìîìåíòîâàññìàòðèâàåòñÿ ñòàòèñòè÷åñêàÿ ìîäåëü ñ s-ìåðíûì ïàðàìåòðîì = (1 ; : : : ; s ). mk () = Mik (i = 1; : : : ; n,k ++kâûáîðêà ïîâòîðíàÿ) k -é ìîìåíò (èñòèííûé); mb k () = 1 n n ýìïèðè÷åñêèé ìîìåíò. Ïðåäïîëîæèì, ÷òîMis = ms () < 1. Ýìïèðè÷åñêèå ìîìåíòû ÿâëÿþòñÿ îöåíêàìè äëÿ èñòèííûõ. Çàïèøåì ñèñòåìó ìîìåíòíûõóðàâíåíèé:(mk (1 ; : : : ; s ) = mbk16k6sàññìîòðèì ïîëó÷åííóþ ñèñòåìó îòíîñèòåëüíî ïåðåìåííûõ 1 ; : : : ; s .
Ïóñòü ñóùåñòâóåò åäèíñòâåííîå ðåøåíèå^j = fj (mb 1; : : : ; mb s ) (1 6 j 6 s). Ìû ïîëó÷èëè íåêîòîðóþ îöåíêó äëÿ . Ñëåäóþùàÿ òåîðåìà ñîîáùàåò, ÷òîîöåíêà íå ñîâñåì ïëîõàÿ.Òåîðåìà 2.9 (Î ñîñòîÿòåëüíîñòè ñòàòèñòè÷åñêèõ îöåíîê, ïîëó÷åííûõ ìåòîäîì ìîìåíòîâ). Ïóñòü^1 ; : : : ; ^s åñòü ðåøåíèå ñèñòåìû ìîìåíòíûõ óðàâíåíèé è ïóñòü óíêöèè fj íåïðåðûâíû.
Òîãäà îöåíêè ^j =Pfj (mb 1; : : : ; mb s ) äëÿ âñåõ j ÿâëÿþòñÿ ñîñòîÿòåëüíûìè îöåíêàìè ïàðàìåòðîâ j (ò.å. ^j! äëÿ âñåõ j ).n!1 jPÝòî ñëåäóåò èç íåïðåðûâíîñòè fj è àñèìïòîòè÷åñêîãî ñâîéñòâà ìîìåíòîâ: mb k (n)! m ( ). n!1 kÏðèìåð 5.1. Ñõåìà Áåðíóëëè. p = Mi ïàðàìåòð (âåðîÿòíîñòü óäà÷è); i 1 èëè 0. x = n1 (x1 + +xn ) ïåðâûé âûáîðî÷íûé ìîìåíò. pb = x îöåíêà p ïî ìåòîäó ìîìåíòîâ. Ýòî õîðîøàÿ îöåíêà (íåñìåù¼ííàÿ,ñîñòîÿòåëüíàÿ, ýåêòèâíàÿ â ñìûñëå íåðàâåíñòâà Êðàìåðà àî).Ïðèìåð 5.2. 1 ; : : : ; n N (a; 2 ), Mi = a, Di = 2 . x = ba õîðîøàÿ îöåíêà. 2 = s2 = n1 ((x1x)2 + +2(xn âûáîðî÷íàÿ äèñïåðñèÿ ñìåù¼ííàÿ îöåíêà . Ýòî îöåíêè, ïîëó÷åííûå ïî ìåòîäó ìîìåíòîâ.
À2 = s2 n ÿâëÿåòñÿ íåñìåù¼ííîé.âîò òàêàÿ îöåíêà: n 1x)2 )2.5.2. Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê1. Ñîñòîÿòåëüíîñòü îöåíêè. fP j 2 g ïàðàìåòðè÷åñêàÿ ìîäåëü, ^n îöåíêà ïî âûáîðêå äëèíû n, 0 Pèñòèííîå çíà÷åíèå ïàðàìåòðà. Îöåíêà ñîñòîÿòåëüíà, åñëè ^n! .n!1 02. Àñèìïòîòè÷åñêàÿ íåñìåù¼ííîñòü. M ^n! (ò. å. ñìåùåíèå bn () = M ^n n!1! 0).n!13. Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü. ^n àñèìïòîòè÷åñêè íîðìàëüíà, åñëè ñóùåñòâóåò ìîíîòîííî ñõîäÿùàÿñÿê íóëþ ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë fn g1n=1 òàêàÿ, ÷òî^n d! Z N (0; 1)n17(ñõîäèìîñòü ïî ðàñïðåäåëåíèþ ê íåêîòîðîé ñëó÷àéíîé âåëè÷èíå ñî ñòàíäàðòíûì íîðìàëüíûì ðàñïðåäåëå^íèåì).
îâîðÿò, ÷òî nn àñèìïòîòè÷åñêè íîðìàëüíà ñ N (0; 1), à ^n àñèìïòîòè÷åñêè íîðìàëüíà ñ N (; 2n ); íàçûâàåòñÿ àñèìïòîòè÷åñêèì ñðåäíèì, à 2n àñèìïòîòè÷åñêîé äèñïåðñèåé îöåíêè ^n . Àñèìïòîòè÷åñêèíîðìàëüíàÿ îöåíêà àâòîìàòè÷åñêè ÿâëÿåòñÿ àñèìïòîòè÷åñêè íåñìåù¼ííîé.  êà÷åñòâå n îáû÷íî áåðóò22n = n() (2 íå çàâèñèò îò âûáîðêè).Ïðèìåð 5.3. Ñõåìà Áåðíóëëè ñ ïàðàìåòðîì p (âåðîÿòíîñòü óñïåõà). 1 ; : : : ; n âûáîðêà.
+ + npb = 1;nMpb = p;2Dpb = p(1 n p) = n(p) :pb àñèìïòîòè÷åñêè íîðìàëüíà â ñèëó òåîðåìû Ìóàâðà Ëàïëàñà (ÖÏÒ). (Îáû÷íî ÷åðåç ýòó òåîðåìó àñèìïòîòè÷åñêóþ íîðìàëüíîñòü è äîêàçûâàþò.)2Ïðèìåð 5.4. 1 ; : : : ; n , i N (a; 2 ). D = n .4. Àñèìïòîòè÷åñêàÿ ýåêòèâíîñòü. àññìîòðèì ñåìåéñòâî ðàñïðåäåëåíèé, ïîä÷èí¼ííûõ óñëîâèÿì ðåãóëÿðíîñòè, äëÿ îöåíîê ïàðàìåòðîâ êîòîðîãî èìååò ìåñòî íåðàâåíñòâî Êðàìåðà àî. 1=In () íèæíÿÿn ()^ãðàíèöà äèñïåðñèé âñåõ îöåíîê. Êîýèöèåíò ýåêòèâíîñòè îöåíêè: en (^n ) = 1=ID^ : 0 < en (n ) 6 1.Åñëè en (^n ) = 1, òî îöåíêà íàçûâàåòñÿ ýåêòèâíîé.íàçûâàåòñÿ àñèìïòîòè÷åñêè ýåêòèâíîé.^e1 (^n ) = nlim!1 en(n ).Åñëène1 (^n ) = 1,òî îöåíêàÀñèìïòîòè÷åñêàÿ ýåêòèâíîñòü â ðàìêàõ àñèìïòîòè÷åñêîé íîðìàëüíîñòè.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
