Ю.Н. Тюрин, Г.И. Симонова - Математическая статистика. Записки лекций (1124593), страница 8
Текст из файла (страница 8)
 äàëüíåéøåìëèíåéíàÿ ìîäåëü áóäåò èçó÷åíà íàìè ïîäðîáíî.Èç ýòîãî êîðîòêîãî ðàññêàçà âèäíî, íàñêîëüêî íåîïðåäåëåííûìè çàâèñÿùèì îò íàøåãî ïðîèçâîëà ÿâëÿåòñÿ ïóòü ê îïòèìàëüíûìñòàòèñòè÷åñêèì ðåøåíèÿì. Íà åãî âûáîð âëèÿþò íå òîëüêî ëîãè÷åñêèå ñîîáðàæåíèÿ (îíè íåäîñòàòî÷íû), íî â îñíîâíîì êîíå÷íûé ðåçóëüòàò: óäàåòñÿ ëè ïîëó÷èòü â êîíöå-êîíöîâ ÿâíûå èðàçóìíûå ñòàòèñòè÷åñêèå ïðàâèëà.Ôóíêöèÿ ðèñêà äëÿ íåñìåùåííûõ îöåíîê è êâàäðàòè÷íîé óíêöèè ïîòåðü ïðåâðàùàåòñÿ â äèñïåðñèþ (â ìàòðèöó êîâàðèàöèè ââåêòîðíîì ñëó÷àå): R ; ÆE Æ X 2 E Æ X E Æ X 2 .Çàäà÷à òåïåðü âûãëÿäèò î÷åíü åñòåñòâåííî: íàäî íàéòè íåñìåùåííóþ îöåíêó ñ íàèìåíüøåé äèñïåðñèåé. Îäíàêî ïîäðîáíåå ýòîéçàäà÷åé ìû çàéìåìñÿ íåñêîëüêî ïîçæå. À ñåé÷àñ ïðèâåäåì âàæíûå äëÿ òåîðèè íåðàâåíñòâà, êîòîðûå â òàê íàçûâàåìîìîãðàíè÷èâàþò ñíèçó äèñïåðñèþ êàæäîé îöåíêè (äëÿìíîãîìåðíîãî ïàðàìåòðà ìàòðèöó êîâàðèàöèé).
Äëÿ íåñìåùåííûõ îöåíîê èìåííî äèñïåðñèÿ (ìàòðèöà êîâàðèàöèé) ñëóæèòåñòåñòâåííîé ìåðîé òî÷íîñòè îöåíèâàíèÿ. Ïîýòîìó îáñóæäàåìûåíåðàâåíñòâà ïîêàçûâàþò, ÷òî äëÿ òî÷íîñòè îöåíèâàíèÿ åñòü ãðàíèöà ñíèçó. Ýòà ãðàíèöà çàâèñèò îò ñòðóêòóðû ñòàòèñòè÷åñêîéìîäåëè (è åå ïàðàìåòðèçàöèè).( )= ( ( ) ) = ( ( )( ))ðåãóëÿð-íîì ñëó÷àå 3. Íåðàâåíñòâî Êðàìåðà-àî äëÿ îäíîìåðíîãîïàðàìåòðà. (Îíî æå íåðàâåíñòâî èíîðìàöèè,íåðàâåíñòâî Ôðåøå)Òàê íàçûâàþò íåðàâåíñòâî äëÿ äèñïåðñèè ñòàòèñòè÷åñêèõ îöåíîê îäíîìåðíîãî ïàðàìåòðà, êîòîðîå ìîæíî âûâåñòè ïðè ìíîãî÷èñëåííûõ óñëîâèÿõ ãëàäêîñòè, íàëàãàåìûõ íà çàâèñèìîñòü âåðîÿòíîñòíîãî ðàñïðåäåëåíèÿ îò ìåíÿþùåãîñÿ ïàðàìåòðà.
Òàêîé òèïçàâèñèìîñòè îò ïàðàìåòðà, êîòîðûé íèæå áóäåò îïèñàí ïîäðîáíåå,÷àñòî íàçûâàþò. Âïðî÷åì, ñîäåðæàíèå ýòîãî òåðìèíàìîæåò ìåíÿòüñÿ îò çàäà÷è ê çàäà÷å.Ïóñòü X íàáëþäåíèå (êîíå÷íîìåðíûé âåêòîð), ðàñïðåäåëåíèåêîòîðîãî çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà , ïðè÷åì 2 R1 ,ãäå çàäàííîå îòêðûòîå ìíîæåñòâî. Îòäåëüíî áóäåì ðàññìàòðèâàòü äâå âîçìîæíîñòè:ðåãóëÿðíûì(i) Ñëó÷àéíîå íàáëþäåíèåXèìååò ïëîòíîñòüp (x; )îòíîñè45òåëüíî ìåðû Ëåáåãà;(ii) ñëó÷àéíîå íàáëþäåíèå X èìååò äèñêðåòíîå ðàñïðåäåëåíèå; âýòîì ñëó÷àå p x; îáîçíà÷àåò âåðîÿòíîñòü ñîáûòèÿ X x.( )=Âûêëàäêè â îáîèõ ñëó÷àÿõ èäóò îäèíàêîâî ñ òîé ðàçíèöåé,÷òî â ñëó÷àå (i) äëÿ ìàòåìàòè÷åñêèõ îæèäàíèé ìû ïèøåì èíòåãðàëû, à ñëó÷àå (ii) ñóììû (ðÿäû).
Ïîýòîìó äîñòàòî÷íî ðàçîáðàòüâ ïîäðîáíîñòÿõ êàêóþ-ëèáî îäíó èç ýòèõ äâóõ âîçìîæíîñòåé; ñêàæåì, (i).Ïóñòü T X íåêîòîðàÿ ñòàòèñòèêà, ïðèíèìàþùàÿ çíà÷åíèÿâ R1 , äëÿ êîòîðîé ñóùåñòâóþò ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèÿ. Ïóñòü E T X : Ñëåäîâàòåëüíî, T X åñòü íåñìåùåííàÿ îöåíêà äëÿ .Ï ð å ä ï î ë î æ å í è ÿ î ï ë î ò í î ñ ò è p x; (âçÿòûåâìåñòå, îíè è ñîñòàâëÿþò).( )(a)( ) := ( )( )()( )óñëîâèÿ ðåãóëÿðíîñòèÌíîæåñòâî A = fx : p (x; ) > 0g íå çàâèñèò îò (ýòî íàèáîëåå âàæíîå óñëîâèå).(b) Ïðè âñåõx 2 A, 2 ñóùåñòâóåò(x; ) :=ln p (x; ):() (Âîçìîæíîñòü äèåðåíöèðîâàíèÿ ïîä çíàêîì èíòåãðàëà).ZZAp (x; )dx =T (x)p (x; )dx =ZZAp (x; )dx (= 0);T (x)p (x; )dx (= 0 ()):AAÂâåäåì âàæíîå ïîíÿòèå èíîðìàöèè ïî Ôèøåðó, òî÷íåå: êîëè÷åñòâà èíîðìàöèè î ïàðàìåòðå , ñîäåðæàùåéñÿ â íàáëþäåíèè X :2I () := Eln p (X; ) = E 2 (X; ) (= D (X; )):Óñëîâèå460 < I () < 1:(d)Ò å î ð å ì à 2.3.1 (íåðàâåíñòâî Êðàìåðà-àî).íûõ óñëîâèÿõ (a)(d) ïåðå÷èñëåí-[ 0 ()℄2 :(2:3:1)I ()Äëÿ íåñìåùåííûõ îöåíîê ïàðàìåòðà , êîãäà E T (X ) = , èç ýòîãî íåðàâåíñòâà ñëåäóåò, ÷òî1 :D T (X ) I ()D T (X ) Ä î ê à ç à ò å ë ü ñ ò â î.1.
Çàìåòèì, ÷òî E X; . Äåéñòâèòåëüíî, èç () ìû çàêëþ÷àåì, ÷òî:(0=ZAp (x; )dx =)=0Z Aln p (x; ) p (x; )dx = E (X; ):( )=()Îòñþäà ñëåäóåò, â ÷àñòíîñòè, ÷òî I D X; .2. Àíàëîãè÷íî, èç âòîðîãî ðàâåíñòâà () ìû ïîëó÷àåì, ÷òî 0 () =ZAT (x)ln p (x; ) p (x; )dx = E T (X )(X; ) == E [T (X ) ()℄(X; ):Ïîñëåäíåå ðàâåíñòâî áëàãîäàðÿ òîìó, ÷òî E (X; ) = 0.3. Íåðàâåíñòâî Êîøè (-Áóíÿêîâñêîãî-èìàíà-Øâàðöà è ò.ä):(E)2 E2E2ïðèìåíèì ê ïîëó÷åííîìó â ïðåäûäóùåì ïóíêòå 2 ðàâåíñòâó, ïîëàãàÿ T X , X; . Ïîëó÷èì, ÷òî:= ( )() = ( )[ 0 ()℄2 I ()D T (X ):Îòñþäà è ñëåäóåò óêàçàííîå â òåîðåìå íåðàâåíñòâî.
Ç à ì å ÷ à í è å 2.3.1. Ïóñòü XX1 ; X2; : : : ; Xn âûáîðêà. Ìîæíî ãîâîðèòü î êîëè÷åñòâå èíîðìàöèè, çàêëþ÷åííîé â=()47()âûáîðêå X ïóñòü ýòî IX , è î êîëè÷åñòâå èíîðìàöèè, ñîäåðæàùåéñÿ â îòäåëüíûõ íàáëþäåíèÿõ ýëåìåíòàõ âûáîðêè ïóñòüýòî i .  ýòèõ óñëîâèÿõ()IX () = ni():Ä î ê à ç à ò å ë ü ñ ò â î. Î÷åâèäíî: ïðàâäîïîäîáèå ðàânQíî p X; f Xi ; , åñëè ÷åðåç f ; îáîçíà÷èòü ïëîòíîñòüi=1âåðîÿòíîñòåé îòäåëüíûõ X1 ; : : : ; Xn .()=()( )(X; ) =Îòñþäà:nXnXln f (Xi; );i=1D (X; ) = Dln f (Xi; )i=1= ni():Èç ñêàçàííîãî ìîæíî âûâåñòè âàæíîå êà÷åñòâåííîå ñëåäñòâèå îâîçìîæíîé ñêîðîñòè óìåíüøåíèÿ äèñïåðñèè íåñìåùåííîé îöåíêèïðè âîçðàñòàíèè ÷èñëà íåçàâèñèìûõ íàáëþäåíèé n: D T X C=n,ãäå Ci 1.Ç à ì å ÷ à í è å 2.3.2.( )= [ ( )℄2I () = E 2 ln p (X; ):Ýòîò ðåçóëüòàò ïîëó÷àåòñÿ ïðîñòîé âûêëàäêîé. 4.
Ýêñïîíåíöèàëüíûå ñåìåéñòâàÑëó÷àé, êîãäà íåðàâåíñòâî Êðàìåðà-àî (2.3.1) âûïîëíÿåòñÿ ââèäå ðàâåíñòâà, çàñëóæèâàåò îñîáîãî ðàññìîòðåíèÿ. Ïðè âûâîäå(2.3.1) ìû ïðèìåíèëè íåðàâåíñòâî Êîøè:(E)2 E2 E2;(2:4:1)â êîòîðîì ðàâåíñòâî äîñòèãàåòñÿ ò. è ò.ò., êîãäà ìåæäó ñëó÷àéíûìè âåëè÷èíàìè è ñóùåñòâóåò ëèíåéíàÿ ñâÿçü.
Èíà÷å ãîâîðÿ,êîãäà ñóùåñòâóþò òàêèå ïîñòîÿííûå (òàêèå ÷èñëà) A; B; C , ÷òî ñâåðîÿòíîñòüþ 1 âûïîëíÿåòñÿ ðàâåíñòâîA + B + C = 0:48(2:4:2)= () = (X ) (). Äëÿ íèõ ïðèâåäåííîå íàøåì ñëó÷àå X; , Tâûøå ðàâåíñòâî ïðåâðàùàåòñÿ âT (X ) = () + a()(X; );()(2:4:3)=0ãäå a íåêîòîðàÿ óíêöèÿ . Ïîñòîÿííàÿ C, ò. ê.
çäåñüìàòåìàòè÷åñêèå îæèäàíèÿ è ðàâíû íóëþ.Îöåíêà T X , äëÿ êîòîðîé â (2.3.1) (è, ñëåäîâàòåëüíî, â (2.4.3))èìååò ìåñòî ðàâåíñòâî (ïðè âñåõ 2 ), íàçûâàåòñÿ.Ñóùåñòâóþò ýåêòèâíûå îöåíêè ëèøü äëÿ îñîáûõ ïàðàìåòðè÷åñêèõ ñåìåéñòâ ðàñïðåäåëåíèé è ëèøü äëÿ íåêîòîðûõ óíêöèé .Âèä ýòèõ ïàðàìåòðè÷åñêèõ ñåìåéñòâ ìû ñåé÷àñ óñòàíîâèì. Èñõîäèì èç ðàâåíñòâà (2.4.3). Ýòî ðàâåíñòâî äëÿ ïëîòíîñòè (âåðîÿòíîñòè) p X; äàåò óðàâíåíèå( )()ýåêòèâíîé1 T (X )lnp (X; ) =a() ()a() 2 .( )p (X; ) = expf()T (X ) + d() + S (X )gIA (X ):(2:4:4)Çäåñü (); d(); S (X ) íåêîòîðûå óíêöèè, çàâèñÿùèå òîëüêîîò óêàçàííûõ àðãóìåíòîâ, IA (:) èíäèêàòîðíàÿ óíêöèÿ ìíîæå-äëÿ âñåõ X 2 A (ñì.
ïðåäïîëîæåíèå (a) èç 3) è âñåõÈíòåãðèðóÿ, äëÿ p X; ïîëó÷àåì âûðàæåíèå:ñòâà A. (Çàìåòèì, ÷òî ïðåäñòàâëåíèå ïëîòíîñòè (2.4.4) â óêàçàííîì âèäå íå åäèíñòâåííî).Ñåìåéñòâî ðàñïðåäåëåíèé, ïëîòíîñòè (âåðîÿòíîñòè) êîòîðîãî èìåþò âèä (2.4.4), íàçûâàþò.Äëÿ ýêñïîíåíöèàëüíîãî ñåìåéñòâà ýåêòèâíàÿ îöåíêà ñóùåñòâó-ýêñïîíåíöèàëüíûì ñåìåéñòâîìåò äëÿ óíêöèè () =d 0 ().
0()àñïðåäåëåíèÿ ñîâîêóïíîñòè n íåçàâèñèìûõ ðåàëèçàöèé (X1 ,X2 , . . . , Xn ) ñëó÷àéíîé âåëè÷èíû, ïðèíàäëåæàùåé ýêñïîíåíöèàëü-íîìó ñåìåéñòâó (2.4.4), â ñâîþ î÷åðåäü, îáðàçóþò ýêñïîíåíöèàëüíîå ñåìåéñòâî ñ ïëîòíîñòüþ (âåðîÿòíîñòüþ):p (x1 ; x2 ; : : : ; xn ; ) =h= exp ()nXi=1T (xi ) + nd() +nXi=1iS (xi ) IA (x1 ; : : : ; xn ):49Ìíîãèå ïðàêòè÷åñêè âàæíûå ïàðàìåòðè÷åñêèå ðàñïðåäåëåíèÿâõîäÿò â ýòîò êëàññ. Íàïðèìåð:Á è í î ì è à ë ü í î å ð à ñ ï ð å ä å ë å í è å. n x (1 )nxn=exp x ln 1 + n ln(1 )+lnäëÿ x = 0; 1; : : : ; n; 0 < < 1.p (x; )=x onxÄëÿ ïàðàìåòðà åñòü ýåêòèâíàÿ îöåíêà x=n.Ï î ê à ç à ò å ë ü í î å ð à ñ ï ð å ä å ë å í è å (è âûáîðêà èçïîêàçàòåëüíîãî ðàñïðåäåëåíèÿ).8<1 exp p (x; ) = : 0;x;äëÿäëÿx 0; > 0;x < 0:Äëÿ âûáîðêèp (x1 ; : : : ; xn ; ) = nn 1 exp 1 Xxi ;i=1x 0; > 0:nPXi =n.i=1 çàêëþ÷åíèå îòìåòèì, ÷òî ýåêòèâíàÿ îöåíêà ìîæåò áûòüòîëüêî îäíà (òî åñòü òîëüêî äëÿ îäíîé óíêöèè è åå ëèíåéíûõóíêöèé).
×òîáû äîêàçàòü ýòî, äîïóñòèì ïðîòèâîïîëîæíîå: äëÿíåêîòîðîãî ïàðàìåòðè÷åñêîãî ñåìåéñòâà åñòü äâà ðàâåíñòâà âèäà(2.4.3):Ti X i ai X; ; i ; :Äëÿ ïàðàìåòðà åñòü ýåêòèâíàÿ îöåíêàäëÿ()( )= ( )+ ( ) ( ) =1 2a1 ()Óìíîæèâ âòîðîå ðàâåíñòâî íàè âû÷òÿ ðåçóëüòàò èç ïåðâîãî,a2 ()ïîëó÷èì, ÷òî:T1(X ) = 1 ()a1 ()a () () + 1 T2(X ):a2 () 2a2 ()(2:4:5)àâåíñòâî (2.4.5) âîçìîæíî, òîëüêî åñëè:a1 ()a2 ()50= Const;1 ()a1 () () = Const:a2 () 2(2:4:6)a1 ()T (X ) íå äîëæíî èçìåíÿòüñÿ, êîãäàa2 () 2a1 ()íå èçìåèçìåíÿåòñÿ X; X 2 A. Ýòî âîçìîæíî, òîëüêî åñëèa2 ()íÿåòñÿ, êîãäà èçìåíÿåòñÿ 2 .Äåéñòâèòåëüíî, T1(X )Èç (2.4.6) ñëåäóåò, ÷òî âñå ýåêòèâíûå îöåíêè ëèíåéíî âûðàæàþòñÿ îäíà ÷åðåç äðóãóþ (ñì. (2.4.5)), êàê è ñîîòâåòñòâóþùèåóíêöèè .() 5. Ñòàòèñòè÷åñêèå îöåíêè äëÿ ìíîãîìåðíûõ ïàðàìåòðîâ5.1.
Ñëó÷àéíûå âåêòîðû, èõ ñðåäíèå è äèñïåðñèèÏóñòü X ñëó÷àéíûé îáúåêò (ñëó÷àéíàÿ âåëè÷èíà, ñëó÷àéíûéâåêòîð è ò. ï.), ðàñïðåäåëåíèå êîòîðîãî îïðåäåëåíî ïàðàìåòðîì .Ïðåäïîëîæèì, ÷òî r-ìåðíûé ïàðàìåòð, êîòîðûé ìû áóäåìïðåäñòàâëÿòü â âèäå ñòîëáöà: 1 ; : : : ; r T , 2 Rr , ãäå çàäàííîå îòêðûòîå ìíîæåñòâî. àññìîòðèì çàäà÷ó îöåíèâàíèÿ èëè óíêöèé îò ïî íàáëþäåíèþ X . ßñíî, ÷òî â êà÷åñòâå îöåíêè èëè äîëæíû âûñòóïàòü ñëó÷àéíûå âåêòîðû ñîîòâåòñòâóþùåéðàçìåðíîñòè (óíêöèè îò X ).Ïîýòîìó ïðåäâàðèòåëüíî íàäî íàïîìíèòü, ÷òî òàêîå ñëó÷àéíûé âåêòîð, ñëó÷àéíàÿ ìàòðèöà, èõ ìàòåìàòè÷åñêèå îæèäàíèÿ èêîâàðèàöèè, âìåñòå ñ íåêîòîðûìè ñâîéñòâàìè ýòèõ îáúåêòîâ. Ñëó÷àéíûé âåêòîð ïðè ýòîì åñòü ÷àñòíûé ñëó÷àé ñëó÷àéíîé ìàòðèöû.Î ï ð å ä å ë å í è å 2.5.1.Z åñòü ìàòðèöà, ýëåìåíòû zij êîòîðîé ñóòü ñëó÷àéíûå âåëè÷èíû, çàäàííûåíà îáùåì ïðîñòðàíñòâå ýëåìåíòàðíûõ èñõîäîâ, ò.
å. èìåþùèå ñîâìåñòíîå ðàñïðåäåëåíèå âåðîÿòíîñòåé.Î ï ð å ä å ë å í è å 2.5.2.Z kzij k åñòü=()()Ñëó÷àéíàÿ ìàòðèöàíîé ìàòðèöû =Ìàòåìàòè÷åñêîå îæèäàíèå ñëó÷àé-EZ = kEzij k:Ó ò â å ð æ ä å í è å 2.5.1. Ïóñòü Z ñëó÷àéíàÿ ìàòðèöà, àíåñëó÷àéíûå (ïîñòîÿííûå) ìàòðèöû A; B; C òàêîâû, ÷òî ìàòðèöàAZB C ñóùåñòâóåò. (àçìåðíîñòè ìàòðèö A; B; Z è C ñîãëàñîâàíû â òîì ñìûñëå, ÷òî óêàçàííûå äåéñòâèÿ îñóùåñòâèìû). Òîãäà:+E (AZB + C ) = A(EZ )B + C:51 ÷àñòíîñòè, åñëè Y ñëó÷àéíûé âåêòîð,ðèöà è b íåñëó÷àéíûé âåêòîð, òîE (AYA íåñëó÷àéíàÿ ìàò-+ b) = A(EY ) + b;êîãäà óêàçàííûå îïåðàöèè (óìíîæåíèÿ è ñëîæåíèÿ) îñóùåñòâèìû.Ó ò â å ð æ ä å í è å 2.5.2. Ïóñòü Z1 è Z2 äâå ñëó÷àéíûå ìàòðèöû, îïðåäåëåííûå íà îáùåì äëÿ íèõ ïðîñòðàíñòâå ýëåìåíòàðíûõ èñõîäîâ.
Ïóñòü èõ ðàçìåðíîñòè ñîâïàäàþò, òàê ÷òî ìàòðèöàZ1 Z2 ñóùåñòâóåò. Òîãäà:+E (Z1 + Z2 ) = EZ1 + EZ2 :Óòâåðæäåíèÿ 2.5.1 è 2.5.2 âìåñòå ïîêàçûâàþò, ÷òî îïåðàöèÿâçÿòèÿ ìàòåìàòè÷åñêîãî îæèäàíèÿ äëÿ ñëó÷àéíûõ ìàòðèö îáëàäàåò ïðèâû÷íûìè äëÿ ýòîé îïåðàöèè äëÿ ñëó÷àéíîé âåëè÷èíû ëèíåéíûìè ñâîéñòâàìè. Ïðàâäà, ñ ó÷åòîì òîãî, ÷òî óìíîæåíèå ìàòðèö íå êîììóòàòèâíî.Ïóñòü X è Y äâà ñëó÷àéíûõ âåêòîðà (ïðîèçâîëüíûõ ðàçìåðíîñòåé, íå îáÿçàòåëüíî îäèíàêîâûõ), èìåþùèå ñîâìåñòíîå ðàñïðåäåëåíèå. Âåêòîðû ìû ïðåäïî÷òèòåëüíî áóäåì ïðåäñòàâëÿòü â âèäåâåêòîðîâ-ñòîëáöîâ (îäíîñòîëáöîâûõ ìàòðèö).Î ï ð å ä å ë å í è å 5.2.3.(îíà æå ìàòðèöà êîâàðèàöèé, äèñïåðñèîííàÿ ìàòðèöà è ò. ï.) âåêòîðîâX è Y åñòüÊîâàðèàöèîííàÿ ìàòðèöà(X; Y ) = E (X EX )(Y EY )T :Åñëè X = (x1 ; x2 ; : : :)T , Y = (y1 ; y2 ; : : :)T , òî ýëåìåíò (i; j ) ìàòðèöûCov(X; Y ) åñòü êîâàðèàöèÿ ñëó÷àéíûõ âåëè÷èí xi è yj :E (xi Exi )(yj Eyj ):Covßñíî, ÷òî:(X; Y ) = EXY T (EX )(EY )T :Î ï ð å ä å ë å í è å 2.5.4.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
