Ю.Н. Тюрин, Г.И. Симонова - Математическая статистика. Записки лекций (1124593), страница 9
Текст из файла (страница 9)
Êîâàðèàöèîííàÿ ìàòðèöà ñëó÷àéíîãîâåêòîðà X îïðåäåëÿåòñÿ êàê:Cov(X; X ) = E (X EX )(X EX )T = EXX T (EX )(EX )T :CovÄèàãîíàëüíûå ýëåìåíòû ýòîé ìàòðèöû ñóòü äèñïåðñèè ñëó÷àéíûõ âåëè÷èí x1 ; x2 ; : : :. Îáîçíà÷åíèå Cov X; X ìû áóäåì çàìåíÿòü êîðîòêèì DX .(52)Ó ò â å ð æ ä å í è å 2.5.3.
Ïóñòü X ñëó÷àéíûé âåêòîð, A íåñëó÷àéíàÿ (ïîñòîÿííàÿ) ìàòðèöà, b íåñëó÷àéíûé (ïîñòîÿííûé) âåêòîð. Òîãäà:D(AX + b) = A(DX )AT ;+åñëè AX b ñóùåñòâóåò (óêàçàííûå îïåðàöèè îñóùåñòâèìû, ò. å.ðàçìåðíîñòè A, X è b ñîãëàñîâàíû).×àñòíûé ñëó÷àé: ñêàëÿðíîå ïðîèçâåäåíèå. Ïóñòü A ìàòðèöà,ñîñòîÿùàÿ èç îäíîé ñòðîêè. àññìîòðèì A êàê ðåçóëüòàò òðàíñïîíèðîâàíèÿ íåêîòîðîãî âåêòîðà a (âåêòîðà-ñòîëáöà): A aT . Ïðèýòîì AX aT X åñòü ñêàëÿðíîå ïðîèçâåäåíèå âåêòîðîâ a è X .Ó ò â å ð æ ä å í è å 2.5.4.==D(aT X ) = aT (DX )a:5.2.
Ìíîãîìåðíîå íåðàâåíñòâî Êðàìåðà-àîÂåðíåìñÿ ê ïîñòàâëåííîé â íà÷àëå ýòîãî ïàðàãðàà çàäà÷å. Ïóñòü ' íåêîòîðàÿ âåêòîð-óíêöèÿ, ' X îöåíêà (ýòî âåêòîðû-ñòîëáöû), è ïóñòü E ' X , ãäå 1 ; 2 ; : : : ; d T , 2 R r .Êàê è â îäíîìåðíîì (îäíîïàðàìåòðè÷åñêîì) ñëó÷àå ìû ãîòîâèìñÿ óêàçàòü ãðàíèöó ñíèçó äëÿ êâàäðàòè÷íîãî ðèñêà íåñìåùåííîé îöåíêè.
Íî ïðåæäå íàäî óòî÷íèòü, ÷òî òàêîå êâàäðàòè÷íûéðèñê â ìíîãîìåðíîì ñëó÷àå è êàê ñëåäóåò ñðàâíèâàòü êâàäðàòè÷íûå ðèñêè íàïðèìåð, äâóõ ðàçíûõ îöåíîê.Ïóñòü ' X , X äâå íåñìåùåííûå îöåíêè . Êàêàÿ èçíèõ ëó÷øå? Ïîïðîáóåì íàéòè îòâåò, îáðàòèâøèñü ê óæå èçó÷åííîìó îäíîìåðíîìó ñëó÷àþ. Âûáåðåì ïðîèçâîëüíûé íåñëó÷àéíûéâåêòîð z . Ïåðåéäåì îò ' X , X , ê ëèíåéíûì îðìàì (ñêàëÿðíûì ïðîèçâåäåíèÿì) zT ' X , zT X , t zT .ßñíî, ÷òîE E t ;()( () ()()( ))( )( )= ()( ) ( )()=()( ) ( ) ():= ( ) :== =()( ) ( ) :=()()òàê ÷òî è ñóòü íåñìåùåííûå (îäíîìåðíûå) îöåíêè t .  îäíîìåðíîì ñëó÷àå (ïðè êâàäðàòè÷íîé óíêöèè ïîòåðü) èç äâóõ íåñìåùåííûõ îöåíîê ëó÷øå òà, ÷üÿ äèñïåðñèÿ ìåíüøå.
 ÷àñòíîñòè, íå õóæå, ÷åì , åñëè D D èëè:z T [D '(X )℄z z T [D (X )℄z:(2:5:1)53( ) ëó÷øåÌû ìîæåì ïðèíÿòü òàêîå î ï ð å ä å ë å í è å: ' X,÷åì X , åñëè (2.5.1) âûïîëíÿåòñÿ äëÿ ëþáîãî âåêòîðà z 2 Rd (èäëÿ íåêîòîðûõ z ýòî íåðàâåíñòâî ñòðîãîå).Ïî îòíîøåíèþ ê ïåðåìåííîìó z 2 Rd , z T D ' X z è z T D X zïðåäñòàâëÿþò ñîáîé êâàäðàòè÷íûå îðìû (íåîòðèöàòåëüíî îïðåäåëåííûå). Íåðàâåíñòâî (2.5.1), åñëè îíî âûïîëíÿåòñÿ äëÿ âñåõ z ,ëèíåéíàÿ àëãåáðà èñòîëêîâûâàåò êàê ñîîòíîøåíèå ìåæäó ìàòðèöàìè êâàäðàòè÷íûõ îðì.  äàííîì ñëó÷àå, ìåæäó ìàòðèöàìèêîâàðèàöèé D ' X è D X : D ' X D X :Èòàê, ìû ïðèøëè ê çàêëþ÷åíèþ, ÷òîñòàòèñòèêè ' X , íåñìåùåííî îöåíèâàþùåé , ìîæíî íàçâàòüåå ìàòðèöó êîâàðèàöèé: D ' E ' X ' X T.Èç äâóõ íåñìåùåííûõ îöåíîê ëó÷øå òà, ÷üÿ ìàòðèöà êîâàðèàöèé ìåíüøå (â óêàçàííîì âûøå ñìûñëå).
Çàìåòèì, ÷òî äâå îöåíêèìîãóò áûòü íåñðàâíèìû.Òåïåðü ïîíÿòíî, ÷òî ìíîãîìåðíîå îáîáùåíèå íåðàâåíñòâà Êðàìåðà-àî äîëæíî óñòàíàâëèâàòü ãðàíèöó ñíèçó äëÿ ìàòðèöû êîâàðèàöèé íåñìåùåííîé îöåíêè.Ïåðåõîäèì ê âûâîäó íåðàâåíñòâà. Ââåäåì îïåðàòîð ÷àñòíîãîäèåðåíöèðîâàíèÿ ïî , êîòîðûé â âèäå èñêëþ÷åíèÿ! çàïèøåì êàê ñòðîêó:( )[( )( )( )( )℄[( )℄( )êâàäðàòè÷íûì ðèñêîì()= [ ( ) ( )℄[ ( ) ( )℄( ) ; ;:::;:1 2r=Îïðåäåëèì ìàòðèöó èíîðìàöèè (îáîáùåíèå êîëè÷åñòâà èíîðìàöèè):T I Ep X; p X; :( )=()ln ()ln ()Ëåãêî âèäåòü, ÷òî I íåîòðèöàòåëüíî îïðåäåëåííàÿ ìàòðèöà,÷òî ìû áóäåì çàïèñûâàòü êàê I .
Ïðåäïîëîæèì, ÷òî I 1ñóùåñòâóåò äëÿ âñåõ 2 .Ââåäåì ìàòðèöó054=BBBBBBBB() 0d r), ïîëîæèâ:11 1:::2r C22 CC:::C:2r C.... C.::: . CCdd A:::2r(ðàçìåðà1121...d1()Ïîêàæåì, ÷òî ïðè ïðèíÿòûõ â 3 "óñëîâèÿõ ðåãóëÿðíîñòè", îáîáùåííûõ íà ìíîãîìåðíûé ñëó÷àé, ñïðàâåäëèâî íåðàâåíñòâîE ('(X ) ())('(X ) ())T [I 1 ()℄T:(2:5:2)Ä î ê à ç à ò å ë ü ñ ò â î. àññìîòðèì âåêòîð-ñòðîêó:(X; ) =ln p (X; ):Òàê æå, êàê â ïóíêòå 1 èç 3, íàõîäèì, ÷òîE (X; ) = 0:Äèåðåíöèðóåì ïî òîæäåñòâîZAïîëó÷àåì, ÷òî:ZZ'(x)p (x; ) dx = ();'(x)Aèëè(2:5:3)p (x; ) dx = ;'(x)ln p (x; ) p (x; ) dx = :AÏîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî:E '(X )(X; ) =:(2:5:4)Òåïåðü ðàññìîòðèì (íåîòðèöàòåëüíî îïðåäåëåííóþ) ìàòðèöóêîâàðèàöèé âåêòîðà'(X ) () 1 TI () (X; ):(Îáðàòèòå âíèìàíèå íà òî, ÷òî ðàçìåðíîñòè ïåðåìíîæàåìûõ ìàòðèö ñîãëàñîâàíû òàêèì îáðàçîì, ÷òî óìíîæåíèå âîçìîæíî).àññìîòðèì î÷åâèäíîå íåðàâåíñòâî:E (' ) 1 TI ()(') 1 TI ()T 0:55Ëåâóþ ÷àñòü ïðåîáðàçóåì: 1 TE (' )I ( )E (' )(' )TT 1 TI () (' )T + 1 T 1 T T+E I () I () 0:E(2:5:5)Âòîðîå ñëàãàåìîå â (2.5.5):E (' ) I 1 ()T== I 1 ()T;(2:5:6)=0èáî E '(ñì.
(2.5.4)), E (ñì. (2.5.3)).Òðåòüå ñëàãàåìîå îòëè÷àåòñÿ îò âòîðîãî ëèøü òðàíñïîíèðîâàíèåì (òðåòüå ñëàãàåìîå ýòî òðàíñïîíèðîâàííîå âòîðîå). À òàêêàê (2.5.6) ñèììåòðè÷íî, òî òðåòüå ñëàãàåìîå òîæå ðàâíî (2.5.6).Íàêîíåö, ÷åòâåðòîå ñëàãàåìîå äàñò:I 1 () E T I 1 ()T=I 1 ()T:Ïðèâåäÿ â (2.5.5) ïîäîáíûå ÷ëåíû, ïîëó÷èì îòñþäà (2.5.2), ÷òîè òðåáîâàëîñü. Çàêëþ÷èì òåìó íåðàâåíñòâ èíîðìàöèè è ýåêòèâíûõ îöåíîê îïðåäåëåíèåì ìíîãîïàðàìåòðè÷åñêèõ ýêñïîíåíöèàëüíûõ ñåìåéñòâ. Ïëîòíîñòü (âåðîÿòíîñòü) äëÿ íèõ èìååò âèä:p (x; ) = expnhXj =1ij ()Tj (x) + d() + S (x) IA (x):Íàèáîëåå âàæíûé ïðèìåð ãàóññîâñêîå ðàñïðåäåëåíèå, ãäå ïëîòíîñòü çàâèñèò îò äâóìåðíîãî ïàðàìåòðà a; 2 :(p (x; a; 2 ) = p56)1 exp n (x a)2 o:2222Ëåêöèÿ 3. Äîñòàòî÷íûå ñòàòèñòèêè è íàèëó÷øèå íåñìåùåííûå îöåíêè 1.
Óñëîâíûå ðàñïðåäåëåíèÿ (ýëåìåíòàðíàÿ òåîðèÿ) ýòîì ðàçäåëå íàì ïðèäåòñÿ îïåðèðîâàòü ïîíÿòèÿìè óñëîâíîé âåðîÿòíîñòè, óñëîâíîãî ðàñïðåäåëåíèÿ, óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ è ò. ä. îäíîé ñëó÷àéíîé âåëè÷èíû îòíîñèòåëüíîäðóãîé. ×òîáû íå çàäåðæèâàòü ðàçâèòèÿ ñòàòèñòè÷åñêèõ èäåé, ìûáóäåì ïîíà÷àëó îáõîäèòüñÿ ýëåìåíòàðíûìè îðìàìè ýòèõ ïîíÿòèé. Îíè ëèáî óæå èçâåñòíû èç êóðñà òåîðèè âåðîÿòíîñòåé, ëèáîìîãóò áûòü ïîëó÷åíû ýëåìåíòàðíûìè ñðåäñòâàìè (íàïðèìåð, ïðåäåëüíûì ïåðåõîäîì). Îñíîâàòåëüíóþ ðàçðàáîòêó îáùåãî ïîíÿòèÿóñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ è óñëîâíîé âåðîÿòíîñòè ìûíà íåäîëãîå âðåìÿ îòëîæèì.Íà÷íåì ñ äèñêðåòíî ðàñïðåäåëåííîé ñëó÷àéíîé âåëè÷èíû X .Ïóñòü P fXxg p x äëÿ x, ïðèíàäëåæàùèõ íîñèòåëþ ðàñïðåäåëåíèÿ (ïî óñëîâèþ ýòî êîíå÷íîå èëè ñ÷åòíîå ìíîæåñòâî).Ïóñòü TT X íåêîòîðàÿ óíêöèÿ îò X . Îáîçíà÷èì ÷åðåçPX jT x; T óñëîâíóþ âåðîÿòíîñòü ñîáûòèÿ fX xg ïðè óñëîâèè,÷òî T XT:= = ()= ( )( )( )==p (x);PX jT (x; T )= P fX = xjT (X )= T g = > y: T (y)=T p (y)>:0;8>><PåñëèT (x) = TåñëèT (x) 6= T:Òàê îïðåäåëåííûå óñëîâíûå âåðîÿòíîñòè îáðàçóþò óñëîâíîå ðàñïðåäåëåíèå, èáî ïðè âñÿêîì TXx: T (x)=TPX jT (x; T ) = 1:Ìîæíî ãîâîðèòü îá óñðåäíåíèè ïî ýòîìó ðàñïðåäåëåíèþ êàê ñàìîéñëó÷àéíîé âåëè÷èíû, òàê è óíêöèé îò íåå f X .
Ýòè ñðåäíèååñòåñòâåííî íàçâàòü óñëîâíûìè ìàòåìàòè÷åñêèìè îæèäàíèÿìè Xèëè f X ïðè äàííîì T . Èõ îáîçíà÷àþò, ñîîòâåòñòâåííî, ÷åðåçE X jT è E f X jT :( )( )( ) (( ) )XE (X jT ) =x PX jT (x; T );x: T (x)=TXE (f (X )jT ) =f (x) PX jT (x; T ):x: T (x)=T57Çàìåòèì, ÷òî óñëîâíûå ìàòåìàòè÷åñêèå îæèäàíèÿ, òàê æå êàêóñëîâíûå âåðîÿòíîñòè PX jT x; T , ÿâëÿþòñÿ óíêöèÿìè îò ñëó÷àéíîé âåëè÷èíû T T X . Òåì ñàìûì, ýòè îáúåêòû òîæå ÿâëÿþòñÿ.Ï ð è ì å ð. Ïóñòü XX1 ; : : : ; Xm , ãäå X1 ; : : : ; Xm ñóòüíåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû, ðàñïðåäåëåííûå ïî Ïóàññîíóñ ïàðàìåòðàìè 1 ; : : : ; m , ñîîòâåòñòâåííî. Íàéäåì óñëîâíîå ðàñïðåäåëåíèå X ïðè äàííîì çíà÷åíèè TX1 : : : Xm .
Äëÿ íàáîðà xx1 ; : : : ; xm öåëûõ íåîòðèöàòåëüíûõ ÷èñåë òàêèõ, ÷òîx1 : : : xm T , íàõîäèì, ÷òî( )= ( )ñëó÷àéíûìè âåëè÷èíàìè=(=(+ + =)=)mQPX jT (x; T ) =i=1++P fXi = xi gP fX1 + : : : + Xm = x1 + : : : + xm g:Ïîñêîëüêó ñóììà íåçàâèñèìûõ ïóàññîíîâñêè ðàñïðåäåëåííûõ ñëàãàåìûõ X1 ; : : : ; Xm òîæå ðàñïðåäåëåíà ïî Ïóàññîíó, íî ñ ïàðàìåòðîì 1 : : : m , íàõîäèì, ÷òîx1 : : : xmx1 1 : : : xmmPX jT x; Tx1 : : : xm 1 : : : m x1 +:::+xm+ +( + + )! =)= !! ( + + )= (x1x+!:::::: +x x!m )! px1 1 : : : pxmm = x ! :T: :! x ! px1 1 : : : pxmm ;1m1mãäå pi = i =(1 + : : : + m ) äëÿ i = 1; : : : ; m. Ïîñëåäíåå âûðà(æåíèå ýòî ïîëèíîìèàëüíàÿ âåðîÿòíîñòü, ò.
å. âåðîÿòíîñòü, ÷òîâ T èñïûòàíèÿõ Áåðíóëëè ñ m ðàçëè÷íûìè èñõîäàìè, âåðîÿòíîñòè êîòîðûõ ñóòü p1 ; : : : ; pm , èñõîäû ñ íîìåðàìè ; : : : ; m ïðîèçîøëè x1 ; : : : ; xm ðàç. Ñëåäîâàòåëüíî, óñëîâíîå ðàñïðåäåëåíèåX1 ; : : : ; Xm ïðè äàííîì T X1 : : : Xm ïîëèíîìèàëüíîå.Äëÿ íåïðåðûâíî ðàñïðåäåëåííîé ñëó÷àéíîé âåëè÷èíû X å¼óñëîâíîå ðàñïðåäåëåíèå ïðè äàííîì çíà÷åíèè T T X ââîäèòñÿñëîæíåå. Ïðè÷èíà òà, ÷òî çäåñü òèïè÷íî, ÷òî P fT XTg ,ðàâíî êàê è P fXxgäëÿ âñÿêîãî x. Ïîýòîìó äëÿ ïîñòðîåíèÿ óñëîâíîãî ðàñïðåäåëåíèÿ â ýòîì ñëó÷àå ïðèõîäèòñÿ ïðèáåãàòüê ïðåäåëüíûì ïåðåõîäàì.1()==+ += ( )( )==0=0 2.
àñïðåäåëåíèå âåðîÿòíîñòåé íà ïîâåðõíîñòèÏðåäïîëîæèì, ÷òî â ïðîñòðàíñòâå Rd çàäàíà âåðîÿòíîñòíàÿìåðà P : . Ïðåäïîëîæèì, ÷òî P : èìååò ïëîòíîñòü, ñêàæåì,()58()p (x); x 2 Rd,îòíîñèòåëüíî ìåðû Ëåáåãà â Rd . Ïðåäïîëîæèìäàëåå, ÷òî â ïðîñòðàíñòâå Rd çàäàíî ãëàäêîå ìíîãîîáðàçèå H .àçìåðíîñòü H îáîçíà÷èì ÷åðåç d r, ãäå < r < d. àäè êðàòêîñòè è îáðàçíîñòè áóäåì íàçûâàòü H ïîâåðõíîñòüþ. Ìû íàçûâàåìïîâåðõíîñòü ãëàäêîé, åñëè â êàæäîé òî÷êå x 2 H ñóùåñòâóþò êàñàòåëüíîå è îðòîãîíàëüíîå ê H ïðîñòðàíñòâà, êîòîðûå îáîçíà÷èì÷åðåç T x è N x , ñîîòâåòñòâåííî.
Çàìåòèì, ÷òî ìåðà Ëåáåãà â Rdèíäóöèðóåò íà ïîâåðõíîñòè H íåêîòîðóþ ìåðó, êîòîðóþ áóäåì òîæå íàçûâàòü ìåðîé Ëåáåãà, èëè d r -ìåðíîé ëåáåãîâñêîé ìåðîéíà H , è îáîçíà÷àòü ÷åðåç s A äëÿ ëþáîãî èçìåðèìîãî A H .Ïîäîáíî ýòîìó, âåðîÿòíîñòíàÿ ìåðà P : èíäóöèðóåò íà H íåêîòîðóþ âåðîÿòíîñòíóþ ìåðó, ñêàæåì, : , ê îïðåäåëåíèþ êîòîðîé ìûè ïåðåõîäèì.  îáñóæäàåìîì íàìè ýëåìåíòàðíîì âàðèàíòå îïðåäåëåíèå : ìîæåò áûòü äîñòèãíóòî ïðåäåëüíûì ïåðåõîäîì. àäèïðîñòîòû â äàëüíåéøåì áóäåì ãîâîðèòü îá îòêðûòûõ ìíîæåñòâàõíà H è äëÿ ïðîèçâîëüíîãî îòêðûòîãî A îïðåäåëèì A . Ìû óâèäèì, ÷òî ìåðà : çàäàåòñÿ ñ ïîìîùüþ ïëîòíîñòè îòíîñèòåëüíîëåáåãîâñêîé ìåðû s : , è ÷òî ýòà ïëîòíîñòü êàê óíêöèÿ x 2 Hëèøü ìíîæèòåëåì (çàâèñÿùèì îò H ) îòëè÷àåòñÿ îò p x .Äëÿ ìíîæåñòâà A H îïðåäåëèì ïîëåçíîå äëÿ äàëüíåéøåãîïîíÿòèå "ïîïåðå÷íîãî "-ðàñøèðåíèÿ ("-ðàçäóòèÿ)".
Ïóñòü U" xîáîçíà÷àåò r-ìåðíûé øàð ðàäèóñà " ñ öåíòðîì â òî÷êå x, ëåæàùèéâ ïðîñòðàíñòâå N x ."ìíîæåñòâà A; A H , íàçîâåì0()()(( ))()()()()( )()()()()Ïîïåðå÷íûì -ðàçäóòèåìA" =[x2AU" (x):Äàëåå ïîëîæèì ïî îïðåäåëåíèþ(A) = "lim!0P fA" g;P fH " g(3:2:1)ãäå H " àíàëîãè÷íûì îáðàçîì îïðåäåëåííîå ïîïåðå÷íîå "-ðàçäóòèå ïîâåðõíîñòè H . Çàéìåìñÿ ÷èñëèòåëåì ñòîÿùåé â ïðàâîé ÷àñòè(3.2.1) äðîáè.
(Çíàìåíàòåëü ðàññìàòðèâàåòñÿ àíàëîãè÷íî).àçîáüåì ìíîæåñòâî A íà íåïåðåñåêàþùèåñÿ ìíîæåñòâà 1 ,. . . , N . Ìàêñèìàëüíûé èç äèàìåòðîâ ýòèõ ìíîæåñòâ îáîçíà÷èì÷åðåç Æ N .  äàëüíåéøåì N ! 1 è Æ N ! . Çàìåòèì, ÷òî ïîïåðå÷íûå "-ðàçäóòèÿ "1 ; : : : ; "N ìíîæåñòâ 1 ; : : : ; N îáðàçóþòðàçáèåíèå ìíîæåñòâà A" . Âåðîÿòíîñòü P fA" g ïðåäñòàâèì â âèäå( )( ) 059èíòåãðàëà èìàíà, à ïîñëåäíèé êàê ïðåäåë èíòåãðàëüíûõ ñóìì:P fA" g=ZA"p (x) dx =limÆ(N )!0NXi=1= 1 () ( ) = ( ) ( )[1 +p (xi )d ("i ):Çäåñü xi 2 i ; i; N ; d : îáîçíà÷àåò d-ìåðíóþ ìåðó Ëåáåãà.Çàìåòèì, ÷òî d "i"Æo ïðè " ! ; Æ ! .r U" s iÇäåñü U" øàð ðàäèóñà " â ïðîñòðàíñòâå Rr . ÏîýòîìóNXi=1p (xi )d ("i ) = r (U" )NXi=1(1)℄00p (xi )s(i )[1 + "Æo(1)℄:ÏîñëåäíÿÿR èíòåãðàëüíàÿ ñóììà ïðè èçìåëü÷åíèè ðàçáèåíèÿ ñõîäèòñÿ ê p x s dx .AÀíàëîãè÷íûå ïðåîáðàçîâàíèÿ çíàìåíàòåëÿ (3.2.1) ïðèâîäÿò êïîÿâëåíèþ è òàì ìíîæèòåëÿ r U" èíòåãðàëüíîé ñóììû, ðàñïðîñòðàíåííîé ïî âñåé ïîâåðõíîñòè H (ñ òåìè îãîâîðêàìè, êîòîðûå íåîáõîäèìû äëÿ òîëêîâàíèÿ èíòåãðàëà ïî, âîçìîæíî, íåêîìïàêòíîé (áåñêîíå÷íîé) îáëàñòè).