Turin Yu.N. - Multidimensional Gaussian Calculus (1120045), страница 6
Текст из файла (страница 6)
(Blackwell, Rao, 1947 - 1949.) Åñëè δ - íåñìåùåííàÿ îöåíêà θ, àT - äîñòàòî÷íàÿ ñòàòèñòèêà, òî δ0 := Eθ (δ|T ) - òàêæå íåñìåùåííàÿ îöåíêà θ, è ïðèýòîì îíà íå õóæå δ - ýòî îçíà÷àåò, ÷òî äëÿ âñåõ θ ∈ Θ Varθ δ0 ≤ Varθ δ .Êðîìå òîãî, äëÿ ëþáûõ θ ∈ Θ Varθ δ0 = Varθ δ òîãäà è òîëüêî òîãäà, êîãäà ∀θ ∈Θ Pθ {δ0 = δ} = 1.17Èíäåêñû θ ïðè çíàêàõ E, Var îçíà÷àþò, ÷òî ñîîòâåòñòâóþùèå ìàòåìàòè÷åñêèå îæèäàíèÿ è äèñïåðñèè - èëè ìàòðèöû êîâàðèàöèé - âû÷èñëÿþòñÿ ïî âåðîÿòíîñòíîé ìåðåPθ . (Ñì. óïðàæíåíèå 2.1.)Òàêèì îáðàçîì, íàëè÷èå äîñòàòî÷íîé ñòàòèñòèêè ïîçâîëÿåò óëó÷øàòü íåñìåùåííûå îöåíêè.Çàìåòèì òàêæå, ÷òî δ0 = Eθ (δ|T ) ïðåäñòàâëÿåò ñîáîé íåêîòîðóþ áîðåëåâñêóþôóíêöèþ îò T . (Ñì.
ñâîéñòâà óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ, ãë.1, ï.5.) Çíà÷èò, ïðè ïîèñêå íàèëó÷øåé íåñìåùåííîé îöåíêè - ò.å. íåñìåùåííîé îöåíêè ñ ìèìèìàëüíîé äèñïåðñèåé èëè ìàòðèöåé êîâàðèàöèé - ìîæíî îãðàíè÷èòüñÿ ëèøü áîðåëåâñêèìè ôóíêöèÿìè îò äîñòàòî÷íîé ñòàòèñòèêè (åñëè èçíà÷àëüíî ìû åé ðàñïîëàãàåì).Îïðåäåëåíèå 2.7. Äîñòàòî÷íàÿ ñòàòèñòèêà T : X → Rk íàçûâàåòñÿ ïîëíîé, åñëèäëÿ ëþáîé áîðåëåâñêîé ôóíêöèè f : Rk → R òàêîé, ÷òî ó ñëó÷àéíîé âåëè÷èíû f (T )ñóùåñòâóåò êîíå÷íîå ìàòåìàòè÷åñêîå îæèäàíèå, èç Eθ f (T ) = 0 ñëåäóåò f (T ) = 0ïî÷òè íàâåðíîå.Òåîðåìà 2.8.
(Ëåìàí, Øåôàðå, 1955.) Åñëè T : X → Rk - ïîëíàÿ äîñòàòî÷íàÿñòàòèñòèêà è f (T ) - íåñìåùåííàÿ îöåíêà θ, ãäå f : Rk → Rm - áîðåëåâñêàÿ ôóíêöèÿ,ýòà íåñìåùåííàÿ îöåíêà ÿâëÿåòñÿ íàèëó÷øåé. (Ñì. óïðàæíåíèå 2.2.)Ìû áóäåì ðàññìàòðèâàòü ÷àñòíûé ñëó÷àé âûøåîïèñàííîé îáùåé áàçîâîé ìîäåëè:X = Rnp , F = Bnp , Θ = {(a, Q) : a ∈ Rp , Q - ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöàïîðÿäêà p}, à äëÿ θ = (a, Q) ∈ ΘPθ = Np (a, Q) × .
. . × Np (a, Q) .|{z}nÝòî îçíà÷àåò, ÷òî Pθ - ïðÿìîå ïðîèçâåäåíèå n ýêçåìïëÿðîâ âåðîÿòíîñòíîé ìåðû Q. íàøåì ñëó÷àå òàêîå ïðÿìîå ïðîèçâåäåíèå n ýêçåìïëÿðîâ ìåðû Q - ýòî ðàñïðåäåëåíèå ñëó÷àéíîãî np−ìåðíîãî âåêòîðà, ÿâëÿþùåãîñÿ âûáîðêîé ðàçìåðà n èçðàñïðåäåëåíèÿ Np (a, Q). (Ýòà âûáîðêà åñòü n p−ìåðíûõ ñëó÷àéíûõ âåêòîðîâ, è ååìîæíî çàïèñàòü êàê np−ìåðíûé âåêòîð.)Íàøà çàäà÷à - èñêàòü, êàêîå èìåííî ýòî ðàñïðåäåëåíèå, ò.å. êàêèå ïàðàìåòðû a, Qîíî èìååò.2. Äîñòàòî÷íàÿ ñòàòèñòèêà (X, S).~ 1, . .
. , X~ n ) - âûáîðêà èç Np (~a, Q), ~a ∈ Rp - ïîñòîÿííûéÓòâåðæäåíèå 2.9. Åñëè (Xâåêòîð, Q - íåâûðîæäåííàÿ ìàòðèöà ïîðÿäêà p, òî (X̄, S), ãäån~ 1 + . . . + X~nX1 X ~~k − X)T −(Xk − X)(XX=, S=nn − 1 k=1äîñòàòî÷íàÿ ñòàòèñòèêà.Äîêàçàòåëüñòâî.
Ìû áóäåì èñïîëüçîâàòü òåîðåìó î ôàêòîðèçàöèè:T (ξ) - äîñòàòî÷íàÿ ñòàòèñòèêà äëÿ ñåìåéñòâà âåðîÿòíîñòíûõ ìåð, çàäàííûõ ïëîòíîñòÿìè p(x, θ), åñëè è òîëüêî åñëè íàéäóòñÿ ôóíêöèè g, h, äëÿ êîòîðûõ p(x, θ) =g(T (x), θ)h(x) ïðè âñåõ x, θ. äàííîì ñëó÷àå ñîâìåñòíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ âåêòîðîâ~~ n ðàâíàX1 , . . . , X¶pn µY111√√p(~x1 , . . . , ~xn ) =exp(− (~xi − ~a)T Q−1 (~xi − ~a)) =2det Q2πi=118µ=1√2π¶pn µ1√det Q¶nnexp(−1X(~xi − ~a)T Q−1 (~xi − ~a))2 i=1Íî â ïîêàçàòåëå ýêñïîíåíòû ñòîèò tr C , ãäå C = X T Q−1 X, X - ìàòðèöà ðàçìåðà~ k − ~a, ò.å. jk -é ýëåìåíò êîòîðîé ðàâåí Xkj −p × n, k - é ñòîëáåö êîòîðîé ðàâåí X~ k = (Xk1 , .
. . , Xkn ), k = 1, n. Êðîìå òîãî, ïóñòüaj , j, k = 1, n, ãäå ìû ïîëàãàåì XX = (X 1 , . . . , X n ). Çàìåòèì, ÷òî tr C = tr(Q−1 XX T ) (ìû ïðèìåíèëè ñâîéñòâî ñëåäàìàòðèöû: tr AB = tr BA.)Íî ïî ïðàâèëó óìíîæåíèÿ ìàòðèö kl-é ýëåìåíò ìàòðèöû XX T ðàâåínXnX(Xjk − ak )(Xjl − al ) =((Xjk − X k ) + (X k − ak ))((Xjl − X l ) + (X l − al )) =j=1j=1nnnXXX=(Xjk − X k )(Xjl − X l ) +(X k − ak )(Xjl − X l ) +(Xjk − X k )(X l − al )+j=1j=1j=1nnXX+(X k − ak )(X l − al ) = (n − 1)skl + (X k − ak )(Xjl − X l )+j=1+(X l − al )j=1nX(Xjk − X k ) + n(X k − ak )(X l − al ) = (n − 1)skl + n(X k − ak )(X l − al ),j=1Pãäå skl - ýòî kl-é ýëåìåíò ìàòðèöû S ; ìû èñïîëüçîâàëè òî, ÷òî nj=1 (Xjk − X k ) =PnPnX−nX=nX−nX=0,àíàëîãè÷íîjkkkkj=1j=1 (Xjl − X l ) = 0 ïðè âñåõ k, l = 1, n.TTÒ.å.
XX = (n − 1)S + n(X −~a)(X −~a) . Çíà÷èò, â ïîêàçàòåëå ýêñïîíåíòû â ôîðìóëåäëÿ ïëîòíîñòè ñòîèò ÷èñëî1− tr((n − 1)S + n(X − ~a)(X − ~a)T ),2è ïëîòíîñòü p(~x1 , . . . , ~xn ) èìååò âèä ôóíêöèè îò ~a, Q, X, S , ò.å ïî òåîðåìå ôàêòîðèçàöèè (X̄, S) - äîñòàòî÷íàÿ ñòàòèñòèêà. Óòâåðæäåíèå äîêàçàíî.Çàìå÷àíèå 2.10.Ìàòðèöà S íàçûâàåòñÿ âûáîðî÷íîé ìàòðèöåé êîâàðèàöèé,à X - ýìïèðè÷åñêèì ñðåäíèì. Íåòðóäíî âèäåòü, ÷òî ýòî - ìíîãîìåðíûå àíàëîãèîáû÷íûõ õàðàêòåðèñòèê âûáîðêè (X1 , . . . , Xn ) èç îäíîìåðíîãî ðàñïðåäåëåíèÿ:nn1X1 XX=Xk , σ̂ 2 =(Xk − X)2 .n k=1n − 1 k=11nÓòâåðæäåíèå 2.11. EX = a, ES = Q.P~ k ) = 1 Pn EX~k =Äîêàçàòåëüñòâî.Äîêàæåì ïåðâîå ðàâåíñòâî: EX = E( n1 nk=1 Xk=1nPnk=1E~a = n~a/n = ~a. Òåïåðü äîêàæåì âòîðîå.
Íåîáõîäèìî äîêàçàòü, ÷òî Esij = qij(ãäå sij , qij - ij -å ýëåìåíòû ìàòðèö S, Q ñîîòâåòñòâåííî), ïðè âñåõ i, j = 1, n. Íî ij−éýëåìåíò ìàòðèöû S ðàâåínn1 X1 X(Xki − X i )(Xkj − X j ) =(Xki Xkj − Xki X j − Xkj X i + X i X j ) =n − 1 k=1n − 1 k=1nn1 X1 X(Xki Xkj − nX i X j − X i nX j + nX i X j ) =(Xki Xkj − nX i X j ).=n − 1 k=1n − 1 k=1Âû÷èñëèì åãî ìàòåìàòè÷åñêîå îæèäàíèå.19Çàìåòèì, ÷òîEnXXki Xkj =nXk=1EXki Xkj = (cov(X1i , X1j ) + EX1i EX1j ) = n(qij + ai aj ).k=1Äàëåå, EnX i X j = n(cov(X i , X j ) + EX i EX j ). Íî X v N (~a, Q/n), ò.ê.nX~ k v N (n~a, nQ)Xk=1(ìû èñïîëüçîâàëè óòâåðæäåíèÿ îáîèõ ïóíêòîâ óïðàæíåíèÿ 1.24). Çíà÷èò,cov(X i , X j ) = qij /n, EX i = ai , EX j = aj .Îòñþäà çàêëþ÷àåì, ÷òî EnX i X j = n(qij /n + ai aj ) = qij + nai aj .
Èòàê, Esij =1(n(qij + ai aj ) − (qij + nai aj )) = qij . Óòâåðæäåíèå äîêàçàíî.n−1Èòàê, X, S - íåñìåùåííàÿ îöåíêà äëÿ ~a, Q è äîñòàòî÷íàÿ ñòàòèñòèêà. Ìîæíî ïîêàçàòü, ÷òî ýòî - ïîëíàÿ ñòàòèñòèêà, òîãäà ïî òåîðåìå Ëåìàíà - Øåôàðå ïîëó÷èì,÷òî X, S - íàèëó÷øàÿ íåñìåùåííàÿ îöåíêà ~a, Q.3. Íåçàâèñèìîñòü X, S .Óòâåðæäåíèå 2.12. Åñëè èìååìPn p = 1, ò.å.2Xi , i = 1, n - ñëó÷àéíûå âåëè÷èíû, òî1X = (X1 + . . . + Xn )/n, σ̂ 2 = n−1k=1 (Xi − X̄) íåçàâèñèìû.~ =Äîêàçàòåëüñòâî. Ïóñòü X1 , .
. . , Xn v N (a, σ 2 ) íåçàâèñèìû, X= (X1 , . . . , Xn )T v N (~µ, σ 2 I), I - åäèíè÷íàÿ ìàòðèöà ïîðÿäêà n, µ~=√√= (a, . . . , a)T . Ïóñòü D - îðòîãîíàëüíàÿ ìàòðèöà ïîðÿäêà n ñ ïåðâîé ñòðîêîé (1/ n, . . . , 1/ n).(Ñì. çàäà÷ó 2.3.)~ v N (~µ, σ 2 I), òîÒ.ê. XY~ v N (D~µ, Dσ 2 DT ) = N (D~µ, σ 2 I)~ íåçàâèñèìû.ïî óïðàæíåíèþ 1.3.3, îòêóäà ïîëó÷àåì, ÷òî êîìïîíåíòû âåêòîðà Y2~(Âåäü cov(Yk , Yl ) - ýòî kl-éò.å. 0 - ïðèìåíÿåìóòâåðPýëåìåíò â ìàòðèöå Var Y = σ I , √√√æäåíèå 1.13.) Çíà÷èò, Y1 , nk=2 Yk2 íåçàâèñèìû. Íî Y1 = X1 / n+.
. .+Xn / n = nX ,√√2ò.ê. ïåðâàÿ ñòðîêà ìàòðèöû D ðàâíà (1/ n, . . . , 1/ n). Îòñþäà Y12 = nX . Çíà÷èò,nX~ 2 − nX 2 .Yk2 = |Y~ |2 − Y12 = |DX|k=2~ 2 = |X|~ 2 . Çíà÷èò, |DX|~ 2 − nX 2 = |X|~ 2−Ò.ê. D - îðòîãîíàëüíàÿ ìàòðèöà, òî |DX|2nX .
ÍînnXX222σ̂ =(Xk − X) =(Xk2 − 2XXk + X ) =k=1=nXk=1Xk2− 2X2Pnk=1Òåì ñàìûì äîêàçàíî, ÷òî σ̂ =íî.nXXk +k=12k=1 YknX2~ 2 − nX 2 .X = |X|k=1è X = Y1 íåçàâèñèìû. Óòâåðæäåíèå äîêàçà-Èòàê, íåçàâèñèìîñòü X, σˆ2 â îäíîìåðíîì ñëó÷àå äîêàçàíà. Êàê òðàäèöèîííî äîêàçûâàåòñÿ ýòà íåçàâèñèìîñòü â ìíîãîìåðíîì ñëó÷àå (ò.å â ñëó÷àå, êîãäà âûáîðêàïðîèçâîäèòñÿ èç ìíîãîìåðíîãî, à íå èç îäíîìåðíîãî ðàñïðåäåëåíèÿ)?20Ëåììà 2.13. Ïóñòü Xi , i = 1, n íåçàâèñèìûå ãàóññîâñêèå âåêòîðà, Xi v Np (µi , Q), i =1, n. Ïóñòü, äàëåå, C - îðòîãîíàëüíàÿ ìàòðèöà ïîðÿäêà n, cαβ −αβ -é ýëåìåíò ìàòðèöûC,nXYα =cαβ Xββ=1ïðè α = 1, n. Òîãäà:(a) (Y1 , . .
. , Yn ) - ãàóññîâñêèé âåêòîð;nP(b) EYα =cαβ EXβ ;β=1(c) cov(Yα , Yβ ) = δαβ Q (ñëåäñòâèå: ïðè α 6= βYα , Yβ íåêîððåëèðîâàíû, à, çíà÷èò, âñèëó óòâåðæäåíèÿ 1.10 è ï.(a) äàííîãî óòâåðæäåíèÿ, íåçàâèñèìû);nnPP(d)Xi XiT =Xα XαT .α=1i=1Äîêàçàòåëüñòâî: ñì. óïðàæíåíèå 2.4.Òåïåðü äîêàæåì îñíîâíîåÓòâåðæäåíèå 2.14. È â ìíîãîìåðíîì ñëó÷àå X è S òîæå íåçàâèñèìû.Äîêàçàòåëüñòâî Ïóñòü Xi , i = 1, n v Np (a, Q) - êîìïîíåíòû äàííîé âûáîðêè;îíè íåçàâèñèìû. Òîãäà, åñëèYα :=nXcαβ (Xβ − a), α = 1, n,β=1√√ãäå C - óêàçàííàÿ â ëåììå 2.13 îðòîãîíàëüíàÿ ìàòðèöà ñ ïåðâîé ñòðîêîé (1/ n, . . . , 1/ n)(ñì.çàäà÷ó 2.1), òîY1 =nX√11√ (Xβ − a) = √ (nX − na) = n(X − a).nnβ=1PPÊðîìå òîãî, Y1 Y1T + nα=2 Yα YαT = nα=1 (Xα −a)(Xα −a)T è Yα , α = 1, n, íåçàâèñèìû.(Ìû ïðèìåíèëè ëåììó 2.5, ïîäñòàâèâ Xα − a âìåñòî Xα , α = 1, n â óñëîâèå ýòîéëåììû.) ÍînnXXT(Xα − a)(Xα − a) =((Xα − X) + (X − a))((Xα − X) + (X − a))T =α=1=α=1nX¡(Xα − X)(Xα − X)T + (X − a)(Xα − X)T + (Xα − X)(X − a)T +α=1T+(X − a)(X − a)¢=nXnX(Xα − X)(Xα − X) + (X − a)( (Xα − X))T +Tα=1+α=1nX(Xα − X)(X − a)T + n(X − a)(X − a)T =α=1=nX(Xα − X)(Xα − X)T + n(X − a)(X − a)T = (n − 1)S + n(X − a)(X − a)T .α=1Íàêîíåö, Y1 Y1T =(n − 1)S ,√P√n(X −a)( n(X −a))T = n(X −a)(X −a)T .
Çíà÷èò, nα=2 Yα YαT =n1 XS=Yα YαT .n − 1 α=221√√Ò.ê. Yα , α = 1, n, íåçàâèñèìû (ñì. âûøå), n(X − a) = Y1 , îòêóäà X = Y1 / n + a, àS çàâèñèò òîëüêî îò Yα , α = 2, n, òî S è X íåçàâèñèìû. Óòâåðæäåíèå äîêàçàíî.Çàìåòèì, ÷òî (n − 1)S =nPα=2Yα YαT v Wp (n − 1, Q), ãäåWp (m, Q) =mXξi ξiT −i=1ñòàòèñòèêà Óèøàðòà (Wishart) ñ m ñòåïåíÿìè ñâîáîäû. (Ïðåäïîëàãàåòñÿ, ÷òîξi v N (0, Q), i = 1, m íåçàâèñèìû.)4. Îöåíêà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ äëÿ ïàðàìåòðîâ ~a, Q.Íàïîìíèì ïîíÿòèå "îöåíêà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ".Ïóñòü (X, F, {Pθ }θ∈ Θ ) - ðàññìîòðåííàÿ â íà÷àëå äàííîé ãëàâû îáùàÿ ñòàòèñòè÷åñêàÿ ìîäåëü, è ïðè ýòîì X = Rm . Ïóñòü, äàëåå, ïðè âñåõ θ ∈ Θ Pθ - àáñîëþòíîíåïðåðûâíàÿ ìåðà íà Rm , ò.å.
ïðè ëþáîì θ ∈ Θ Pθ èìååò ïëîòíîñòü; îáîçíà÷èì çíà÷åíèå ýòîé ïëîòíîñòè â òî÷êå x ∈ Rm ÷åðåç p(x, θ). Ïîëîæèì X ∈ X, ò.å. áóäåìñ÷èòàòü, ÷òî ìû ïðîâåëè íàáëþäåíèå è X - åãî ðåçóëüòàò.Îïðåäåëåíèå 2.15. Ïðàâäîïîäîáèåì äëÿ äàííîãî íàáëþäåíèÿ X íàçûâàåòñÿôóíêöèÿ èç Θ â R, ñîïîñòàâëÿþùàÿ ýëåìåíòó θ ∈ Θ çíà÷åíèå p(X, θ).Çäðàâûé ñìûñë ïîäñêàçûâàåò, ÷òî "õîðîøåé"îöåíêîé äëÿ èñòèííîãî çíà÷åíèÿ θÿâëÿåòñÿ, ïî-âèäèìîìó, òàêîå θ, ïðè êîòîðîì äîñòèãàåòñÿ ìàêñèìóì p(X, θ).Îïðåäåëåíèå 2.16. Çíà÷åíèå θ = θ̂ ∈ Θ, ïðè êîòîðîì ïðàâäîïîäîáèå p(X, θ)äîñòèãàåò ìàêñèìóìà, íàçûâàåòñÿ îöåíêîé ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ.Íàéäåì ýòó îöåíêó äëÿ ðàññìàòðèâàåìîé êîíêðåòíîé ìîäåëè - äëÿ âûáîðêè èçíîðìàëüíîãî ìíîãîìåðíîãî ðàñïðåäåëåíèÿ.Óòâåðæäåíèå 2.17.n1Xˆ = X−Q̂ = Sn :=(Xi − X)(Xi − X)T , ~an i=1îöåíêà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ äëÿ íåèçâåñòíûõ ïàðàìåòðîâ ~a, Q ðàñïðåäåëåíèÿ Np (~a, Q) (ïî óìîë÷àíèþ ñ÷èòàåì, ÷òî Q > 0) ïî èçâåñòíîé âûáîðêå (X1 , .
. . , Xn )èç ýòîãî ðàñïðåäåëåíèÿ.Äîêàçàòåëüñòâî. Ïðàâäîïîäîáèå ïðè äàííûõ çíà÷åíèÿõ ïàðàìåòðîâ ~a, Q - ýòî~ i , i = 1, n. Íåîáõîäèìî ïîêàçàòü, ÷òî ïðè óêàçàíïëîòíîñòü, åñëè ïîäñòàâèòü ~xi = Xíûõ â óñëîâèè çíà÷åíèÿõ ~a, Q ýòî ïðàâäîïîäîáèå ïðèíèìàåò íàèáîëüøåå çíà÷åíèå.Íî êîìïîíåíòû âûáîðêè íåçàâèñèìû, ò.å. åñëè11p0 (~x; ~a, Q) = pexp(− (~x − ~a)T Q−1 (~x − ~a))−2(2π)p det Qïëîòíîñòü Np (~a, Q) (íàïîìíèì, ÷òî ïî óñëîâèþ Q > 0, ò.å. Q íåâûðîæäåíà), òîp(~x1 , . . . , ~xn ; ~a, Q) = p0 (~x1 ; ~a, Q) · . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
