Turin Yu.N. - Multidimensional Gaussian Calculus [6th chapter] (1120043), страница 4
Текст из файла (страница 4)
¥Çàìå÷àíèå 6.33. Íàïîìíèì, ÷òî åñëè x ∈ Rl , L - íåíóëåâîå ëèíåéíîå ïîäïðî-ñòðàíñòâî Rl ñ áàçèñîì ek , k = 1, s, à ìàòðèöà F ∈ Rls èìååò ek â êà÷åñòâå k -ãîñòîëáöà, k = 1, s, òî ïðîåêöèÿ x íà L âûðàæàåòñÿ â ÿâíîì âèäå:projL x = F (F T F )−1 F T x.Äîêàçàííàÿ â òåîðåìå 6.32 ôîðìóëà åñòü ìíîãîìåðíûé àíàëîã òîëüêî ÷òî âûïèñàííîéôîðìóëû. Êðîìå òîãî, â îäíîìåðíîì ñëó÷àå ïðîåêöèÿ òàêæå ñóùåñòâóåò è åäèíñòâåííà, ÿâëÿåòñÿ ëèíåéíûì îïåðàòîðîì Rl → Rl è ìèíèìèçèðóåò ôóíêöèîíàë L → R,y 7→ |y − x|2 .Óòâåðæäåíèå 6.34. Ïóñòü L - íåíóëåâîé ïîäìîäóëü Rpn , íå ñîâïàäàþùèé ñî âñåììîäóëåì Rpn . Òîãäà ïî ëåììå 6.27 íåíóëåâûå ïîäìîäóëè L, L⊥ èìåþò îðòîíîðìèðîâàííûå áàçèñû {ek |k = 1, m}, {ek |k = m + 1, n}.
Èõ îáúåäèíåíèå - ýòî îðòîíîðìèðîâàííûé áàçèñ {ek |k = 1, n} âñåãî ìîäóëÿ Rpn . (Ïî÷åìó?) Åñëè äàíà ìàòðèöàT ∈ Rpn , òî åå ìîæíî åäèíñòâåííûì îáðàçîì (ñì. ëåììó 6.7) ïðåäñòàâèòü â âèäå10T =nPk=1αk ek , αk ∈ Rp , è òîãäà îðòîãîíàëüíàÿ ïðîåêöèÿ T íà L âûðàæàåòñÿ òàê:projL T =mXαk ek .k=1(Äîêàçàòü ñàìîñòîÿòåëüíî.)$4. Còàòèñòè÷åñêèå ãàóññîâñêèå ìîäåëè íà Rpn - îáùèå ïîëîæåíèÿ. Ñòàòèñòèêà Óèøàðòà.Òåïåðü ìû ðàçâèëè ñòðóêòóðû íà ìîäóëå Rpn , àíàëîãè÷íûå ñòðóêòóðàì èç êëàññè÷åñêîé ëèíåéíîé àëãåáðû,â äîñòàòî÷íîé ñòåïåíè, ÷òîáû ïåðåéòè óæå ê ñòàòèñòè÷åñêèì ìîäåëÿì íà ýòîì ìîäóëå.Ôîðìàëüíî ïîñòðîèì áàçîâîå ñòàòèñòè÷åñêîå ïðîñòðàíñòâî. (Îïðåäåëåíèå ýòîãîïîíÿòèÿ, íàïîìíèì, ñì.
â íà÷àëå $1 ãëàâû 2.) Ïóñòü X := Rpn , F := B(Rpn ) (áîðåëåâñêàÿσ− àëãåáðà ââîäèòñÿ íà Rpn òàê æå, êàê è íà ïðîñòðàíñòâå Rnp , îòîæäåñòâëÿåìîìñ Rpn ïóòåì åñòåñòâåííîãî èçîìîðôèçìà - âåêòîðèçàöèè, ïîñòðîåííîé â $2). Ïóñòüäàëåå Θ := {(T, Σ)|T ∈ L, Σ ∈ Rpp , Σ > 0}, ãäå L - ôèêñèðîâàííûé ïîäìîäóëü Rpn ,íå ñîâïàäàþùèé ñî âñåì ìîäóëåì Rpn .
À äëÿ θ = (T, Σ) ∈ Θ âåðîÿòíîñòíàÿNìåðà Pθîïðåäåëÿåòñÿ òàê: Pθ := Np (l1 , Σ) × Np (l2 , Σ) × . . . × Np (ln , Σ) = Npn (vec T, Σ In ), ãäålk − k−é ñòîëáåö ìàòðèöû T . (Äîêàçàòü ïîñëåäíåå ðàâåíñòâî!)Òîãäà (X, F, {Ptheta |θ ∈ Θ}) - ñòàòèñòè÷åñêîå ïðîñòðàíñòâî, ÿâëÿþùååñÿ îñíîâîéäëÿ äàëüíåéøèõ ðàññìîòðåíèé.NÇàìå÷àíèå 6.35. A B äëÿ ìàòðèöû A ðàçìåðà k1 ×l1 è äëÿ ìàòðèöû B ðàçìåðàk2 × l2 åñòü, ïî îïðåäåëåíèþ, ìàòðèöà ðàçìåðà k1 k2 × l1 l2 , çàäàâàåìàÿ êàê áëî÷íàÿìàòðèöà, ñîñòîÿùàÿ èç k1 × l1 áëîêîâ ðàçìåðà k2 × l2 . Ïðè âñåõ i = 1, k1 , j = 1, l1 ij−éáëîê ðàâåí aij B , ãäå aij åñòü ij -é ýëåìåíò ìàòðèöû A. Òàêàÿ ìàòðèöà íàçûâàåòñÿêðîíåêåðîâñêèì ïðîèçâåäåíèåì ìàòðèö A è B .Íåôîðìàëüíî ãîâîðÿ, ìû äåëàåì n p-ìåðíûõ íåçàâèñèìûõ íàáëþäåíèé, ïðè÷åìk−å íàáëþäåíèå (k = 1, n) âçÿòî èç ðàñïðåäåëåíèÿ Np (lk , Σ).
Íåçàâèñèìîñòü X1 , . . . , Xnñëåäóåò èç òîãî, ÷òî vec X èìååò ðàñïðåäåëåíèå, ÿâëÿþùååñÿ ïðÿìûì ïðîèçâåäåíèåìâåðîÿòíîñòíûõ ìåð Np (lk , Σ) (ãäå X - ñëó÷àéíàÿ ìàòðèöà ðàçìåðà p × n, k -é ñòîëáåöêîòîðîé ðàâåí Xk , k = 1, n.) Ò.å. ýòè ñëó÷àéíûå âåêòîðû èìåþò, âîîáùå ãîâîðÿ, ðàçíûå ìàòåìàòè÷åñêèå îæèäàíèÿ, íî îäíó è òó æå ìàòðèöó êîâàðèàöèé (íå èçâåñòíóþíàì) Σ.
Êðîìå ýòîãî, íàì èçâåñòíî ëèøü, ÷òî ìàòðèöà (l1 |l2 | . . . |ln ) ëåæèò â ôèêñèðîâàííîì ïîäìîäóëå L. Ñèòóàöèÿ, êàê âèäèì, ïîëíîñòüþ àíàëîãè÷íà îäíîìåðíîìóñëó÷àþ.Ìû ìîæåì çàäàòü ýòè íàáëþäåíèÿ Xk êàê ñëó÷àéíûå âåêòîðà íà ïîñòðîåííîìâûøå ñòàòèñòè÷åñêîì ïðîñòðàíñòâå. À èìåííî: ïðè k = 1, n Xk (T ) := Tk , ãäå Tkåñòü k -é ñòîëáåö ìàòðèöû T ∈ Rpn .  òàêîì ñëó÷àå èìååì: ñëó÷àéíàÿ ìàòðèöà X =(X1 | . . . |Xn ) çàäàåòñÿ íà íàøåì ñòàòèñòè÷åñêîì ïðîñòðàíñòâå òàê: X(T ) := T ïðèâñåõ T ∈ Rpn .
 ýòîì ñëó÷àå - íàïîìíèì $1 äàííîé ãëàâû - ãîâîðÿò, ÷òî ñëó÷àéíàÿìàòðèöà X , â êîòîðóþ ìû ñîáðàëè âñå íàøè íàáëþäåíèÿ, íåïîñðåäñòâåííî çàäàíà.Ìîæíî ââåñòè â ðàññìîòðåíèå òàêæå ìíîãîìåðíóþ ëèíåéíóþ ãàóññîâñêóþðåãðåññèþ, ïîëíîñòüþ àíàëîãè÷íóþ òîé, êîòîðàÿ îáñóæäàëàñü â $1 äàííîé ãëàâû.Ïóñòü ìû, êàê è â $1, ïðîâîäèì ñåðèþ èç n íåçàâèñèìûõ ýêñïåðèìåíòîâ, â k -ì ýêñïåðèìåíòå ìû ââîäèì êàê èñõîäíûå äàííûå m ôàêòîðîâ Xkj , j = 1, m, à íà âûõîäåïîëó÷àåì óæå íå îäèí, à p îòêëèêîâ (îòòîãî è ðåãðåññèÿ íàçûâàåòñÿ ìíîãîìåðíîé)Yjk , j = 1, p.
Ïðè ýòîì íàì èçâåñòíî, ÷òî çàâèñèìîñòü âåêòîðà îòêëèêîâ îò âåêòîðà ôàêòîðîâ ëèíåéíà, ñ òî÷íîñòüþ äî ñëó÷àéíîé íåñèñòåìàòè÷åñêîé îøèáêè (ò.å.,11íàïîìíèì, îøèáêè, ìàòåìàòè÷åñêîå îæèäàíèå êîòîðîé ðàâíî 0). Èëè, íà ÿçûêå ôîðìóë:mXYjk =ajq Xqk + εkjq=1äëÿ âñåõ k = 1, n, j = 1, p, ãäå ajq , j = 1, p, q = 1, m - èñêîìûå êîýôôèöèåíòû ëèíåéíîéçàâèñèìîñòè, εkj - ñëó÷àéíûå îøèáêè, ïðè÷åì âåêòîðà εk = (εk1 , . .
. , εkp )T v Np (0, Σ)íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.  ìàòðè÷íîì âèäå:Y = AX + ε,ãäå X - ìàòðèöà ðàçìåðà m×n, qk -é ýëåìåíò êîòîðîé ðàâåí Xqk , Y - ìàòðèöà ðàçìåðàp×n, jk−é ýëåìåíò êîòîðîé ðàâåí Yjk , ε - ñëó÷àéíàÿ ìàòðèöà ðàçìåðà p×n, k -é ñòîëáåö êîòîðîé ðàâåí εk .
Íàøà çàäà÷à - îöåíèòü ìàòðèöó p × m êîýôôèöèåíòîâ A, jq -éýëåìåíò êîòîðîé ðàâåí ajq , j = 1, p, q = 1, m. Ñîâåðøåííî àíàëîãè÷íî îäíîìåðíîé ðåãðåññèè èç $1 ïîêàçûâàåòñÿ, ÷òî ìû ïîëó÷èëè ÷àñòíûé ñëó÷àé ìíîãîìåðíîé ìîäåëè,îïèñàííîé â íà÷àëå ýòîãî ïàðàãðàôà. À èìåííî: ñëó÷àéíàÿ ìàòðèöà Y òàêîâà, ÷òîåå ñòîëáöû íåçàâèñèìû è l-é ñòîëáåö èìååò ðàñïðåäåëåíèå Np (Tl , Σ), ãäå Tl åñòüL l-éñòîëáåö ìàòðèöû ñðåäíèõ T = AX . Ò.å., ýêâèâàëåíòíî, vec Y v Nnp (vec T, Σ Ip ),è íàì èçâåñòíî ïðî ìàòðèöó ñðåäíèõ T òîëüêî òî, ÷òî îíà ïðèíàäëåæèò ïîäìîäóëþ{BX|B ∈ Rpm } ìîäóëÿ Rpn .
Îöåíèâ ìàòðèöó T (êàê - ñì. íèæå) è ðåøèâ ñîîòâåòñòâóþùèå ñèñòåìû ëèíåéíûõ óðàâíåíèé - èõ ðåøåíèå ñóùåñòâóåò è åäèíñòâåííî, åñëè ðàíãìàòðèöû X ðàâåí m - ïîëó÷èì îöåíêè ïàðàìåòðîâ ajq , j = 1, p, q = 1, m. (Ïðîâåäèòåýòî ïîñëåäíåå ðàññóæäåíèå ïîäðîáíåå.)Ïîñòàâèì ñëåäóþùèå çàäà÷è:1. Ïîñòðîèòü íåñìåùåííûå îöåíêè äëÿ T = EX è Σ.2. Ïðîâåðèòü ïðè äàííîì óðîâíå çíà÷èìîñòè ëèíåéíóþ ãèïîòåçó H : T ∈ L0 , ãäåL0 ⊂ L - ïîäìîäóëü Rpn . Ôîðìàëüíî çàïèøåì ýòó ãèïîòåçó â ñëåäóþùåì âèäå: θ ∈ Θ0 ,ãäå Θ0 ⊂ Θ, T heta0 := {(T, Σ)|T ∈ L0 , Σ ∈ Rpp , Σ > 0} = {(T, Σ) ∈ Θ|T ∈ L0 }.Òåïåðü íàì ïîëíîñòüþ ïîíÿòíî çàìå÷àíèå 6.13 îá îäèíàêîâîì ÷èñëå ëèíåéíûõ ìîäåëåé â îäíîìåðíîì ñëó÷àå, ò.å.
â Rn , è â ìíîãîìåðíîì ñëó÷àå, ò.å. â Rpn . Âåäü êàæäàÿëèíåéíàÿ ìîäåëü â Rpn çàäàåòñÿ ïîäìîäóëåì L (èëè äâóìÿ ïîäìîäóëÿìè L, L0 , L0 ⊂ L,åñëè ðå÷ü èäåò î ïðîâåðêå ëèíåéíûõ ãèïîòåç). À ëèíåéíàÿ ìîäåëü â Rn çàäàåòñÿ ëèíåéíûì ïîäïðîñòðàíñòâîì L (èëè äâóìÿ ïîäïðîñòðàíñòâàìè L, L0 , L0 ⊂ L, åñëè ðå÷üèäåò î ïðîâåðêå ëèíåéíûõ ãèïîòåç). Îòîæäåñòâëÿÿ ëèíåéíûå ïîäïðîñòðàíñòâà è ïîäìîäóëè (è âñïîìèíàÿ òî, ÷òî ñîãëàñíî ï.3 îñíîâíîé òåîðåìû 6.12 ýòî îòîæäåñòâëåíèåñîõðàíÿåò âêëþ÷åíèå), ïîëó÷àåì îòîæäåñòâëåíèå ëèåéíûõ ìîäåëåé â Rn è Rpn .Îòìåòèì åùå âàæíûé ÷àñòíûé ñëó÷àé òîëüêî ÷òî ñôîðìóëèðîâàííîé ëèíåéíîéãèïîòåçû.
 ìîäåëè ìíîãîìåðíîé ãàóññîâñêîé ëèíåéíîé ðåãðåññèè ìîæíî ïîñòàâèòüçàäà÷ó î ïðîâåðêå ãèïîòåçû H : ajq = 0, j = 1, p, q = r + 1, m. Ôîðìàëüíî ãîâîðÿ, ýòàãèïîòåçà ñîîòâåòñòâóåò ÷àñòíîìó ñëó÷àþ ëèíåéíîé ãèïîòåçû H : T ∈ L0 , ñôîðìóëèðîâàííîé âûøå, ãäå L0 := {AX|A = (ajq )q=1,m∈ Rpm , ajq = 0, j = 1, p, q = r + 1, m} j=1,pïîäìîäóëü â Rpn , ëåæàùèé â ïîäìîäóëå L = {AX|A ∈ Rpm }. (Ïðîâåðüòå òî, ÷òî L0 äåéñòâèòåëüíî ïîäìîäóëü!) Íåôîðìàëüíî ýòî îçíà÷àåò, ÷òî ãèïîòåçà âûïîëíåíà òîãäàè òîëüêî òîãäà, êîãäà âñå êîýôôèöèåíòû ïðè âñåõ ôàêòîðàõ, êðîìå r ïåðâûõ, ðàâíû íóëþ, ò.å., ïîïðîñòó ãîâîðÿ, êîãäà îñòàëüíûå ôàêòîðû íå âëèÿþò íà ðåçóëüòàòûýêñïåðèìåíòà.Èòàê, ñôîðìóëèðîâàííûå äâå çàäà÷è ïîëíîñòüþ àíàëîãè÷íû çàäà÷àì èç êëàññè÷åñêîé îäíîìåðíîé ìîäåëè - ñì. $1.
Ïðèñòóïèì ê èõ ðåøåíèþ. Íàïîìíèì ñíà÷àëàâàæíîå ïîíÿòèå.Îïðåäåëåíèå 6.36. Öåíòðàëüíàÿ p-ìåðíàÿ ñòàòèñòèêà Óèøàðòà (Wishart)ñ m ñòåïåíÿìè ñâîáîäû è ìàòðèöåé êîâàðèàöèé Q (ãäå m, p ∈ N, Q - íåîòðèöàòåëüíàÿ ñèììåòðè÷íàÿ êâàäðàòíàÿ ìàòðèöà ïîðÿäêà p - çàäàííûå ïàðàìåòðû) ïî12îïðåäåëåíèþ, çàäàåòñÿ òàê: åñëè ξk , k = 1, m - íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåêòîðà ñ ðàñïðåäåëåíèåì Np (0, Q), òîWp (m, Q) :=mXξk ξkT −k=1äàííàÿ ñòàòèñòèêà. Èíîãäà åå íàçûâàþò ïðîñòî ñòàòèñòèêîé Óèøàðòà ñ m ñòåïåíÿìè ñâîáîäû è ìàòðèöåé êîâàðèàöèé Q.
Íåöåíòðàëüíàÿ p-ìåðíàÿ ñòàòèñòèêàÓèøàðòà ñ m ñòåïåíÿìè ñâîáîäû, ìàòðèöåé êîâàðèàöèé Q è ïàðàìåòðîìíåöåíòðàëüíîñòè 4 - ýòî, ïî îïðåäåëåíèþ,Wp (m, Q, 4) :=mX(ξk + ak )(ξk + ak )T ,k=1ãäå ak ∈ Rp , k = 1, m - òàêèå ïîñòîÿííûå (íåñëó÷àéíûå) âåêòîðà, ÷òî 4 =mPk=1ak aTk =AAT =< A, A >, A = ||a1 |a2 | . . .
|am ||. Ìîæíî îïðåäåëèòü íåöåíòðàëüíóþ ñòàòèñòèêóÓèøàðòà è òàê:mXWp (m, Q, 4) :=ζk ζkT ,k=1ãäå ζk v Np (ak , Q) ïðè k = 1, m - íåçàâèñèìûå ñëó÷àéíûå âåêòîðû. (Ïî÷åìó ýòè äâàîïðåäåëåíèÿ ýêâèâàëåíòíû?)Ýòî ïîíÿòèå åñòü ïðîñòî ìíîãîìåðíûé àíàëîã ðàñïðåäåëåíèÿ χ2 ñ m ñòåïåíÿìèñâîáîäû, êîòîðîå, êñòàòè, òàêæå áûâàåò öåíòðàëüíûì è íåöåíòðàëüíûì. Èìååò ìåñòîâàæíîå, íî ïðîñòîå óòâåðæäåíèå.Ëåììà 6.37. Ðàñïðåäåëåíèå ñëó÷àéíîé ìàòðèöûmP(ξk + ak )(ξk + ak )T , ãäå ξkk=1v Np (0, Q), k = 1, m, íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû, çàâèñèò òîëüêî îò âåmPëè÷èíû < A, A >=ak aTk .k=1(Äîêàæèòå ýòî ñàìîñòîÿòåëüíî. Ýòî - îïÿòü-òàêè ìíîãîìåðíûé àíàëîã òîãî ôàêòà,mP÷òî ðàñïðåäåëåíèå(ηk + bk )2 ïðè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ηk vk=1N (0, 1) íå çàâèñèò îò ñàìèõ bk ∈ R, à òîëüêî îò ïàðàìåòðà íåöåíòðàëüíîñòè - ñóììûmPèõ êâàäðàòîâb2k .
Ýòè-òî óòâåðæäåíèÿ è äåëàþò îñìûñëåííûì ïîíÿòèå ïàðàìåòðàk=1íåöåíòðàëüíîñòè è â îäíîìåðíîì, è â ìíîãîìåðíîì ñëó÷àÿõ.)Ëåììà 6.38. 1. Èìååò ìåñòî ðàâåíñòâî ðàñïðåäåëåíèé: Wp (m, Σ) = Σ1/2 Wp (m, Ip )Σ1/2 .2. Åñëè p > m èëè det Σ = 0, òî ñëó÷àéíàÿ ìàòðèöà Wp (m, Σ) âûðîæäåíà ñ âåðîÿòíîñòüþ 1 (íî íåîòðèöàòåëüíî îïðåäåëåíà), à åñëè p ≤ n, det Σ > 0, òî îíà íåâûðîæäåíà è ïîëîæèòåëüíî îïðåäåëåíà ïî÷òè íàâåðíîå. (Äîêàçàòü ñàìîñòîÿòåëüíî.)Ëåììà 6.39. Ìàòåìàòè÷åñêîå îæèäàíèå ìàòðèöû - ñòàòèñòèêè Óèøàðòà Wp (m, Q)- åñòü mQ. (Äîêàçàòü ñàìîñòîÿòåëüíî.)5.
Ëåììà îá îðòîãîíàëüíîé ïðîåêöèè. Íåñìåùåííûå îöåíêè.1. Íàïîìíèì åùå ïîëåçíóþ ëåììó.13Ëåììà 2.13. Ïóñòü Xi , i = 1, n íåçàâèñèìûå ãàóññîâñêèå âåêòîðà, Xi v Np (µi , Q), i =1, n. Ïóñòü, äàëåå, C - îðòîãîíàëüíàÿ ìàòðèöà ïîðÿäêà n, cαβ −αβ -é ýëåìåíò ìàòðèöûC,nXYα =cαβ Xββ=1ïðè α = 1, n. Òîãäà:(a) (Y1 , . .
. , Yn )T - ãàóññîâñêèé âåêòîð;nP(b) EYα =cαβ EXβ ;β=1(c) cov(Yα , Yβ ) = δαβ Q (ñëåäñòâèå: ïðè α 6= β Yα , Yβ íåêîððåëèðîâàíû, à, çíà÷èò, âñèëó óòâåðæäåíèÿ 1.10 è ï.(a) äàííîãî óòâåðæäåíèÿ, íåçàâèñèìû, à ïðè α = β èìååì:Var Yα = cov(Yα , Yβ ) = Q);nnPPYα YαT .Xi XiT =(d)α=1i=1Íàïîìíèì, îíà áûëà ñôîðìóëèðîâàíà â ãëàâå 2, $3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
