Turin Yu.N. - Multidimensional Gaussian Calculus [6th chapter] (Ю.Н. Тюрин - Лекции)

Ãëàâà 6. Ìíîãîìåðíûå ãàóññîâñêèå ñòàòèñòè÷åñêèåëèíåéíûå ìîäåëè.Ïëàí ýòîé ãëàâû òàêîâ. $1 íàïîìèíàåòñÿ î êëàññè÷åñêèõ ðåçóëüòàòàõ, êàñàþùèõñÿ îöåíèâàíèÿ ïàðàìåòðîâ ðàñïðåäåëåíèÿ è ïðîâåðêè ëèíåéíûõ ãèïîòåç, äëÿ îáû÷íîé ãàóññîâñêîé ìîäåëèèç n îäíîìåðíûõ íàáëþäåíèé; òàêæå äåëàåòñÿ íåáîëüøîå ââåäåíèå â ìåòîäû ïîñòðîåíèÿ àíàëîãè÷íîé, íî ìíîãîìåðíîé ìîäåëè.

Ýòîé ïîñëåäíåé çàäà÷å, ñîáñòâåííî, èïîñâÿùåíà âñÿ íàñòîÿùàÿ ãëàâà. $2 íà ïðîñòðàíñòâå Rpn ìàòðèö ðàçìåðà p × n ââîäÿòñÿ íåêîòîðûå ïðîñòûå, íîâàæíûå ëèíåéíûå ñòðóêòóðû; ôàêòè÷åñêè òàì ñòðîèòñÿ ñâîÿ êàê áû ëèíåéíàÿ àëãåáðà, àíàëîãè÷íàÿ âñåì èçâåñòíîé ëèíåéíîé àëãåáðå íà n-ìåðíîì äåéñòâèòåëüíîìëèíåéíîì ïðîñòðàíñòâå. Èíòåðåñíî, ÷òî Rpn îêàçûâàåòñÿ íå np−ìåðíûì ïðîñòðàíñòâîì, êàê ñëåäîâàëî áû îæèäàòü, à, â íåêîòîðîì ñìûñëå, n-ìåðíûì! $3 ââîäèòñÿ äîïîëíèòåëüíàÿ êîíñòðóêöèÿ - òàê íàçûâàåìàÿ ñêîáêà Òþðèíà íàRpn , àíàëîã ñêàëÿðíîãî ïðîèçâåäåíèÿ â Rn , è îïðåäåëÿþòñÿ ïîíÿòèÿ îðòîãîíàëüíîñòèè îðòîãîíàëüíîé ïðîåêöèè. $4 óæå íà áàçå ïîñòðîåííîãî àíàëîãà ëèíåéíîé àëãåáðû â Rpn ðàññìàòðèâàþòñÿâàæíûå ñòàòèñòè÷åñêèå ìîäåëè, î÷åíü ïîõîæèå íà îäíîìåðíûå.

Ñòðîãî ôîðìóëèðóþòñÿ äâå çàäà÷è, àíàëîãè÷íûå äâóì îäíîìåðíûì çàäà÷àì - íåñìåùåííîå îöåíèâàíèåìàòåìàòè÷åñêîãî îæèäàíèÿ è ìàòðèöû êîâàðèàöèé, à òàêæå ïðîâåðêà ëèíåéíûõ ãèïîòåç. Íàïîìèíàåòñÿ ïîíÿòèå ñòàòèñòèêè Óèøàðòà èç ãëàâû 2 - ìíîãîìåðíîãî àíàëîãàðàñïðåäåëåíèÿ χ2 . $5 ìû óæå íåïîñðåäñòâåííî ïðèñòóïàåì ê ðåøåíèþ ýòèõ çàäà÷. Ýòîò ïàðàãðàôïîñâÿùåí ïåðâîé èç íèõ - îöåíèâàíèþ. Îñíîâîé äëÿ ðàçðåøåíèÿ ýòîé çàäà÷è ñòàíåòëåììà îá îðòîãîíàëüíîì ðàçëîæåíèè, ïî÷òè òàêàÿ æå, êàê è â êëàññè÷åñêîì îäíîìåðíîì ñëó÷àå. $6, çàêëþ÷èòåëüíîì, ìû ïðèêàñàåìñÿ ê, ïîæàëóé, ñàìîìó ñëîæíîìó è ìàëîèçó÷åííîìó ðàçäåëó ýòîé ãëàâû - ïðîâåðêå ãèïîòåç.

Ââîäÿòñÿ íåêîòîðûå ñòàòèñòèêè,îòäàëåííî íàïîìèíàþùèå îá èçâåñòíîé ñòàòèñòèêå - äðîáè ñ ðàñïðåäåëåíèåì Ôèøåðàèç îäíîìåðíîãî ñëó÷àÿ, è ôîðìóëèðóþòñÿ èñêîìûå ïðàâèëî ïðîâåðêè ãèïîòåç. Íîñèòóàöèÿ çäåñü äàëåêî íå òàê ïðîçðà÷íà, êàê â îäíîìåðíîì ñëó÷àå.$1. Ïðåäâàðèòåëüíûå çàìå÷àíèÿ.Íàïîìíèì, â ÷åì ñîñòîèò êëàññè÷åñêàÿ îäíîìåðíàÿ ãàóññîâñêàÿ ëèíåéíàÿ ñòàòèñòè÷åñêàÿ ìîäåëü. Ïóñòü X = (X1 , . . . , Xn )T v Nn (l, σ 2 In ) - n-ìåðíûé ñëó÷àéíûé âåêòîð íàáëþäåíèé, ãäå σ > 0 - íåèçâåñòíîå ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå, l = EX- íåèçâåñòíûé n-ìåðíûé âåêòîð - ñòîëáåö; åäèíñòâåííîå, ÷òî íàì èçâåñòíî ïðî íåãî- îí ïðèíèìàåò çíà÷åíèÿ â íåêîòîðîì ôèêñèðîâàííîì ëèíåéíîì ïîäïðîñòðàíñòâåL ⊂ Rn , íå ñîâïàäàþùåì ñî âñåì ïðîñòðàíñòâîì Rn .

(À ýòî ïîäïðîñòðàíñòâî L íàìèçâåñòíî.)Ýòè íàáëþäåíèÿ Xk , k = 1, n íåêîððåëèðîâàíû, ò.ê. Var X = σ 2 In - äèàãîíàëüíàÿ ìàòðèöà. Íî îíè èìåþò ñîâìåñòíîå ãàóññîâñêîå ðàñïðåäåëåíèå - âåäü âåêòîð Xðàñïðåäåëåí ïî íîðìàëüíîìó çàêîíó - à, çíà÷èò, ïî óòâåðæäåíèþ 1.13 ãëàâû 1 îíèíåçàâèñèìû. Íàáëþäåíèå Xk , k = 1, n âûáèðàåòñÿ èç íîðìàëüíîãî çàêîíà ðàñïðåäåëåíèÿ N (lk , σ 2 ), ãäå lk åñòü k -ÿ êîìïîíåíòà âåêòîðà l.

(Ýòî ïîñëåäíåå óòâåðæäåíèåñëåäóåò èç óïðàæíåíèÿ 1.6 â êîíöå ãëàâû 1.) Òàêèì îáðàçîì, ñëó÷àéíûå âåëè÷èíû, âõîäÿùèå â âåêòîð X , èìåþò, âîîáùå ãîâîðÿ, ðàçíûå ìàòåìàòè÷åñêèå îæèäàíèÿlk , k = 1, n, íî îäíó è òó æå äèñïåðñèþ σ 2 .Èëè, áîëåå ôîðìàëüíî: ïóñòü X := Rn , F := B(Rn ) - áîðåëåâñêàÿ σ -àëãåáðà íà Rn ,Θ := {(l, σ)|l ∈ L, σ > 0}, è äëÿ θ = (l, σ) ∈ Θ Pθ = Nn (l, σ 2 In ) - âåðîÿòíîñòíàÿ ìåðàíà F. Òîãäà èìååì ñòàòèñòè÷åñêîå ïðîñòðàíñòâî, áàçîâîå äëÿ ýòîé ìîäåëè:(X, F, {Pθ |θ ∈ Θ}) = (Rn , B(Rn ), {Nn (l, σ 2 In )|σ > 0, l ∈ L}).1Î òîì, ÷òî òàêîå ñòàòèñòè÷åñêîå ïðîñòðàíñòâî, ñì. $1 ãëàâû 2, îïðåäåëåíèå 1.Ìû ìîæåì çàäàòü ñëó÷àéíûå âåëè÷èíû - íàáëþäåíèÿ Xk íà äàííîì ñòàòèñòè÷åñêîì ïðîñòðàíñòâå ñëåäóþùèì îáðàçîì: Xk (x) := xk ïðè x = (x1 , .

. . , xn )T ∈ X = Rn .Òîãäà ñëó÷àéíûé âåêòîð íàáëþäåíèé áóäåò çàäàí òàê: X(x) := x.  òåîðèè âåðîÿòíîñòåé, êîãäà ñëó÷àéíàÿ ôóíêöèÿ åñòü òîæäåñòâåííîå îòîáðàæåíèå, åå íàçûâàþòíåïîñðåäñòâåííî çàäàííîé. Íàïðèìåð, åñëè âàì èçâåñòíî äîêàçàòåëüñòâî òåîðåìûÊîëìîãîðîâà, òî âû çíàåòå, ÷òî òàì ñëó÷àéíûé ïðîöåññ ñòðîèòñÿ òàêæå êàê íåïîñðåäñòâåííî çàäàííûé. Òàêèì îáðàçîì, íàø ñëó÷àéíûé âåêòîð íåïîñðåäñòâåííî çàäàí.Íàïîìíèì åùå èçâåñòíóþ çàäà÷ó îäíîìåðíîé ãàóññîâñêîé ëèíåéíîé ðåãðåñ-ñèè.Ïóñòü ìû ïðîâîäèì n íåçàâèñèìûõ ýêñïåðèìåíòîâ, ïðè÷åì â k−ì ýêñïåðèìåíòåââîäèì èñõîäíûå äàííûå Xkj , j = 1, m (áóäåì íàçûâàòü èõ ôàêòîðàìè), ãäå m åñòü÷èñëî ôàêòîðîâ, îíî îäíî è òî æå äëÿ êàæäîãî ýêñïåðèìåíòà. Ïóñòü â k -ì ýêñïåðèìåíòå ìû ôèêñèðóåì ðåçóëüòàò - äåéñòâèòåëüíîå ÷èñëî Yk , íàçûâàåìîå îòêëèêîì.Ïðè ýòîì íàì çàâåäîìî èçâåñòíî, ÷òî îòêëèê, ñ òî÷íîñòüþ äî ñëó÷àéíîé íåñèñòåìàòè÷åñêîé (ò.å.

ñ íóëåâûì ìàòåìàòè÷åñêèì îæèäàíèåì) îøèáêè, çàâèñèò îò ôàêòîðîâ ëèíåéíî, ñ íåêîòîðûìè íåèçâåñòíûìè íàì êîýôôèöèåíòàìè. Ò.å., çàïèñûâàÿýòî â âèäå ôîðìóë, èìååì:mXYk =aj Xkj + εkj=1ïðè âñåõ k = 1, n, ãäå aj , j = 1, m - âûøåóïîìÿíóòûå íåèçâåñòíûå êîýôôèöèåíòû,εk v N (0, σ 2 ), k = 1, n - íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåëè÷èíû, ïðè÷åì σ > 0 íàì íå èçâåñòíî. Òàêàÿ ðåãðåññèÿ íàçûâàåòñÿ îäíîìåðíîé â ñèëóòîãî, ÷òî îòêëèê îäíîìåðåí; ëèíåéíîé, ò.ê. îòêëèê çàâèñèò îò ôàêòîðîâ ëèíåéíî ñòî÷íîñòüþ äî ñëó÷àéíîé îøèáêè εk ; ãàóññîâñêîé, ò.ê.

åäèíñòâåííûå ñëó÷àéíûå ñëàãàåìûå â ýòèõ ôîðìóëàõ - ýòî εk , ò.å. ãàóññîâñèå ñëó÷àéíûå âåëè÷èíû.Ýòà òåðìèíîëîãèÿ õîðîøî ñîãëàñîâàíà ñ îïðåäåëåíèåì ðåãðåññèè è ëèíåéíîé ðåãðåññèè, äàííûõ â $6 ãëàâû 1. Íàïîìíèì ýòè îïðåäåëåíèÿ.Ðåãðåññèÿ ñëó÷àéíîé âåëè÷èíû (èëè ñëó÷àéíîãî âåêòîðà) X1 îòíîñèòåëüíî ñëó-÷àéíîé âåëè÷èíû (èëè ñëó÷àéíîãî âåêòîðà) X2 - ýòî E(X1 |X2 ) = f (X2 ), ãäå f íåêîòîðàÿ (áîðåëåâñêàÿ) ôóíêöèÿ.

Òîãäà X1 = f (X2 ) + ε, ãäå ε - ñëó÷àéíàÿ âåëè÷èíà(èëè ñëó÷àéíûé âåêòîð) ñ E(ε|X2 ) = 0, íàçûâàåìàÿ ñëó÷àéíîé îøèáêîé. Åñëè fëèíåéíà, òî ðåãðåññèÿ íàçûâàåòñÿ ëèíåéíîé.À â äàííîì ñëó÷àå, åñëè x - ñëó÷àéíûé m-ìåðíûé âåêòîð - ñòîëáåö ôàêòîðîâ(â k -ì ýêñïåðèìåíòå îí ïðèíèìàë çíà÷åíèå (Xk1 , . . . , Xkm ), k = 1, n), à Y - ñëó÷àéíàÿ âåëè÷èíà - îòêëèê (â k -ì ýêñïåðèìåíòå îí ïðèíèìàë çíà÷åíèå Yk , k = 1, n), òîY = aT X + ε, ε v N (0, σ 2 ). (Çäåñü a := (a1 , . .

. , an )T .) Ïðåäïîëàãàÿ, ÷òî îøèáêà ε íåçàâèñèò îò X - îò äàííûõ, ïîäàâàåìûõ íà âõîä, ïîëó÷àåì: E(ε|X) = Eε = 0. Çíà÷èò, E(Y |X) = E(aT X + ε|X) = aT X - ëèíåéíàÿ ôóíêöèÿ îò X , ò.å. èìååì êàê ðàçëèíåéíóþ ðåãðåññèþ â ñìûñëå îïðåäåëåíèÿ èç ãëàâû 1.Íàøà çàäà÷à - îöåíèòü ýòè êîýôôèöèåíòû.

Íà ñàìîì äåëå ýòà çàäà÷à ñâîäèòñÿ êñôîðìóëèðîâàííîé âûøå. Äåéñòâèòåëüíî, ïðè âñåõ k = 1, n ñëó÷àéíàÿ âåëè÷èíà YkmPðàñïðåäåëåíà ïî çàêîíó N ( aj Xkj , σ 2 ), è Yk , k = 1, n íåçàâèñèìû. Îòñþäà ïîëó÷àåì:j=1ñëó÷àéíûé âåêòîð Y = (Y1 , . . . , Yn )T èìååò ðàñïðåäåëåíèå Nn (Xa, σ 2 In ), ãäå ÷åðåçX ìû îáîçíà÷èëè ìàòðèöó ðàçìåðà m × n, kj−é ýëåìåíò êîòîðîé ðàâåí Xkj . Ò.å.Y v Nn (l, σ 2 In ), è íàì èçâåñòíî ïðî n−ìåðíûé âåêòîð l = Xa òîëüêî òî, ÷òî îí ëåæèòâ ëèíåéíîì ïîäïðîñòðàíñòâå L ⊂ Rn , ïîðîæäåííîì âåêòîðàìè (X1j , . .

. , Xnj )T , j =1, m.Îöåíèâàíèå êîýôôèöèåíòîâ aj , j = 1, m, ðàâíîñèëüíî îöåíèâàíèþ l, ò.ê. åñëè ðàíãìàòðèöû X ðàâåí m, ìû ìîæåì îäíîçíà÷íî ðàçðåøèòü ñèñòåìó óðàâíåíèé Xa =2ˆl (ïðåäâàðèòåëüíî ïîëó÷èâ ˆl ∈ L - îöåíêó l) è ïîëó÷èòü ðåøåíèå ýòîé ñèñòåìû îöåíêó âåêòîðà a. (Âîïðîñ: ïî÷åìó ïðè óêàçàííûõ óñëîâèÿõ ðåøåíèå ýòîé ñèñòåìûñóùåñòâóåò è åäèíñòâåííî?) Òàêæå ìû ìîæåì îöåíèòü è σ 2 ; êàê - èçëîæåíî íèæå.Ìîæíî ïîñòàâèòü ñëåäóþùèå çàäà÷è:1. Ïîñòðîèòü íåñìåùåííûå îöåíêè äëÿ l, σ 2 .2. Ïðîâåðèòü ïðè çàäàííîì óðîâíå çíà÷èìîñòè α ∈ (0, 1) ëèíåéíóþ ãèïîòåçó H :l ∈ L0 , ãäå L0 ⊂ L - çàäàííîå ëèíåéíîå ïîäïðîñòðàíñòâî, íå ñîâïàäàþùåå ñ L.

Ìîæíîçàïèñàòü ýòó ãèïîòåçó ïî-äðóãîìó: θ ∈ Θ0 , ãäå Θ0 := {(l, σ)|l ∈ L0 , σ > 0} = {(l, σ) ∈Θ|l ∈ L0 }.Ýòè çàäà÷è óæå ðåøåíû â ìàòåìàòè÷åñêîé ñòàòèñòèêå. Ïóñòü äàëåå m := dim L, m0 :=dim L0 . Íàïîìíèì ðåçóëüòàòû:1. ˆl := projL X - íåñìåùåííàÿ îöåíêà äëÿ l, è ïðèòîì íàèëó÷øàÿ è äàæå ýôôåêòèâíàÿ. Êðîìå òîãî,1σ̂ 2 :=| projL⊥ X|2 −(6.1)n−míåñìåùåííàÿ îöåíêà äëÿ äèñïåðñèè σ 2 .Çàìå÷àíèå 6.1.

Íàïîìíèì, ÷òî åñëè x ∈ Rn , M ⊂ Rn - ëèíåéíîå ïîäïðîñòðàíñòâî,òî projM x - ýòî îðòîãîíàëüíàÿ ïðîåêöèÿ âåêòîðà x íà ïîäïðîñòðàíñòâî M , à M ⊥ ýòî îðòîãîíàëüíîå äîïîëíåíèå ê ïîäïðîñòðàíñòâó M .2. Ïóñòü çàäàí óðîâåíü çíà÷èìîñòè α ∈ (0, 1). Ìû îòâåðãàåì ãèïîòåçó H : l ∈ L0íà ýòîì óðîâíå, åñëè è òîëüêî åñëèT (X) =1| projL1 X|2m−m01| projL⊥ X|2n−m> F1−α (m − m0 , n − m).(6.2)Çäåñü L1L- îðòîãîíàëüíîå äîïîëíåíèå ïîäïðîñòðàíñòâà L0 â ïðîñòðàíñòâå L, ò.å L1 ⊥L0 è L1 L0 = L. À Fε (k, l) - ýòî îáîçíà÷åíèå äëÿ ε−êâàíòèëÿ ðàñïðåäåëåíèÿ Ôèøåðà (èëè, êàê åùå ãîâîðÿò, ðàñïðåäåëåíèÿ Ñíåäåêîðà) ñ k è l ñòåïåíÿìè ñâîáîäû,ãäå ε ∈ (0; 1), k, l ∈ N.Çàìå÷àíèå 6.2.

 ôîðìóëàõ (6.1), (6.2) çíàìåíàòåëè n−m, m−m0 íå îáðàùàþòñÿâ íîëü, ò.ê. L 6= Rn è m = dim L < n, L0 6= L è m0 = dim L0 < dim L = m.Ýòî ïðàâèëî îïðàâäàíî òåì, ÷òî ñòàòèñòèêà T èìååò ðàñïðåäåëåíèå Ôèøåðà F (m−m0 , n − m, 4) ñ m − m0 è n − m ñòåïåíÿìè ñâîáîäû è ïàðàìåòðîì íåöåíòðàëüíîñòè4 := σ12 | projL1 l|2 . À åñëè ãèïîòåçà H âåðíà, òî l ∈ L0 è â ñèëó L1 ⊥ L0 èìååì:projL1 l = 0, ò.å. 4 = 0 è ñòàòèñòèêà T èìååò öåíòðàëüíîå ðàñïðåäåëåíèå ÔèøåðàF (m − m0 , n − m). Ò.å.

äëÿ θ ∈ Θ0 âåðîÿòíîñòü Pθ îòâåðãíóòü ãèïîòåçó H (à ïðèýòèõ θ îíà êàê ðàç âåðíà), ò.å. ñîâåðøèòü ôàòàëüíóþ îøèáêó, íàçûâàåìóþ îøèáêîé1 ðîäà, ðàâíà α.Ìîæíî ëè îáîáùèòü ýòè âàæíûå è èíòåðåñíûå ðåçóëüòàòû íà ñëó÷àé, êîãäà èìååì íå n îäíîìåðíûõ íàáëþäåíèé X1 , . . . , Xn , à n ìíîãîìåðíûõ, ñêàæåì, p-ìåðíûõíàáëþäåíèé? Îêàçûâàåòñÿ, ìîæíî. Ýòîìó âîïðîñó è ïîñâÿùåíà âñÿ äàííàÿ ãëàâà.Íî êëþ÷åâóþ ðîëü â ðàññìîòðåííîé âûøå îäíîìåðíîé ìîäåëè èãðàåò îðòîãîíàëüíàÿ ïðîåêöèÿ - âåäü èìåííî ñ åå èñïîëüçîâàíèåì ïîñòðîåíû âñå âûøåïðèâåäåííûåñòàòèñòèêè.