Turin Yu.N. - Multidimensional Gaussian Calculus (1120045), страница 4
Текст из файла (страница 4)
(Ñì. óïðàæíåíèå 1.19.)Óòâåðæäåíèå 1.37. Òàêîå îòíîøåíèå ïîðÿäêà óäîâëåòâîðÿåò ìíîãèì îáû÷íûìñâîéñòâàì:1) Åñëè A1 ≥ B1 , A2 ≥ B2 , òî A1 + A2 ≥ B1 + B2 ;2) Åñëè λ ∈ R, A ≥ B , òî λA ≥ λB ïðè λ ≥ 0, λA ≤ λB ïðè λ ≤ 0.3) Åñëè A ≥ B ≥ 0 è A, B íåâûðîæäåíû, òî A−1 ≤ B −1 . (Ñì. óïðàæíåíèå 1.20.)Óòâåðæäåíèå 1.38. Òàêàÿ îöåíêà èìååò âèä E(X1 |X2 ), ò.å. ýòî êàê ðàç ðåãðåññèÿX1 ïî X2 .Äîêàçàòåëüñòâî. Ðàññìîòðèì ñíà÷àëà ñëó÷àé, êîãäà X1 - (îäíîìåðíàÿ) ñëó÷àé-íàÿ âåëè÷èíà.Çàìåòèì, ÷òî E(X1 |X2 ) - áîðåëåâñêàÿ ôóíêöèÿ îò X2 , ïðè÷åì EE(X1 |X2 ) = EX1 .Ýòèì äîêàçàíî, ÷òî E(X1 |X2 ) - íåñìåùåííàÿ îöåíêà X1 ïî X2 . Òåïåðü äîêàæåì íåðàâåíñòâî (1.5) äëÿ ëþáîé äðóãîé íåñìåùåííîé îöåíêè h X1 ïî X2 .
Çàìåòèì, ÷òîE(X1 − h(X2 ))2 = E((X1 − E(X1 |X2 ))2 + 2(X1 − E(X1 |X2 ))(E(X1 |X2 ) − h(X2 ))++(E(X1 |X2 ) − h(X2 ))2 ) = E(X1 − E(X1 |X2 ))2 ++2E(X1 − E(X1 |X2 ))(E(X1 |X2 ) − h(X2 )) + E(E(X1 |X2 ) − h(X2 ))2 ≥≥ E(X1 − E(X1 |X2 ))2 ,ò.ê. E(E(X1 |X2 ) − h(X2 ))2 ≥ 0, àE(X1 − E(X1 |X2 ))(E(X1 |X2 ) − h(X2 )) = EE((X1 − E(X1 |X2 )) =EE((X1 − E(X1 |X2 ))(E(X1 |X2 ) − h(X2 ))|X2 ) == E(E(X1 − E(X1 |X2 )|X2 ) · (E(X1 |X2 ) − h(X2 ))),âåäü ìû âûíåñëè ñëó÷àéíóþ âåëè÷èíó E(X1 |X2 ) − h(X2 ) èç-ïîä çíàêà óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ îòíîñèòåëüíî X2 , ò.ê. ýòà ñëó÷àéíàÿ âåëè÷èíà åñòü áîðåëåâñêàÿ ôóíêöèÿ îò X2 , îäíàêîE(E(X1 − E(X1 |X2 )|X2 ) · (E(X1 |X2 ) − h(X2 ))) = 0,ò.ê.
E(X1 − E(X1 |X2 )|X2 ) = E(X1 |X2 ) − E(E(X1 |X2 )|X2 ) = E(X1 |X2 ) − E(X1 |X2 ) = 0(âåäü E(X1 |X2 ) - áîðåëåâñêàÿ ôóíêöèÿ îòíîñèòåëüíî X2 è E(E(X1 |X2 )|X2 ) = E(X1 |X2 ).Èòàê, íåðàâåíñòâî (1.5) äîêàçàíî, ò.å. óòâåðæäåíèå 1.38 äîêàçàíî äëÿ ñëó÷àÿ, êîãäà X1 - ñëó÷àéíàÿ âåëè÷èíà.
Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé: X1 - n-ìåðíûé11ñëó÷àéíûé âåêòîð. Àíàëîãè÷íî, E(X1 |X2 ) - áîðåëåâñêàÿ ôóíêöèÿ îò X2 , ïðè÷åìEE(X1 |X2 ) = EX1 . Ýòèì äîêàçàíî, ÷òî E(X1 |X2 ) - íåñìåùåííàÿ îöåíêà X1 ïî X2 .Äàëåå, äîêàæåì íåðàâåíñòâî (1.6) äëÿ ëþáîé äðóãîé íåñìåùåííîé îöåíêè h X1 ïîX2 .Ïóñòü z ∈ Rn - ïðîèçâîëüíûé ïîñòîÿííûé (íåñëó÷àéíûé) âåêòîð. Òîãäà ïî ñâîéñòâàì óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ (ñì.
óïðàæíåíèå 1.18) E(z T X1 |X2 ) =z T E(X1 |X2 ). Íî, ïî äîêàçàííîìó âûøå, E(z T X1 |X2 ) - íàèëó÷øàÿ íåñìåùåííàÿ îöåíêà ñëó÷àéíîé âåëè÷èíû z T X1 ïî X2 . Êðîìå òîãî, E(z T h(X2 )) = z T Eh(X2 ) = z T EX1ïî çàäà÷å 1.2.5, ò.å. z T h(X2 ) - íåñìåùåííàÿ îöåíêà z T X1 ïî X2 . Ò.å.E(z T X1 − z T E(X1 |X2 ))2 ≤ E(z T X1 − z T h(X2 ))2 ,èëè, ýêâèâàëåíòíî,z T E(X1 − E(X1 |X2 ))(X1 − E(X1 |X2 ))T z ≤ z T E(X1 − h(X2 ))E(X1 − h(X2 ))T z,(ìû èñïîëüçîâàëè óòâåðæäåíèå óïðàæíåíèÿ 1.2.11), íî â ñèëó ïðîèçâîëüíîñòè âåêòîðà ~z ∈ Rn ýòî è îçíà÷àåò, ÷òî âûïîëíåíî íåðàâåíñòâî (1.6).
¥Çàìåòèì, ÷òî ýòî äîêàçàòåëüñòâî î÷åíü ïîõîæå íà äîêàçàòåëüñòâî òåîðåìû Áëýêóåëëà - Ðàî (Blackwell - Rao) îá óëó÷øåíèè íåñìåùåííîé îöåíêè ñ ïîìîùüþ äîñòàòî÷íîé ñòàòèñòèêè. (Îíà áóäåò ñôîðìóëèðîâàíà â ñëåäóþùåé ãëàâå.)7. Äàò÷èê íîðìàëüíûõ ñëó÷àéíûõ âåëè÷èí.Êàê íàïèñàòü ïðîãðàììó, êîòîðàÿ âûäàâàëà áû âûáîðêó òðåáóåìîãî îáúåìà èçñòàíäàðòíîãî íîðìàëüíîãî (îäíîìåðíîãî) ðàñïðåäåëåíèÿ? Ìîæíî, èñïîëüçóÿ äàò÷èêñëó÷àéíûõ ÷èñåë, äàþùèé âûáîðêó (ξ1 , . .
. , ξn ) èç ðàâíîìåðíîãî íà [0, R1] ðàñïðåäåëåx1íèÿ, ïîñòðîèòü âûáîðêó (Φ−1 (ξ1 ), . . . , Φ−1 (ξn )) èç N (0, 1), ãäå Φ(x) = 2πexp(−t2 /2)dt.−∞(Çäåñü ìû ïîëüçóåìñÿ òåì, ÷òî åñëè ñëó÷àéíàÿ âåëè÷èíà ξ èìååò ðàâíîìåðíîå íà [0, 1]ðàñïðåäåëåíèå, òî Φ−1 (ξ) v N (0, 1) - âåäü P{Φ−1 (ξ) ≤ x} = P{ξ ≤ Φ(x)} = (ò.ê.
ξðàâíîìåðíî ðàñïðåäåëåíà íà [0, 1]) = Φ(x))Íî ôóíêöèþ Φ−1 íà ïðàêòèêå òðóäíî âû÷èñëÿòü. Ïîýòîìó ïîñòóïàþò èíà÷å: åñëèâåêòîð(X1 , X2 ) èìååò äâóìåðíîå ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå, òî arg(X1 , X2 )èìååò ðàâíîìåðíîå ðàñïðåäåëåíèåíà [0, 2π]. p(Ãäå arg(X1 , X2 ) -ýòî òàêîé óãîë ϕ ∈p22[0, 2π), ÷òî cos ϕ = X1 / X1 + X2 , sin ϕ = X2 / X12 + X22 . Îí îïðåäåëåí òîãäà è òîëüêî òîãäà, êîãäà äëÿ X1 , X2 íåâåðíî, ÷òî X1 = X2 = 0, ò.å. ïî÷òè íàâåðíîå. Ïðè ýòîìarg(X1 , X2 ) ðàñïðåäåëåí ðàâíîìåðíî íà [0, 2π].(Èíòóèòèâíî ýòî î÷åâèäíî, ò.ê. ñîâìåñòíîå ðàñïðåäåëåíèå (X1 , X2 ) "èçîòðîïíî ò.å.íå çàâèñèò îò íàïðàâëåíèÿ âåêòîðà (X1 , X2 ), à arg(X1 , X2 ) çàâèñèò òîëüêî îò ýòîãîíàïðàâëåíèÿ.
Ñì. òàêæå óïðàæíåíèå 1.21.) Ò.å. arg(X1 , X2 )/2π èìååò ðàâíîìåðíîåðàñïðåäåëåíèå íà [0, 1]. Äàëåå, X12 + X22 v χ2 (2) = Γ(2/2, 1/2) - à ýòî ïîêàçàòåëüíîåðàñïðåäåëåíèå ñ ïàðàìåòðîì 1/2. Çäåñü èñïîëüçîâàëîñü òî, ÷òî χ2 (n) è Γ(n/2, 1/2) ýòî îäíî è òî æå ðàñïðåäåëåíèå - ñì. óïðàæíåíèå 1.22.(Íàïîìíèì, ÷òî Γ(α, λ) - ýòî îäíîìåðíîå àáñîëþòíî íåïðåðûâíîå ðàñïðåäåëåíèå,ñîñðåäîòî÷åííîå íà ïîëîæèòåëüíîé ïîëóîñè, ñ ïëîòíîñòüþp(x) =λα α−1 −λxx e ,Γ(α)ãäå α, λ > 0 - ïàðàìåòðû; ïîêàçàòåëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðîì λ > 0 - ýòîîäíîìåðíîå àáñîëþòíî íåïðåðûâíîå ðàñïðåäåëåíèå, ñîñðåäîòî÷åííîå íà ïîëîæèòåëüíîé ïîëóîñè, ñ ïëîòíîñòüþ p(x) = λe−λx . Êàê âèäèì, ïîñëåäíåå ðàñïðåäåëåíèå åñòü÷àñòíûé ñëó÷àé ïåðâîãî ïðè α = 1.)Ò.å.
X12 + X22 èìååò ôóíêöèþ ðàñïðåäåëåíèÿ F (x) = 1 − exp(−x/2), x ≥ 0, F (x) =0, x < 0. Îòñþäà ñëåäóåò, ÷òî exp(−(X12 + X22 )/2) èìååò ðàâíîìåðíîå íà [0, 1] ðàñïðåäåëåíèå.12(Äîêàçàòåëüñòâî: ïðè x > 0 P{exp(−(X12 + X22 )/2) ≤ x} = P{X12 + X22 ≥ −2 ln x} =1 − F (−2 ln x); ïðè x ≥ 1 − 2 ln x ≤ 0, 1 − F (−2 ln x) = 1; ïðè x < 1 − 2 ln x ≥0, 1 − F (−2 ln x) = x; åñëè æå x ≤ 0, òî, î÷åâèäíî, P{exp(−(X12 + X22 )/2) ≤ x} = 0.)Åñëè íàì èçâåñòíû a = exp(−(X12 + X22 )/2), b = arg(X1 /X2 )/2π , òî ìû ìîæåì22âîññòàíîâèòüçíà÷åíèÿ√√ ∆ = X1 + X2 = −2 ln a, ϕ = arg(X1 /X2 ) = 2bπ , è òîãäàX1 = ∆ cos ϕ, X2 = ∆ sin ϕ.Íà ïðàêòèêå ïîñòóïàþò òàê: ñ ïîìîùüþ äàò÷èêà ñëó÷àéíûõ ÷èñåë ïîëó÷àþò âûáîðêè (a1 , . .
. , an ),(b1 , . . . , bn ) èç ðàâíîìåðíîãî íà [0, 1] ðàñïðåäåëåíèÿ, à ïî íèì âîññòàíàâëèâàþò (X11 , . . . , X1n ),(X21 , . . . , X2n ) - âûáîðêè èç ðàñïðåäåëåíèÿ N (0, 1). (Ò.å. óêàçàííûì âûøå ñïîñîáîìâîññòàíàâëèâàþò X1i , X2i ïî ai , bi , i = 1, n.)Çàäà÷è è óïðàæíåíèÿ ê ãëàâå 1Óïðàæíåíèå 1.1. Ïðåäñòàâëåíèå íîðìàëüíîãî âåêòîðà ξ~ (ñì.
ôîðìóëó (1.1)) âôîðìå ξ~ = ~a + B~η , ãäå B - ïîñòîÿííàÿ (íåñëó÷àéíàÿ) ìàòðèöà ðàçìåðà n × p è ~a ∈ Rn- ïîñòîÿííûé (íåñëó÷àéíûé) âåêòîð, ~η - p-ìåðíûé ñòàíäàðòíûé íîðìàëüíûé âåêòîð,íå åäèíñòâåííî.Óïðàæíåíèå 1.2. Îáîñíîâàòü ñëåäóþùèå ñâîéñòâà îïåðàöèè âçÿòèÿ âåêòîðà ñðåä-íèõ çíà÷åíèé (âñþäó çäåñü è â óïðàæíåíèè 1.3 ìû ðàññìàòðèâàåì ïðîèçâîëüíûåñëó÷àéíûå âåêòîðà, à íå îáÿçàòåëüíî ãàóññîâñêèå):~ 1 + λ2 X~ 2 ) = λ1 EX~ 1 + λ2 EX~ 2 , ãäå λ1 , λ2 ∈ R - ñêàëÿðû,1. E(λ1 X~~~ 1, X~ 2 åñòü ìàòåìàòèX1 , X2 - ñëó÷àéíûå n-ìåðíûå âåêòîðû, ïðåäïîëàãàåòñÿ, ÷òî ó X÷åñêèå îæèäàíèÿ;2 E~b = ~b;~ + ~b) = AEX~ + ~b, åñëè A - ïîñòîÿííàÿ (íåñëó÷àéíàÿ) ìàòðèöà ðàçìåðà3.
E(AXp × n;~ T A +~b) = (EX)~ T A +~b, åñëè A - ïîñòîÿííàÿ (íåñëó÷àéíàÿ) ìàòðèöà ðàçìåðà4. E(Xn×p ;~ = ~cT EX,~5. E(~cT X)~~ - ñëó÷àéíûéãäå â ïï.2-5 b ∈ Rp , ~c ∈ Rn - ïîñòîÿííûå (íåñëó÷àéíûå) âåêòîðà, X~âåêòîð ðàçìåðíîñòè n; â ïï. 3-5 ïðåäïîëàãàåòñÿ, ÷òî EX ñóùåñòâóåò.Îáîñíîâàòü òàêæå ñëåäóþùèå ñâîéñòâà îïåðàöèè âçÿòèÿ ìàòåìàòè÷åñêîãî îæèäàíèÿ ñëó÷àéíîé ìàòðèöû:6. E(AX + BY ) = AEX + BEY ;7.
E(XA + Y B) = EXA + EY B ;8. EA = A;9. EX T = (EX)T ;10. E(αX + βY ) = αEX + βEY ,ãäå X, Y - ñëó÷àéíûå, à A, B - ïîñòîÿííûå (íåñëó÷àéíûå) ìàòðèöû, è â ïï. 6-7ïðåäïîëàãàåòñÿ, ÷òî èõ ðàçìåðû ñîãëàñîâàíû (òàê, ÷òîáû áûëè âûïîëíèìû îïåðàöèèñëîæåíèÿ è óìíîæåíèÿ), à α, β ∈ R - ïîñòîÿííûå ÷èñëà (ñêàëÿðû).  ïï. 6, 7, 10ïðåäïîëàãàåòñÿ, ÷òî ó ìàòðèö X, Y ñóùåñòâóþò ìàòåìàòè÷åñêèå îæèäàíèÿ, â ï.9 ýòîïðåäïîëàãàåòñÿ òîëüêî äëÿ ìàòðèöû X .Òàêæå äîêàçàòü ñëåäóþùåå ñâîéñòâî:11. E(~zT ~µ)2 = ~zT E(~µµ~ T )~z,nãäå ~z ∈ R - ïîñòîÿííûé (íåñëó÷àéíûé) âåêòîð, ~µ = (µ1 , . . . , µn ) - ñëó÷àéíûén-ìåðíûé âåêòîð, ïðè÷åì ïðåäïîëàãàåòñÿ, ÷òî Eµ2i ñóùåñòâóåò è êîíå÷íî ïðè âñåõi = 1, n èëè, ýêâèâàëåíòíî, ó ìàòðèöû µ~ ~µT ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå.(Ïî÷åìó ýòè äâà óñëîâèÿ ýêâèâàëåíòíû?)13Óïðàæíåíèå 1.3.
Äîêàçàòü ñëåäóþùèå ñâîéñòâà ìàòðèö êîâàðèàöèé ñëó÷àéíûõâåêòîðîâ:~ = E(X~X~ T ) − EXE~ X~ T;1. Var X~ + ~b) = λ2 Var X;~2. Var(λX~ + ~b) = A Var XA~ T , â ÷àñòíîñòè, Var(~cT X)~ = ~cT Var X~~ c;3. Var(AX~ - ñèììåòðè÷íàÿ íåîòðèöàòåëüíî îïðåäåëåííàÿ ìàòðèöà (ñâîéñòâî íåîò4. Var Xðèöàòåëüíîé îïðåäåëåííîñòè äëÿ ñèììåòðè÷íîé ìàòðèöû M ðàçìåðà n × n îçíà÷àåò,êàê ãîâîðèëîñü âûøå, ñëåäóþùåå: ∀~z ∈ Rn~zT M~z ≥ 0),~ - ñëó÷àéíûé âåêòîð (íå îáÿçàòåëüíî ãàóññîâñêèé)ãäå â ýòèõ ÷åòûðåõ ïóíêòàõ Xðàçìåðíîñòè n, λ ∈ R - ÷èñëî, A - ïîñòîÿííàÿ ìàòðèöà ðàçìåðà m × n, ~b ∈ Rm , ~c ∈ Rn- ïîñòîÿííûå âåêòîðû, è âñþäó ïðåäïîëàãàåòñÿ, ÷òî ìàòðèöà êîâàðèàöèé ó ñëó÷àé~ ñóùåñòâóåò. (À â ï.1 EX~X~ T - ìàòåìàòè÷åñêîå îæèäàíèå ñëó÷àéíîéíîãî âåêòîðà Xìàòðèöû XX T .)~ k , k = 1, n - íåçàâèñèìûå ñëó÷àéíûå âåêòîðû îäíîé è òîé æå ðàçìåð5. Åñëè X~ k , k = 1, n, òî Pn X~ k òàêæå èìååòíîñòè, èìåþùèå êîâàðèàöèîííûå ìàòðèöû Var Xk=1Pn~ k.ìàòðèöó êîâàðèàöèé, è îíà ðàâíà k=1 Var XÓïðàæíåíèå 1.4. Äîêàçàòü, ÷òî ñëó÷àéíûé âåêòîð íîðìàëüíî ðàñïðåäåëåí, åñëèè òîëüêî åñëè ëþáàÿ ëèíåéíàÿ êîìáèíàöèÿ åãî êîìïîíåíò íîðìàëüíî ðàñïðåäåëåíà.Óïðàæíåíèå 1.5.
1. Äîêàçàòü, ÷òî äëÿ íåîòðèöàòåëüíî îïðåäåëåííîé ñèììåòðè÷íîé êâàäðàòíîé ìàòðèöû A ïîðÿäêà n ñóùåñòâóåò è åäèíñòâåíåí êâàäðàòíûéêîðåíü, ò.å. òàêàÿ íåîòðèöàòåëüíî îïðåäåëåííàÿ ñèììåòðè÷íàÿ êâàäðàòíàÿ ìàòðèöàB òîãî æå ïîðÿäêà n, ÷òî B 2 = A.2. Äîêàçàòü, ÷òî åñëè A - íåîòðèöàòåëüíî îïðåäåëåííàÿ ñèììåòðè÷íàÿ êâàäðàòíàÿìàòðèöà ïîðÿäêà n, òî åå íåâûðîæäåííîñòü ýêâèâàëåíòíà åå ïîëîæèòåëüíîé îïðåäåëåííîñòè.3. Äîêàçàòü, ÷òî êâàäðàòíûé êîðåíü èç íåîòðèöàòåëüíî îïðåäåëåííîé ñèììåòðè÷íîé ìàòðèöû íåâûðîæäåí, åñëè è òîëüêî åñëè ñàìà ýòà ìàòðèöà íåâûðîæäåíà.~ = (X1 , . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
