Ю.Н. Тюрин, Г.И. Симонова - Математическая статистика. Записки лекций (1124593), страница 16
Текст из файла (страница 16)
Ëèíåéíàÿ ðåãðåññèÿ ëèíåéíîé ìîäåëè âû÷èñëåíèå íàèëó÷øèõ íåñìåùåííûõ îöåíîê ñâîäèòñÿ ê âû÷èñëåíèþ ïðîåêöèè âåêòîðà X íà çàäàííîå ëèíåéíîå ïîäïðîñòðàíñòâî L. Õîä âû÷èñëåíèé çàâèñèò îò òîãî, êàêèì îáðàçîì çàäàíî (îïèñàíî) ïîäïðîñòðàíñòâî L. Ñåé÷àñ ìû ðàññìîòðèì ÷àñòûé íà ïðàêòèêå ñëó÷àé, êîãäà L ïîðîæäåíî çàäàííûì íàáîðîì âåêòîðîâ.
àäè îïðåäåëåííîñòè, áóäåì ãîâîðèòü îëèíåéíîé ìîäåëè â å¼ êàíîíè÷åñêîé îðìå, êîãäà âåêòîð íàáëþäåíèé X è åãî îæèäàåìîå çíà÷åíèå l EX ýòî n-ìåðíûå âåêòîðûñòîëáöû.Ïóñòü âåêòîðû (ñòîëáöû) F1 ; F2 ; : : : ; Fr ïîðîæäàþò ïîäïðîñòðàíñòâî L. Ýòà ñîâîêóïíîñòü âåêòîðîâ ìîæåò áûòü êàê ëèíåéíîíåçàâèñèìîé (áàçèñ L), òàê è íåò.Òàê êàê l 2 L, òî l 1 F1 2 F2 r Fr ïðè íåêîòîðûõêîýèöèåíòàõ 1 ; 2 ; : : : ; r 2 R1 .
Ýòî ïðåäñòàâëåíèå l ìîæíî çàïèñàòü â ìàòðè÷íîé îðìå. Äëÿ ýòîãî ââåäåì ìàòðèöó F (ðàçìåðàn r), ñòîëáöàìè êîòîðîé ñëóæàò âåêòîðû F1 ; F2 ; : : : ; Fr :==F++ +:= kF1; F2 ; ; Fr k:Îïðåäåëèì r-ìåðíûé âåêòîð-ñòîëáåö , ïîëîæèâ Òåïåðü âåêòîð l ìîæíî ïðåäñòàâèòü êîðî÷å:=(1; 2 ; : : : ; r )T:l = F :Èñõîäíàÿ ëèíåéíàÿ ìîäåëü ïðåäñòàâèìà â âèäå=(ìîäåëüþ)X = F + "; N (0; 2 I ), 2 Rr , ìàòðèöà Fãäå ""1 ; "2 ; : : : ; "n Tçàäàíà.Ëèíåéíóþ ìîäåëü â òàêîé îðìå ÷àñòî íàçûâàþò(çàäà÷åé ëèíåéíîé ðåãðåññèè). ðåãðåññèîííîé ìîäåëè äîñòàòî÷íî îöåíèòü âåêòîð ïàðàìåòðîâ . Ïðîåêöèþ X íà ïîäïðîñòðàíñòâî L òåïåðü ìîæíî íàéòè,ðåøèâ ýêñòðåìàëüíóþ çàäà÷ó:ðåãðåññèîííîéjX F j2 ! min:2RrÄëÿ ýòîãî äîñòàòî÷íî ñíà÷àëà íàéòè ãðàäèåíò óíêöèèQ() := jX F j2 = (X F )T (X F );103à çàòåì, ïðèðàâíÿâ åãî ê íóëþ, íàéòè òî÷êó ìèíèìóìà óíêöèèQ().
Óñëîâèìñÿ ñ÷èòàòü îïåðàòîð ÷àñòíîãî äèåðåíöèðîâàíèÿñòðîêîé: =; ;:::;:1 2rQÏðè òàêîì ñîãëàøåíèè Q( + d) = Q() +d + o(d): Äàëåå,Q( + d) = [X F ( + d)℄T [X F ( + d)℄ == Q() (X F )T F d + (F d)T (X F ) + o(d):Îòñþäà ñëåäóåò, ÷òîQ=2(XF )T F:Ïî îòíîøåíèþ ê íåèçâåñòíîìó âåêòîðó ýòî äàåò óðàâíåíèåF T X F T F :=()Ýòî óðàâíåíèå âñåãäà èìååò ðåøåíèå (ïî ñìûñëó èñõîäíîé çàäà÷è). Ýòî ðåøåíèå åäèíñòâåííî òîãäà è òîëüêî òîãäà, êîãäà ñèñòåìàF1 ; F2 ; : : : ; Fr ëèíåéíî íåçàâèñèìàÿ.  ýòîì (è òîëüêî â ýòîì)ñëó÷àå ìàòðèöà F T F íåâûðîæäåíà.  ýòîì ñëó÷àå F T F 1 F T X:^= (Ïðè ýòîì)= F ^ = F (F T F ) 1F T X:Ìîæíî óêàçàòü è ñâîéñòâà ^ êàê îöåíêè :^ N ; 2 (F T F ) 1 :projL X2 ñëóæèòjX F ^j2 :Îöåíêîé (íåñìåùåííîé, íàèëó÷øåé) äëÿs2 =^1n rÑòàòèñòèêè è s2 íåçàâèñèìû.Îòìåòèì, ÷òî âû÷èñëåíèå çíà÷èòåëüíî óïðîùàåòñÿ, åñëè áàçèñ ïîäïðîñòðàíñòâà L âûáðàí îðòîãîíàëüíûì.
 ýòîì ñëó÷àå ìàòðèöà F T F äèàãîíàëüíàÿ. Âàæíûì äîñòîèíñòâîì îðòîãîíàëüíîãî áàçèñà ñëóæèò òàêæå ñòàòèñòè÷åñêàÿ íåçàâèñèìîñòü îöåíîê1 ; 2 : : : ; r . Ýòî îáëåã÷àåò èíòåðïðåòàöèþ ðåçóëüòàòîâ.^ ^104^^Ëåêöèÿ 8. Äîâåðèòåëüíîå (èíòåðâàëüíîå)îöåíèâàíèåÇíàêîìñòâî ñ îöåíèâàíèåì çàâåðøèì ðàññêàçîì î äîâåðèòåëüíûõ ãðàíèöàõ, äîâåðèòåëüíûõ èíòåðâàëàõ è äîâåðèòåëüíûõ îáëàñòÿõ äëÿ îöåíèâàåìûõ ïàðàìåòðîâ. Ñ ïðèêëàäíîé òî÷êè çðåíèÿ,ñòàòèñòè÷åñêàÿ îöåíêà ýòî ñòàòèñòè÷åñêîå ïðèáëèæåíèå ê íåèçâåñòíîìó ïàðàìåòðó èëè åãî óíêöèè, ýòî åãî ïðèáëèæåííîå çíà÷åíèå, ïîëó÷åííîå èç îïûòà.
Äî ñèõ ïîð ìû ñòðåìèëèñü ê òîìó,÷òîáû ïóòåì ñòàòèñòè÷åñêîé îáðàáîòêè ïîëó÷èòü êàê ìîæíî áîëåå òî÷íîå ïðèáëèæåíèå. Îäíàêî ñïîñîáà èçìåðèòü ñàìîå òî÷íîñòüïðèáëèæåíèÿ ó íàñ íå áûëî.Ìåæäó òåì, òî÷íîñòü ïðèáëèæåíèÿ ýòî îáùåíàó÷íîå ïîíÿòèå, òàê æå êàê è ñïîñîá å¼ êîëè÷åñòâåííîãî âûðàæåíèÿ. Âñÿêèéðàç, êîãäà òî÷íîå çíà÷åíèå êàêîé-ëèáî âåëè÷èíû ìû çàìåùàåìïðèáëèæåííûì çíà÷åíèåì, íàì ñëåäóåò ñîïðîâîæäàòü òàêóþ çàìåíó òàêæå è ñîîáùåíèåì î òî÷íîñòè ýòîãî ïðèáëèæåíèÿ.Ê ïðèìåðó, 288 ïðèáëèçèòåëüíî ðàâíî 300; íî òàêæå 288 ïðèáëèçèòåëüíî ðàâíî 290.
Îäíàêî òî÷íîñòü ýòèõ ïðèáëèæåíèé ðàçëè÷íà. Òàê, â ïåðâîì ñëó÷àå, òî÷íîñòü ïðèáëèæåíèÿ íå íèæå 15,à âî âòîðîì ìåíüøå 5: jj< èjj< .288 300 15 288 290 5 ýòèõ ïðèìåðàõ äëÿ íåèçâåñòíîé âåëè÷èíû a ìû óêàçûâàåìå¼ ïðèáëèæåííîå çíà÷åíèå x, ïðè÷åì jx aj < " äëÿ íåêîòîðîãîîïðåäåëåííîãî " > . Çäåñü " ãàðàíòèðîâàííàÿ òî÷íîñòü ïðèáëèæåíèÿ x a.0 çàäà÷àõ ñòàòèñòè÷åñêîãî îöåíèâàíèÿ ìû ïîëó÷àåì àíàëîãè÷íîå ïðèáëèæåííîå ðàâåíñòâî X . (Ëèáî X , åñëèìû îöåíèâàåì óíêöèþ îò ïàðàìåòðà).
Çäåñü íåèçâåñòíîå èñòèííîå çíà÷åíèå ïàðàìåòðà, X åãî îöåíêà ïî íàáëþäåíèþX . Äëÿ ñòàòèñòè÷åñêîãî ïðèáëèæåíèÿ, êàê ïðàâèëî, íå ñóùåñòâóåò ãàðàíòèðîâàííîé òî÷íîñòè: íåò òàêîãî " > , äëÿ êîòîðîãî áûäîñòîâåðíî âûïîëíÿëîñü ñîîòíîøåíèå j Xj < ". Ìû ìîæåìãîâîðèòü ëèøü î âåðîÿòíîñòè, ñ êîòîðîé âûïîëíÿåòñÿ ýòî íåðàâåíñòâî. Åñëè ýòà âåðîÿòíîñòü áëèçêà ê 1, ìîæíî ãîâîðèòü, ÷òîñòàòèñòè÷åñêàÿ ïîãðåøíîñòü â îïðåäåëåíèè íå ïðåâîñõîäèò " ñáîëüøîé âåðîÿòíîñòüþ. àññìîòðèì íà ïðèìåðå íîðìàëüíîé âûáîðêè, êàê ðåàëèçóþòñÿ ýòè ñîîáðàæåíèÿ.^( )^( )^( )^( )()0105 1. Íîðìàëüíîå ðàñïðåäåëåíèå N (a; ): äîâåðèòåëüíûé èíòåðâàë äëÿ a2Ïóñòü x1 ; : : : ; xn ñóòü íåçàâèñèìûå èçìåðåíèÿ íåêîòîðîé âåëè÷èíû a, ïðè÷åì xi N a; 2 äëÿ i; n.
Îöåíêîé äëÿ a ìîæåònXñëóæèòü xx , òàê ÷òî x a. Êàê ìîæíî ñóäèòü î òî÷íîñòèn i=1 iýòîãî ïðèáëèæåíèÿ, òî åñòü î jx aj? Ñ êàêîé âåðîÿòíîñòüþ äëÿäàííîãî " > âûïîëíÿåòñÿ íåðàâåíñòâî jx aj < "? Êàêèì íàäîâçÿòü ", ÷òîáû âåðîÿòíîñòü ýòîãî íåðàâåíñòâà áûëà áû 0.95? Èëè0.99? È ò. ä.Ïóñòü, äëÿ íà÷àëà, 2 èçâåñòíî. àññìîòðèì ñëó÷àéíóþ âåëè-(= 10÷èíó)=1pn x a N (0; 1). Çàäàäèìñÿ êàêîé-ëèáî (îáû÷íî áëèç1 2.1Çäåñü çàäàíî, 0 < < . Ïóñòü z1 îáîçíà÷àåò (1 )2êâàíòèëü ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ.
Èíûìè ñëîâàìè, (z1 ) = 1 , ãäå () óíêöèÿ ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ, èëè óíêöèÿ Ëàïëàñà. Ââèäó ñèììåòðèè (îòíîñèòåëüíî íóëÿ) z1 = z , ãäå (z ) = . Ïîýòîìó äëÿpn x a ñïðàâåäëèâî óòâåðæäåíèåêîé ê 1) âåðîÿòíîñòüþ, äëÿ óäîáñòâà îáîçíà÷èâ åå ÷åðåçpn x a < z1P jx aj < p z1nPèëè= 1 2;(8:1:1)= 1 2:(8:1:2)Ìû ìîæåì ñêàçàòü, ÷òî ñ âåðîÿòíîñòüþ 1 2 òî÷íîñòü ïðèáëèæåíèÿ x a íå õóæå, ÷åì p z1 .nÑîîòíîøåíèå (8.1.1) ìîæíî ïðåîáðàçîâàòü äàëåå, è íàïèñàòü,÷òîP xpn z1 < a < x + pn z1= 1 2:(8:1:3)Îòñþäà ñëåäóåò, ÷òî èíòåðâàë (ñëó÷àéíûé)x106pn z1 ; x + pn z1(8:1:4)ñîäåðæèò íåèçâåñòíîå a (÷àñòî ãîâîðÿò "íàêðûâàåò" íåèçâåñòíîå a) ñ âåðîÿòíîñòüþ.Ýòó âåðîÿòíîñòü íàçûâàþò(èíîãäà ), à óïîìÿíóòûé ñëó÷àéíûé èíòåðâàë .Íà ïðàêòèêå íå ñëåäóåò îãðàíè÷èâàòüñÿ îäíîé êàêîé-ëèáî äîâåðèòåëüíîé âåðîÿòíîñòüþ è îäíèì äîâåðèòåëüíûì èíòåðâàëîì.×òîáû ëó÷øå ïåðåäàòü, êàê ñâÿçàíû x è a, ñëåäóåò âû÷èñëèòüäîâåðèòåëüíûå èíòåðâàëû äëÿ íåñêîëüêèõ äîâåðèòåëüíûõ âåðîÿòíîñòåé, ñêàæåì, äëÿ 0.50, 0.90, 0.95 è 0.99.
èñ. 8.1.1, íà êîòîðîì âûäåëåíû ýòè äîâåðèòåëüíûå èíòåðâàëû, äàåò íàì íàãëÿäíîåïðåäñòàâëåíèå î òî÷íîñòè ñòàòèñòè÷åñêîãî ïðèáëèæåíèÿ x a.1 21 2äîâåðèòåëüíîé âåðîÿòíîêîýèöèåíòîì äîâåðèÿäîâåðèòåëüíûì èíòåðâàëîìñòüþn = 1050%75%90%95%99%-2-1n = 250212121250%75%90%95%-2199%-10n = 5050%75%90%95%-2-199%0n = 10050%75%90%95%-2-199%0èñ. 8.1.1. Äîâåðèòåëüíûå èíòåðâàëû äëÿâûáîðêàì èç N ; îáúåìîâ n;äîâåðèòåëüíûõ âåðîÿòíîñòåé : ; : ;(0 1)a ïî ìîäåëüíûì= 10 25; 50; 100 äëÿ0 50 0 75 0:90; 0:95; 0:99Îòìåòèì íåêîòîðûå î÷åâèäíûå, íî âàæíûå ñâîéñòâà ïîëó÷åííûõ äîâåðèòåëüíûõ èíòåðâàëîâ.Ýòè èíòåðâàëû òåì øèðå, ÷åì áîëüøå .
 íàøåì ïðèìåðå 2 äèñïåðñèÿ îøèáêè ïðè èçìåðåíèè a. ßñíî, ÷òî ÷åì áîëüøåýòà äèñïåðñèÿ, òåì íèæå òî÷íîñòü ñòàòèñòè÷åñêîãî âûâîäà.107Èíòåðâàëû òåì øèðå, ÷åì áîëüøå êâàíòèëü z1 , êîòîðàÿ, âñâîþ î÷åðåäü, âîçðàñòàåò ïðè ïðèáëèæåíèè ê 1. (Ýòàñêîðîñòü ðîñòà òåì âûøå, ÷åì áëèæå ê íóëþ). Ýòî ñâîéñòâîòîæå ëåãêî îáúÿñíèìî: ÷åì âûøå òðåáîâàíèÿ ê äîñòîâåðíîñòè ñóæäåíèÿ, òåì ìåíåå ñîäåðæàòåëüíî è èíîðìàòèâíî ìîæåò áûòü ñàìîå ýòî ñóæäåíèå.Íàêîíåö, íà òî÷íîñòü ïðèáëèæåíèÿ x a âëèÿåò ÷èñëî íàáëþäåíèé n: ÷åì áîëüøå n, òåì óæå äîâåðèòåëüíûé èíòåðâàë, ò.
å. òåì âûøå òî÷íîñòü.1Çàìåòèì, îäíàêî,p÷òî äëèíà äîâåðèòåëüíîãî èíòåðâàëà ïðîïîðöèîíàëüíà = n. Òàê ÷òî åñëè ìû õîòèì ïîâûñèòü ñòàòèñòè÷åñêóþ òî÷íîñòü âäâîå, íàì ïðèäåòñÿ óâåëè÷èòü êîëè÷åñòâî íåçàâèñèìûõ èçìåðåíèé â÷åòâåðî. (À åñëè â 10 ðàç, òî â100). Ïðèòîì âñå ýòè èçìåðåíèÿ íàäî ïðîâîäèòü â íåèçìåííûõ óñëîâèÿõ. Äîñòè÷ü ýòîãî òðóäíî. Ïîýòîìó íà ïðàêòèêåáîëüøèå âûáîðêè âñòðå÷àþòñÿ íå ÷àñòî.1 2. àñïðåäåëåíèå ÑòüþäåíòàÏðåäûäóùèå ðåçóëüòàòû âåðíû, íî áåñïîëåçíû, êîãäà íå èçâåñòíî, ÷òî ÷àùå âñåãî íà ïðàêòèêå è áûâàåò. Åñòåñòâåííàÿ ìûñëü:nXçàìåíèòü íåèçâåñòíîå åãî îöåíêîé s, ãäå s2xi x 2 ,ni=1è ðàññìîòðåòü ñëó÷àéíóþ âåëè÷èíó= 11p x a :s(t= n)(8:2:1)îòíîøåíèåì Ñòüþäåíòà Student's ratioż íàçûâàþò( ñòüþäåíòîâñêàÿ äðîáü, ñòüþäåíòîâñêîå îòíîøåíèå).
Ëåãêî âèäåòü, ÷òîðàñïðåäåëåíèå (8.2.1) íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ íîðìàëüíîé âûáîðêè a; 2 è ñîâïàäàåò ñ ðàñïðåäåëåíèåì îòíîøåíèÿñòàíäàðòíîéíîðìàëüíîé âåëè÷èíû N ; ê ñëó÷àéíîé âåëè÷èíår()1(0 1)2âåëè÷èíû íåçàâèñèìû1 (n 1), ïðè÷åì ýòè ñëó÷àéíûå(ñì. ëåêöèþ î ðàñïðåäåëåíèè x; s2 ).àñïðåäåëåíèå ñëó÷àéíîé âåëè÷èíû (8.2.1) íàçûâàþò ðàñïðåäåëåíèåì Ñòüþäåíòà ñ (n 1) ñòåïåíÿìè ñâîáîäû.nÏðèâåäåì îáùåå îïðåäåëåíèå.108Î ï ð å ä å ë å í è å 8.2.1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
