1625915142-52fa2794958ee6e606a6276d57de83ae (843872), страница 18
Текст из файла (страница 18)
Îí ÿâëÿåòñÿñëó÷àéíîé âåëè÷èíîé âñëåäñòâèå íåèçáåæíûõ îòêëîíåíèé îò ñòàíäàðòà. Ìû ïîëó÷àåì òåì ñàìûì k âûáîðîê, ïðåäïîëàãàåòñÿ, ÷òî íà i-ì ñòàíêå èçãîòîâëåíî ni äåòàëåé.Ãèïîòåçà H1 óòâåðæäàåò, ÷òî íå âàæíî, íà êàêîì ñòàíêå èçãîòîâëåíà äåòàëü, ôàêòîð ñòàíêà íå èãðàåò ðîëè. Ýòî ñîîòâåòñòâóåò òîìó, ÷òî ñðåäíèå çíà÷åíèÿ ó âñåõâûáîðîê ñîâïàäàþò.  òî æå âðåìÿ êîíêóðèðóþùàÿ ãèïîòåçà îáúÿâëÿåò î íàëè÷èèñèñòåìàòè÷åñêèõ îòêëîíåíèé äëÿ íåêîòîðûõ ñòàíêîâ.Ñõåìà íàøèõ äåéñòâèé òàêîâà: ìû áóäåì ñòðîèòü èç íàáëþäåíèé ñëó÷àéíóþ âåëè÷èíó, êîòîðàÿ ïðè ñïðàâåäëèâîñòè H1 ðàñïðåäåëåíà ïî çàêîíó Ôèøåðà ñ èçâåñòíûì÷èñëîì ñòåïåíåé ñâîáîäû. Ýòî è îïðåäåëèò â èòîãå íàøå ðåøåíèå.Îáîçíà÷èìN=kXi=1nni ,i1 XXi =Xij ,n i j=185nik1 XXX=Xij .N i=1 j=1Òåîðåìà.
Åñëè âåðíà ãèïîòåçà H1 , òîP(N − k) ki=1 ni (X i − X)2⊂= Fk−1, N −k .P P i(k − 1) ki=1 nj=1(Xij − X i )2Äîêàçàòåëüñòâî. Ïðåäïîëîæèì íà âðåìÿ, ÷òî íàì èçâåñòíû âñå ïàðàìåòðûα1 , . . . , αk , σ 2 , è ïðèìåíèì ê êàæäîìó íàáëþäåíèþ ñòàíäàðòèçàöèþ. ÏóñòüXij − αiYij =⊂= Φ0,1 ,σi = 1, . . . , k, j = 1, . . . , ni ,ni1 XYi =Yij .ni j=1Çàïèøåì âûðàæåíèå äëÿ âûáîðî÷íîé äèñïåðñèè, ïîñòðîåííîé ïî i-é âûáîðêå èç ñòàíäàðòèçîâàííûõ íàáëþäåíèé:nini1 X1 X(Yij − Y i )2 =Y 2 − (Y i )2 .ni j=1ni j=1 ijÊàê è ïðè äîêàçàòåëüñòâå òåîðåìû î ñâîéñòâàõ âûáîðîê èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ñ ïîìîùüþ ëåììû Ôèøåðà óñòàíàâëèâàåì, ÷òîniX(Yij − Y i )2 =niX√Yij2 − ( ni Y i )2 ⊂= χ2ni −1j=1j=1è ýòà âåëè÷èíà íå çàâèñèò îò Y i .
Ñóììèðóÿ ëåâûå ÷àñòè ïî i, ïîëó÷àåìQ1 =nik XX(Yij − Y i )2 ⊂= χ2N −k .i=1 j=1Îòìåòèì, ÷òî Q1 íå çàâèñèò îò Y 1 , . . . , Y k .Ââåäåì äàëåånikk1 X1 XXYij =Y =ni Y i .N i=1 j=1N i=1ÒîãäàQ2 ===kXi=1kXi=1kXni (Y i − Y )2 =kX2ni Y i − 2Yi=1kXni Y i + (Y )2i=1kXi=1√2( ni Y i )2 − 2Y N Y + N Y =√√( ni Y i )2 − ( N Y )2 .i=1Ìû çíàåì, ÷òî Y i ⊂= Φ0,1/ni , ïîýòîìó√N Y√ni Y i ⊂= Φ0,1 . Äàëåå,√kk √Xni √NX√=ni Y i =ni Y i =N i=1Ni=1√√ n1nk√√√ ,..., √=( n1 Y 1 , . . . , nk Y k )T .NN86ni =√√ !n1nkÂåêòîð √ , .
. . , √èìååò åäèíè÷íóþ äëèíó, ïîýòîìó åãî âñåãäà ìîæíî äîñòðîNNèòü äî îðòîãîíàëüíîé ìàòðèöû, â êîòîðîé îí áóäåò ïåðâîé ñòðîêîé. Âîñïîëüçîâàâøèñü ëåììîé Ôèøåðà, ïîëó÷èì, ÷òîQ2 =kX√√= χ2k−1 .( ni Y i )2 − ( N Y )2 ⊂i=1Íàïîìíèì, ÷òî Q1 è Q2 íåçàâèñèìû, ïîýòîìó ñëó÷àéíàÿ âåëè÷èíàQ2 /(k − 1)Q1 /(N − k)ðàñïðåäåëåíà ïî çàêîíó Ôèøåðà Fk−1, N −k .Âåðíåìñÿ ê èñõîäíûì íàáëþäåíèÿì.Yij − Y i =Xij − αi X i − αiXij − X i−=,σσσïîýòîìóQ1 =nik1 XX(Xij − X i )2 .σ 2 i=1 j=1Ïðåäïîëîæèì òåïåðü, ÷òî H1 âåðíà, ò.
å. α1 = α2 = . . . = αk = α. Òîãäàni k1 XXX −αXij − αiY ==.N i=1 j=1σσÏîýòîìóQ2 =kXi=1niXi − α X − α−σσ2k1 X= 2ni (X i − X)2 .σ i=1Òàêèì îáðàçîì, åñëè âåðíà ãèïîòåçà H1 , òîP(N − k) ki=1 ni (X i − X)2Q2 /(k − 1)ξ==⊂= Fk−1, N −k .P P iQ1 /(N − k)(k − 1) ki=1 nj=1(Xij − X i )2Òåîðåìà äîêàçàíà.Ïåðåéäåì ê ïîñòðîåíèþ êðèòåðèÿ.  ïîëó÷åííîì âûðàæåíèè äëÿ ñëó÷àéíîé âåëè÷èíû ξ èìåííî ÷èñëèòåëü ÷óâñòâèòåëåí ê ñèñòåìàòè÷åñêèì îòêëîíåíèÿì ìåæäóâûáîðêàìè, ïîýòîìó ìû áóäåì ðåàãèðîâàòü íà áîëüøèå çíà÷åíèÿ ξ . Ïî òàáëèöàìðàñïðåäåëåíèÿ Fk−1, N −k íàõîäèì ÷èñëî q > 0 òàêîå, ÷òî Fk−1, N −k (q) = 1 − ε.
Èíûìèñëîâàìè, åñëè âåðíà ãèïîòåçà H1 , òî ñîáûòèå {ξ ≥ q} ìàëîâåðîÿòíî. Ïîýòîìó îòâåðãàåì H1 , åñëè ξ ≥ q , è ïðèíèìàåì åå â ïðîòèâíîì ñëó÷àå. Ïðè ýòîì β1 = P1 (ξ ≥ q) = ε.9.9.1.Çàäà÷è ëèíåéíîé ðåãðåññèèÏîñòàíîâêà çàäà÷èÏðåäïîëîæèì, ÷òî â ðåçóëüòàòå n-êðàòíîãî ïîâòîðåíèÿ ýêñïåðèìåíòà ìû ïîëó÷àåì âûáîðêó (Y1 , . . . , Yn ). Ïðè÷åì èçâåñòíî, ÷òî çíà÷åíèå íàáëþäàåìîé âåëè÷èíû Y87ëèíåéíî çàâèñèò îò íåêîòîðûõ èçâåñòíûõ íåñëó÷àéíûõ ÷èñëîâûõ ôàêòîðîâ x1 , . .
. , xkè åùå îò íåêîòîðîãî ñëó÷àéíîãî ôàêòîðà, íàëè÷èå êîòîðîãî îáúÿñíÿåòñÿ ñëó÷àéíûìè ïîãðåøíîñòÿìè â ðàáîòå èçìåðèòåëüíûõ èíñòðóìåíòîâ èëè æå åãî ïðèñóòñòâèåçàëîæåíî â îñíîâå ýêñïåðèìåíòà. Äðóãèìè ñëîâàìè,Y = θ1 x1 + . . . + θk xk + ε,íàçîâåì ýòî îñíîâíûì ñîîòíîøåíèåì. Çäåñü âåëè÷èíû x1 , . . . , xk ìîãóò ïðèíèìàòüèçâåñòíûå íàì çíà÷åíèÿ â êàæäîì ýêñïåðèìåíòå, íåèçâåñòíû òîëüêî êîýôôèöèåíòûçàâèñèìîñòè θ1 , . . . , θk . Èõ îïðåäåëåíèå è ñîñòàâëÿåò îñíîâíóþ çàäà÷ó, è îíà áûëà áûïðîñòà, åñëè áû íå ìåøàëè ñëó÷àéíûå îòêëîíåíèÿ.
Ïðîâîäÿ ýêñïåðèìåíòû ïðè òåõèëè èíûõ çíà÷åíèÿõ x1 , . . . , xk , ìû ïîëó÷àåì íàáëþäåíèÿY1 = θ1 x11 + . . . + θk x1k + ε1 ,Y2 = θ1 x21 + . . . + θk x2k + ε2 ,...Yn = θ1 xn1 + . . . + θk xnk + εn .Ñëåäóåò ïðîâîäèòü n > k íàáëþäåíèé, èíà÷å ìû íå ñìîæåì õîðîøî îöåíèòüâñå êîýôôèöèåíòû. Ñëó÷àéíûå âåëè÷èíû ε1 , . . . , εn ïðåäïîëàãàþòñÿ íåçàâèñèìûìèè îäèíàêîâî ðàñïðåäåëåííûìè, ïðè ýòîì Eεi = 0, äèñïåðñèÿ Dεi = σ 2 ÷àùå âñåãîòàêæå ïðåäïîëàãàåòñÿ íåèçâåñòíîé.Çàïèøåì ïîëó÷åííûå ñîîòíîøåíèÿ â âåêòîðíîì âèäå.
ÏóñòüY1x11 x12 . . . x1k Y2 , X = x21 x22 . . . x2k ,Y = ... ... ... ... ... Ynxn1 xn2 . . . xnkθ1ε1 θ2 , ε = ε2 ,θ= ... ... θkεnòîãäàY = Xθ + ε.Ìàòðèöà X íàçûâàåòñÿ ðåãðåññîðîì, îíà ñîñòîèò èç èçâåñòíûõ íàì ÷èñåë, êîòîðûåìû çàäàåì â õîäå ïðîâåäåíèÿ ýêñïåðèìåíòà. Ðåãðåññîð èìååò n ñòðîê è k ñòîëáöîâ;åãî ýëåìåíòû âûáèðàþòñÿ òàê, ÷òîáû ñòîëáöû áûëè ëèíåéíî íåçàâèñèìûìè. Ñëó÷àéíûé âåêòîð ε íåèçáåæíî ïðèñóòñòâóåò â íàøèõ ñîîòíîøåíèÿõ, íî åãî çíà÷åíèÿ íàìíåèçâåñòíû. Âåêòîð Y íàçûâàåòñÿ îòêëèêîì, îí ñîñòîèò èç íàáëþäàåìûõ íàìè ñëó÷àéíûõ âåëè÷èí. È íàêîíåö, θ âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ, êîòîðûå ïîäëåæàòîöåíèâàíèþ.Îòìåòèì, ÷òî, â îòëè÷èå îò ïðåäûäóùèõ ðàññìîòðåíèé, çäåñü ìû èìååì äåëî ñâûáîðêîé, ñîñòîÿùåé èç ðàçíîðàñïðåäåëåííûõ íàáëþäåíèé, ïîñêîëüêóEYi = θ1 xi1 + . .
. + θk xikçàâèñèò îò i.Ïðàâàÿ ÷àñòü îñíîâíîãî ñîîòíîøåíèÿ ëèíåéíî çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâθ1 , . . . , θk , ïî ýòîé ïðè÷èíå ìû ãîâîðèì î çàäà÷å ëèíåéíîé ðåãðåññèè.88Èñòîðè÷åñêè ñëîæèâøèéñÿ òåðìèí ¾ðåãðåññèÿ¿ íå îòðàæàåò ñóòè ïðîáëåìû, çäåñüáîëåå ïîäîøëî áû íàçâàíèå ¾ñòàòèñòè÷åñêîå èññëåäîâàíèå çàâèñèìîñòåé¿.×àñòíûì ñëó÷àåì ÿâëÿåòñÿ ñëåäóþùàÿ ïîñòàíîâêà çàäà÷è. Ïóñòü èìååòñÿ íàáîðôóíêöèé ψ1 (t), . .
. , ψk (t) è îñíîâíîå ñîîòíîøåíèå âûãëÿäèò òàê:Y = θ1 ψ1 (t) + . . . + θk ψk (t) + ε.Ïåðåìåííàÿ t ìîæåò èíòåðïðåòèðîâàòüñÿ êàê âðåìÿ èëè òåìïåðàòóðà; ïðîâîäÿ ýêñïåðèìåíòû ïðè t = t1 , . . . , tn , ìû ïîëó÷àåì íàáëþäåíèÿYi = θ1 ψ1 (ti ) + . . . + θk ψk (ti ) + εi ,i = 1, . . . , n,ò. å. xij = ψj (ti ). Íàïðèìåð, ìîæíî âçÿòüψ1 (t) = 1, ψ2 (t) = t, . . . , ψk (t) = tk−1 ,è òîãäà îñíîâíîå ñîîòíîøåíèå ïðèìåò âèäY = θ1 + θ2 t + . .
. + θk tk−1 + ε. ýòîì ñëó÷àå çàäà÷à ïîëó÷àåò ïðîñòóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ.Yi6bbbbbbb0 t1 t2bt3 t4 . . .bbbb -t×èñëà θ1 , . . . , θk ÿâëÿþòñÿ êîýôôèöèåíòàìè ïîëèíîìà; ìû äîëæíû ïîäîáðàòü èõòàê, ÷òîáû ãðàôèê ïîëèíîìà íàèëó÷øèì îáðàçîì ïðèáëèæàë ïîëó÷åííóþ ñîâîêóïíîñòü òî÷åê (t1 , Y1 ), (t2 , Y2 ), . . .
, (tn , Yn ). ÷àñòíîì ñëó÷àå, êîãäà k = 2, ìû èìååì äåëî ñ ïðîñòîé ðåãðåññèåé, â îñòàëüíûõñëó÷àÿõ ðåãðåññèÿ íàçûâàåòñÿ ìíîæåñòâåííîé.Ïðèìåð. Ïðåäïîëîæèì, ÷òî ìû èçó÷àåì çàâèñèìîñòü ðàñòâîðèìîñòè âåùåñòâà âíåêîòîðîé æèäêîñòè îò òåìïåðàòóðû ýòîé æèäêîñòè. Îáîçíà÷èì òåìïåðàòóðó áóêâîé t è ïðîâåäåì èçìåðåíèÿ ðàñòâîðèìîñòè ïðè ðàçíûõ òåìïåðàòóðàõ. Ïîëó÷åííûåäàííûå (ñì.
ãðàôèê íèæå) íàâîäÿò íà ìûñëü î ëèíåéíîé çàâèñèìîñòèYi = θ1 + θ2 ti + εi ,Y6ibbb bb b0 t1 t2t3 t4 . . .i = 1, . . . , n.bbbbbb-tÇàäà÷à ñîñòîèò â îöåíèâàíèè íåèçâåñòíûõ ïàðàìåòðîâ θ1 è θ2 , îïðåäåëÿþùèõ ýòóçàâèñèìîñòü.899.2.Ìåòîä íàèìåíüøèõ êâàäðàòîâÎöåíêè íåèçâåñòíûõ ïàðàìåòðîâ θ1 , . . . , θk áóäåì íàõîäèòü ìåòîäîì íàèìåíüøèõêâàäðàòîâ.ÂâåäåìnXS(θ) =(Yi − θ1 xi1 − . . . − θk xik )2 = |Y − Xθ|2 .i=1Îöåíêîé ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ-îöåíêîé) íàçûâàåòñÿ òî çíà÷åíèåθ = θ∗ , ïðè êîòîðîì S(θ) äîñòèãàåò ìèíèìàëüíîãî çíà÷åíèÿ:S(θ∗ ) = min S(θ).θÂîçâðàùàÿñü ê ðàññìîòðåííîé âûøå ãðàôè÷åñêîé èëëþñòðàöèè ìû âèäèì, ÷òî ÷èñëàθ1 , . . . , θk ïîäáèðàþòñÿ òàê, ÷òîáû ìèíèìàëüíîé áûëà ñóììà êâàäðàòîâ äëèí âåðòèêàëüíûõ îòðåçêîâ, ñîåäèíÿþùèõ òî÷êè (ti , Yi ) ñ ñîîòâåòñòâóþùèìè òî÷êàìè íà êðèâîé.Yi6bbbbbbb0 t1 t2bbbbb -tt3 t4 .
. .Íàõîäèòü ÌÍÊ-îöåíêó ìîæíî ïî-ðàçíîìó. Îäèí èç ñïîñîáîâ ñîñòîèò â ðåøåíèèñèñòåìû òàê íàçûâàåìûõ íîðìàëüíûõ óðàâíåíèé∂S(θ)= 0,∂θjj = 1, . . . , k,÷òî äîñòàòî÷íî ãðîìîçäêî. Ìû ïîïðîáóåì íàéòè îöåíêó èç ãåîìåòðè÷åñêèõ ñîîáðàæåíèé. Îáîçíà÷èì ÷åðåç X1 , . . . , Xk ñòîëáöû ìàòðèöû X . Ýòî ëèíåéíî íåçàâèñèìûåâåêòîðû â Rn . Ïîñêîëüêó k < n, òî ýòè âåêòîðû ïîðîæäàþò â Rn ïîäïðîñòðàíñòâî Rk .Ëþáàÿ ëèíåéíàÿ êîìáèíàöèÿ ýòèõ âåêòîðîâ âíîâü ïðèíàäëåæèò òîìó æå Rk , çíà÷èò,äëÿ ëþáîãî θXθ = X1 θ1 + .
. . + Xk θk ∈ Rk . òîì ÷èñëå Xθ∗ ∈ Rk . Ïðîèëëþñòðèðóåì âñå íà ðèñóíêå ïðè n = 3 è k = 2.YY − Xθ∗Xθ∗ -PPCPPqPX1CWX2 ñîîòâåòñòâèè ñ ìåòîäîì íàèìåíüøèõ êâàäðàòîâ íóæíî íàéòè òàêîå çíà÷åíèå θ = θ∗ ,ïðè êîòîðîì äëèíà âåêòîðà Y − Xθ∗ áóäåò ìèíèìàëüíîé.
Ýòîò âåêòîð íà ÷åðòåæå90ïîêàçàí ïóíêòèðîì. ßñíî, ÷òî åãî äëèíà ìèíèìàëüíà, åñëè îí îðòîãîíàëåí ïëîñêîñòè,à çíà÷èò, è âåêòîðàì, åå ïîðîæäàþùèì. Çàïèøåì ýòîò âûâîä óæå äëÿ îáùåãî ñëó÷àÿ:Y − Xθ∗ ⊥ Xj ,j = 1, . . . , k.Ïî-äðóãîìó ýòî ìîæíî çàïèñàòü òàê:X T (Y − Xθ∗ ) = 0,ãäå 0 íóëåâîé âåêòîð ðàçìåðíîñòè k . Âûâîäèì îòñþäàX T Y = X T Xθ∗ .Êâàäðàòíàÿ ìàòðèöà X T X ÿâëÿåòñÿ íåâûðîæäåííîé.
Óìíîæèâ ïîëó÷åííîå ðàâåíñòâî ñëåâà íà (X T X)−1 , ïîëó÷èì ÌÍÊ-îöåíêóθ∗ = (X T X)−1 X T Y.Ïðåäïîëîæèì äîïîëíèòåëüíî, ÷òî âåêòîðû X1 , . . . , Xk îðòîãîíàëüíû. Ìû óâèäèì,÷òî â ýòîì ñëó÷àå ìíîãîå óïðîùàåòñÿ â çàäà÷àõ ëèíåéíîé ðåãðåññèè.  ÷àñòíîñòè,ìàòðèöà X T X ñòàíîâèòñÿ äèàãîíàëüíîé:(X1 , X1 )0...00(X2 , X2 ) . . .0;XT X = ............00. .
. (Xk , Xk )(X T X)−1 òàêæå áóäåò äèàãîíàëüíîé:(X1 , X1 )−100(X2 , X2 )−1(X T X)−1 = ......00...0...0.......−1. . . (Xk , Xk )Óìíîæåíèå ýòîé ìàòðèöû íà âåêòîð(X1 , Y ) (X2 , Y ) XT Y = ... (Xk , Y )ïðèâîäèò ê ïðîñòûì âûðàæåíèÿì äëÿ êîìïîíåíò ÌÍÊ-îöåíêè θ∗ :θi∗ =9.3.(Xi , Y ),(Xi , Xi )i = 1, . . . , k.Äîâåðèòåëüíûå èíòåðâàëû è ïðîâåðêà ãèïîòåçÏîñëå íàõîæäåíèÿ îöåíîê íåèçâåñòíûõ ïàðàìåòðîâ åñòåñòâåííî ïîñòàâèòü âîïðîñî âîçìîæíîñòè ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïðîâåðêè ãèïîòåç.
Äëÿ ýòîãîïîòðåáóåòñÿ èíôîðìàöèÿ î ðàñïðåäåëåíèè ñëó÷àéíûõ âåëè÷èí εi .Íà÷èíàÿ ñ ýòîãî ìåñòà ìû ïðåäïîëàãàåì, ÷òî ñëó÷àéíûå âåëè÷èíû ε1 , . . . , εn íåçàâèñèìû è ðàñïðåäåëåíû ïî çàêîíó Φ0,σ2 .  òàêèõ ñëó÷àÿõ ãîâîðÿò î çàäà÷àõ íîðìàëüíîé ðåãðåññèè.91Òåîðåìà. Ïóñòü âñå εi íåçàâèñèìû è ðàñïðåäåëåíû ïî çàêîíó Φ0,σ2 . Òîãäà ÌÌÏ-îöåíêà è ÌÍÊ-îöåíêà äëÿ ïàðàìåòðà θ ñîâïàäàþò.Äîêàçàòåëüñòâî.
Çàïèøåì ôóíêöèþ ïðàâäîïîäîáèÿ âûáîðêè (íåñìîòðÿ íà òî ÷òîíàáëþäåíèÿ çäåñü ðàñïðåäåëåíû íå îäèíàêîâî, ïðèíöèï îñòàåòñÿ òåì æå ñàìûì):)(nX1f (θ, σ 2 , Y ) = (2πσ 2 )−n/2 exp − 2(Yi − θ1 xi1 − . . . − θk xik )2 =2σ i=112 −n/2= (2πσ )exp − 2 S(θ) .2σÈç ýòîé çàïèñè âèäíî, ÷òî èññëåäîâàòü ôóíêöèþ ïðàâäîïîäîáèÿ íà ìàêñèìóì ýòîòî æå ñàìîå, ÷òî èññëåäîâàòü S(θ) íà ìèíèìóì. Òåîðåìà äîêàçàíà.Êîëü ñêîðî âûïèñàíà ôóíêöèÿ ïðàâäîïîäîáèÿ, íàéäåì ïîïóòíî ÌÌÏ-îöåíêó äëÿ2σ .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
