Ю.Н. Тюрин, Г.И. Симонова - Математическая статистика. Записки лекций (1124593), страница 25
Текст из файла (страница 25)
Ñêàçàííîå ïðàâèëî ïîäòâåðæäàåòñÿ ñðàâíåíèåìòî÷íîãî ðàñïðåäåëåíèÿ Wm;n äëÿ, ñêàæåì m; n, êîòîðîå ìîæíî íàéòè â òàáëèöàõ, è åãî íîðìàëüíîé àïïðîêñèìàöèè.(È óáåæäåííîñòüþ â òîì, ÷òî äëÿ áîëüøèõ m; n àïïðîêñèìàöèÿáóäåò åùå ëó÷øå).0110= 10160= 10Ëåêöèÿ 14. Ìåòîä íàèáîëüøåãî ïðàâäîïîäîáèÿ 1. ÎïðåäåëåíèÿÏóñòü X íàáëþäåííàÿ ñëó÷àéíàÿ âåëè÷èíà, ðàñïðåäåëåíèåêîòîðîé ïðèíàäëåæèò ïàðàìåòðè÷åñêîìó ñåìåéñòâó P , 2 ;ïóñòü 0 îáîçíà÷àåò èñòèííîå çíà÷åíèå ïàðàìåòðà.
Ïðåäïîëîæèì,÷òî ðàñïðåäåëåíèÿ P èìåþò ïëîòíîñòü (îáîçíà÷àåìóþ p x; ) îòíîñèòåëüíî êàêîé-ëèáî ìåðû. Åñëè ýòà ìåðà ñ÷èòàþùàÿ, òî p x; ýòî âåðîÿòíîñòü ñîáûòèÿ fX xg. Äðóãàÿ ÷àñòàÿ âîçìîæíîñòü:p x; ýòî ïëîòíîñòü îòíîñèòåëüíî ìåðû Ëåáåãà.Î ï ð å ä å ë å í è å 14.1.1.çíà÷åíèÿ ïàðàìåòðà íàçûâàþò (ñëó÷àéíóþ âåëè÷èíó) p X; .Î ï ð å ä å ë å í è å 14.1.2. Òî çíà÷åíèå ïàðàìåòðà , äëÿ êîòîðîãî ïðàâäîïîäîáèå ïðèíèìàåò íàèáîëüøåå çíà÷åíèå, íàçûâàþò(ïàðàìåòðà ):( )( )=( )Ïðàâäîïîäîáèåì( )îöåíêîé íàèáîëüøåãî ïðàâäîïîäîáèÿ^n = arg maxp (X; ):2(14:1:1)Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê íàèáîëüøåãî ïðàâäîïîäîáèÿìû èçó÷èì äëÿ âûáîðêè, îáúåì êîòîðîé íåîãðàíè÷åííî âîçðàñòàåò.Èòàê, ïóñòü Xx1 ; : : : ; xn âûáîðêà èç ðàñïðåäåëåíèÿ,îáëàäàþùåãî ïëîòíîñòüþ f x; , ãäå 2 íåèçâåñòíûé ïàðàìåòð; åãî èñòèííîå çíà÷åíèå (ïðè êîòîðîì ïîëó÷åíà âûáîðêàX ) åñòü 0 2 .
 ýòîì ñëó÷àå óïîìÿíóòîå âûøå ïðàâäîïîäîáèånQp X; f xi ; .i=1Îòíîñèòåëüíî îöåíêè (14.1.1) ìû äîêàæåì ïðè îïðåäåëåííûõ óñëîâèÿõ íà f ; , ÷òî=(()=)( )( )( )^ 0;^n ðàñïðåäåëåíà àñèìïòîòè÷åñêè íîðìàëüíî. Ýòîò ðåçóëüòàòa) n ñîñòîÿòåëüíàÿ îöåíêà äëÿb)ïîçâîëèò íàì óêàçàòü äëÿ íåèçâåñòíîãî ïàðàìåòðàïòîòè÷åñêèå äîâåðèòåëüíûå èíòåðâàëû.= ( ) 0 àñèì-Î ï ð å ä å ë å í è å 14.1.3.
Îöåíêà tt X ïàðàìåòðàP 0íàçûâàåòñÿ, åñëè t X ! ïðè n ! 1.ñîñòîÿòåëüíîé( )161Î ï ð å ä å ë å í è å 14.1.4 (ñïîñîá âûðàæåíèÿ). îâîðÿò, ÷òîñëó÷àéíàÿ âåëè÷èíà n (íà ñàìîì äåëå ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí n ; n; ; : : :) ðàñïðåäåëåíàñ ïàðàìåòðàìè an , n2 , åñëèàñèìïòîòè÷åñêè=12íîðìàëüíîn an d! N (0; 1)n(14:1:2)n ! 1:ïðèàñèìïòîòè÷åñêèì ìàòåìàòè÷åñêèì îæèàñèìïòîòè÷åñêîéÏðè ýòîì an íàçûâàþòn (àñèìïòîòè÷åñêèì ñðåäíèì), à n2 n .Ñëåäóåò îòìåòèòü, ÷òî ìàòåìàòè÷åñêîå îæèäàíèå n íå òîëüêîìîæåò íå ñîâïàäàòü ñ an , íî è âîîáùå íå ñóùåñòâîâàòü. Òî æå îòíîñèòñÿ è ê äèñïåðñèè n . Íàêîíåö, èç ïðèâåäåííîãî îïðåäåëåíèÿâèäíî, ÷òî ïîñëåäîâàòåëüíîñòü an ; n , n; ; : : : îïðåäåëåíà íåîäíîçíà÷íî.Äëÿ (14.1.2) óïîòðåáèòåëüíà è áîëåå âûðàçèòåëüíàÿ çàïèñüäàíèåìäèñïåðñèåé() =1 2n àñ.
N (an ; n2 ): ýòîì ðàçäåëå ìû âñòðåòèìñÿ ñ àñèìïòîòè÷åñêè íîðìàëüíûìèîöåíêàìè n ïàðàìåòðà , äëÿ êîòîðûõ^pn(^ ) d! N (0; 2 ())nïðèn ! 1;èëè^n àñ. N ; 2 ( ):n 2. Ñîñòîÿòåëüíîñòü îöåíîê íàèáîëüøåãî ïðàâäîïîäîáèÿ2.1. Ëåììà (âàðèàíò ò. í. íåðàâåíñòâà òåîðèè èíîðìàöèè)Ë å ì ì à 14.2.1.ñòè. ÒîãäàZÏóñòü f (), g() äâå ïëîòíîñòè âåðîÿòíî-f (x) ln f (x)dx Zf (x) ln g(x)dx;(14:2:1)ïðè÷åì ðàâåíñòâî âîçìîæíî, òîëüêî åñëè f = g ïî÷òè âñþäó.Ñ î ã ë à ø å í è ÿ:162Äëÿ èíòåãðàëîâ äîïóñêàåòñÿ çíà÷åíèå1.Áóäåì ñ÷èòàòü, ÷òîx 2 A;Rf (x) ln g(x)dx = 0, åñëè f (x) = 0g().Aâíå çàâèñèìîñòè îò çíà÷åíèéäëÿÄ î ê à ç à ò å ë ü ñ ò â î. Äîñòàòî÷íî ïîêàçàòü, ÷òîg(x)dx 0:f (x)Çàìåòèì, ÷òî ln(1 + x) x äëÿ x 1.ãðàèêè óíêöèé y = x è y = ln(1 + x)).Zf (x) ln2y(Ñì.
íà ðèñ. 14.2.1y=x1yx=ln(1+ )0x-1-2-2-10èñ. 14.2.1. ðàèêè óíêöèé12y = x è y = ln(1 + x)A = fx : f (x) > 0g. Äëÿ x 2 A:ln fg((xx)) ln 1 + fg((xx)) 1 fg((xx)) 1:Óìíîæèâ îáå ÷àñòè íåðàâåíñòâà íà f (), èíòåãðèðóåì:ZZg(x)g(x)f (x) lndx = f (x) lndx f (x)f (x)àññìîòðèì ìíîæåñòâîZZA [g(x) f (x)℄dx = g(x)dxò. ê.RAARAg(x)dx g(x)dx = 1. ×. ò. ä. .ZAf (x)dx 0;1632.2. Ïî÷åìó îöåíêà íàèáîëüøåãî ïðàâäîïîäîáèÿ ñîñòîÿòåëüíà ïðàâäîïîäîáíîå ðàññóæäåíèåX = (x1 ; : : : ; xn ) âûáîðêà èç ðàñïðåäåëåíèÿ ñ ïëîòíînQñòüþ f (x; ), òî ïðàâäîïîäîáèå X èìååò âèäf (xi ; ), à îöåíêài=1Åñëèíàèáîëüøåãî ïðàâäîïîäîáèÿ (14.1.1) åñòü^n = argmax2 èëènYi=1f (xi ; )"#n1Xlog f (xi ; )^n = arg max2 n:(14:2:2)i=1(Òî÷êà ýêñòðåìóìà íå èçìåíÿåòñÿ ïðè ïåðåõîäå îò óíêöèè ê å¼ëîãàðèìó è ïðè óìíîæåíèè íà ïîëîæèòåëüíîå ÷èñëî). ñèëó çàêîíà áîëüøèõ ÷èñåë ïðè n ! 1n1Xlog f (xi ; ) P! E0 log f (x1; );ni=1(14:2:3)ãäå E0 îçíà÷àåò óñðåäíåíèå ïî ïëîòíîñòè f x; 0 , ãäå 0 èñòèííîå çíà÷åíèå .
Ïîýòîìó åñòåñòâåííî îæèäàòü, ÷òî"()#n1Xarg maxlog f (xi ; ) P! arg maxE log f (x1 ; ):2 n2 0i=1Ñîãëàñíî ëåììå 14.2.1, ñïðàâåäëèâî (14.2.1). Ýòî íåðàâåíñòâîäëÿ g xf x; , f x f x; 0 äàåò:( )= ( ) ( )= (E0 log f (x1 ; ) =Z)Z[log f (x; )℄f (x; 0 )dx [log f (x; 0)℄f (x; 0 )dx:argmaxE log f (x1 ; ) = 0 :2 0PÄîêàçàòåëüñòâî ñõîäèìîñòè ^n ! 0 íàäî ïðîâîäèòü, ó÷èòûâàÿ ñâîéñòâà E0 log f (x1 ; ) êàê óíêöèè , 2 . Åñëè ýòàóíêöèÿ è f (x; ) íåïðåðûâíû ïî , îáû÷íî óäàåòñÿ òàêîé ïëàí:Ñëåäîâàòåëüíî,164Ïîêàçàòü, ÷òî ñõîäèìîñòü â (14.2.3) ðàâíîìåðíà ïî íà êîìïàêòå, ñîäåðæàùåì 0 . ýòîì ñëó÷àå ìîæíî óòâåðæäàòü, ÷òî ñóùåñòâóåò ïîñëåäîâàòåëüíîñòü ëîêàëüíûõ ýêñòðåìóìîâ óíêöèè n èç (14.1.1)èëè (14.2.2), ïî âåðîÿòíîñòè ñõîäÿùàÿñÿ ê 0 :^^n P! 0ïðè(14:2:4)n ! 1:2.3. Äîêàçàòåëüñòâî ñõîäèìîñòè ^n P! 0 äëÿ îäíîìåðíîãîñëó÷àÿ îäíîìåðíîì ñëó÷àå äîêàçàòåëüñòâî ïðîùå.
Ïðåäïîëîæèì,÷òîf x; ïðè âñÿêîì x íåïðåðûâíî çàâèñèò îò 2 , ãäå îòêðûòîå ìíîæåñòâî, R1 .×òîáû äîêàçàòü (14.2.4), ìû ïîêàæåì, ÷òî (ëîêàëüíûé) ýêñòðåìóì óíêöèènXf xi ; n i=1log ( )1log ()ëåæèò ñî ñêîëü óãîäíî áëèçêîé ê 1 âåðîÿòíîñòüþ ïðè äîñòàòî÷íî áîëüøèõ n âíóòðè èíòåðâàëà ( 0 h, 0 h), ãäå h ïðîèçâîëüíîå ÷èñëî.+0- h0èñ. 14.2.2. ðàèê óíêöèè0+ hy = E0 log f (x1 ; )165Òàê êàêE0 log f (x1 ; 0 ) > E0 log f (x1 ; 0 h);òî ìîæíî ïîäîáðàòü òàêîå " > 0, ÷òîE0 log f (x1 ; 0 ) " > E0 log f (x1 ; 0 h) + ":Äëÿ ïðîèçâîëüíîãî èêñèðîâàííîãî Æ > 0, â ñèëó óïîìÿíóòîãîçàêîíà áîëüøèõ ÷èñåë (14.2.3), äëÿ äîñòàòî÷íî áîëüøèõ n âûïîëíÿþòñÿ íåðàâåíñòâà:nn XPPn1n i=1n1Xlog f (xi ; 0 h)n i=1Ïîýòîìónn XPlog f (xi ; 0)1n i=1oE0 log f (x1 ; 0 ) < " > 1 Æ;oE0 log f (x1 ; 0 h) < " > 1 Æ:noXlog f (xi; 0) > n1 log f (xi ; 0 h) > 1 3Æ:i=1Ïîýòîìó (ïðè äîñòàòî÷íî áîëüøèõ n) ýêñòðåìóì (ëîêàëüíûé)óíêöèè ïðàâäîïîäîáèÿ èç (14.1.1) ëåæèò â ñêîëü óãîäíî óçêîéîêðåñòíîñòè òî÷êè 0 .
Ïîýòîìó ïîñëåäîâàòåëüíîñòü ýòèõ ëîêàëüíûõ ýêñòðåìóìîâ ñõîäèòñÿ (ïî âåðîÿòíîñòè) ê 0 , ÷òî è òðåáîâàëîñü äîêàçàòü. nXÇ à ä à ÷ à. Èññëåäóéòå íà ìàêñèìóì óíêöèþf xi ; n i=1è ñîïîñòàâüòå å¼ ñ E0f x1 ; äëÿ íîðìàëüíîãî ñåìåéñòâà N a; 2è äëÿ ñåìåéñòâà ðàâíîìåðíûõ ðàñïðåäåëåíèé íà îòðåçêå ; , ãäå 2 ;1 .1log ()log ()([0 ℄(0 ) 3. Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü îöåíîê íàèáîëüøåãî ïðàâäîïîäîáèÿ (ïî âûáîðêå èç ðåãóëÿðíîãî ñåìåéñòâà)3.1. Îäíîìåðíûé ñëó÷àé=()( )Ïóñòü Xx1 ; : : : ; xn âûáîðêà èç ðàñïðåäåëåíèÿ ñ ïëîòíîñòüþ (âåðîÿòíîñòüþ) p x; , 2 R1 . (Ïîñëå òîãî, êàê ìû166)çàêîí÷èì èññëåäîâàíèå îäíîìåðíîãî ïàðàìåòðà , ìû îáñóäèì, êàêèå èçìåíåíèÿ íàäî ñäåëàòü, êîãäà 2 Rr ). Ìíîæåñòâîáóäåì ñ÷èòàòü îòêðûòûì. ðàññìàòðèâàåìîì ñëó÷àå îöåíêà íàèáîëüøåãî ïðàâäîïîäîáèÿåñòü ðåøåíèå óðàâíåíèÿ ïðàâäîïîäîáèÿ( )n Xlog p (xi ; ) = 0: i=1(14:3:1)Ñ÷èòàÿ, ÷òî p x; òðèæäû äèåðåíöèðóåìà ïî , ïðåäïîëîæèì, ÷òî ñóùåñòâóåò óíêöèÿ M x òàêàÿ, ÷òîäëÿ ëþáîãîïðè÷åì2 3: 3()log p (x; )< M (x);E M (x1 ) < 1 äëÿ âñåõ 2 .0 < i( 0) < 1;ãäåi( 0 ) = E02logp (x1 ; 0) : äàëüíåéøåì, ðàäè êðàòêîñòè áóäåì ïèñàòül(x; ) =log p (x; ):Èññëåäîâàíèå óðàâíåíèÿ ïðàâäîïîäîáèÿ.
Ââåäåì íîâóþ ïåðåìåííóþ , ïîëîæèâ 0 p : Òåïåðü óðàâíåíèå ïðàâäîïîäîáèÿ= +(14.3.1) èìååò âèäp1nnXnl(xi ; 0 + p ) = 0:ni=1(14:3:2)àçëàãàåì ëåâóþ ÷àñòü (14.3.2) ïî îðìóëå Òåéëîðà â òî÷êå 0 . Ïîëó÷àåì:nnXX11 200000~ppppl(xi ; )+l (x ; ) +l (x ; );n i=1 in 2 n i=1 i nni=1(14:3:3)ãäå ~n íåêàÿ ïðîìåæóòî÷íàÿ òî÷êà ìåæäó 0 è .p1nnXÇàìåòèì, ÷òî åñëè ìû îãðàíè÷èì îáëàñòü èçìåíåíèÿ ïåðåìåííîé ïðîèçâîëüíûì êîìïàêòîì, ò. å.
ïðåäïîëîæèì, ÷òî j j < C167äëÿ íåêîòîðîãî C , òî òðåòüå ñëàãàåìîå îêàæåòñÿ (ïðèáåñêîíå÷íî ìàëûì. Äåéñòâèòåëüíî:p1nXn i=1l 00 (xi ; ~n )n ! 1)#2 n2 "1 XCpn < pn n M (xi ) P! 0;i=1ò. ê. ïî çàêîíó áîëüøèõ ÷èñåën1XM (xi ) P! E M (x1 ):ni=1Ñîïîñòàâèì ðåøåíèå óðàâíåíèÿ (14.3.2), ëåâàÿ ÷àñòü êîòîðîãîïðåäñòàâëåíà â îðìå (14.3.3), è ðåøåíèå óðàâíåíèÿp1nnXi=11l(xi ; 0 ) + pnXl 0 (xi ; 0 ) p = 0:n i=1n(14:3:4)(Ëåâàÿ ÷àñòü êàê â (14.3.3), íî áåç òðåòüåãî ñëàãàåìîãî).åøåíèå (14.3.4) î÷åâèäíî:n =p1nnXi=1l(xi ; 0 ):(14:3:5)n d! N 0; [ i( 0)℄ 1 :(14:3:6)1nXn i=1Ïðè ýòîì ëåãêî óâèäåòü, ÷òî ïðèl 0 (xi ; 0 )n!1Çäåñü i 0 êîëè÷åñòâî èíîðìàöèè (ïî Ôèøåðó) î , ñîäåðæàùåéñÿ â îäíîì íàáëþäåíèè x1 .Äåéñòâèòåëüíî, ÷èñëèòåëü (14.3.5) åñòü ñóììà íåçàâèñèìûõn Xñëó÷àéíûõ âåëè÷èí p; n. Ïðè îáñóp xi ; 0 ; in i=1æäåíèè íåðàâåíñòâ Êðàìåðà-àî ìû îòìåòèëè, ÷òî( )1E168log (n Xlog p (xi ; ) = 0 i=1)=1äëÿ 2 ;è ÷òî"E#2n Xlog p (xi ; ) i=1= n i():Ïîýòîìó, ïî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå, ÷èñëèòåëü (14.3.5)ïî ðàñïðåäåëåíèþ ñõîäèòñÿ ê N ; i 0 , êîãäà n ! 1.Çíàìåíàòåëü (14.3.5) ïî çàêîíó áîëüøèõ ÷èñåë ñõîäèòñÿ (ïî âåðîÿòíîñòè) ê E l 0 x1 ; , ãäå = 0 .
Ìû (ïðè óïîìÿíóòûõ âûøåîáñóæäåíèÿõ) îòìå÷àëè, ÷òî(0 ( ))()2E 2 log p (x1 ; )= i():Ïîýòîìó ïî òåîðåìå Ñëóöêîãî âûïîëíåíî (14.3.6).Îñòàåòñÿ óáåäèòüñÿ, ÷òî ðåøåíèå óðàâíåíèÿ (14.3.2) àñèìïòîòè÷åñêè ýêâèâàëåíòíî ðåøåíèþ óðàâíåíèÿ (14.3.4) ýêâèâàëåíòíî â òîì ñìûñëå, ÷òî ïðè n ! 1 ðàçíîñòü ìåæäó ðåøåíèÿìèñòðåìèòñÿ ê íóëþ (ïî âåðîÿòíîñòè).Ìû óæå îòìå÷àëè, ÷òî ëåâûå ÷àñòè (14.3.2) è (14.3.4) îòëè÷àþòñÿ áåñêîíå÷íî ìàëî (è ïðèòîì ðàâíîìåðíî ïî ), êîãäàj j < Const ìåíüøå ïðîèçâîëüíîé ïîñòîÿííîé.àññìîòðèì ãðàèê ëåâîé ÷àñòè (14.3.4) êàê óíêöèþ îò :yn . Äëÿ äîñòàòî÷íî áîëüøèõ n ãðàèê ëåâîé ÷àñòè (14.3.2),ñêàæåì y'n , áóäåò ïðè j j < C ïðîõîäèòü â "-îêðåñòíîñòèãðàèêà yn .Ïîñêîëüêó " > ìîæåò áûòü âûáðàíî ñêîëü óãîäíî ìàëûì, óóðàâíåíèÿ ïðàâäîïîäîáèÿ (14.3.2) íàéäåòñÿ ðåøåíèå n , òàêîå, ÷òîn n P! ïðè òîì äîïîëíèòåëüíîì óñëîâèè, ÷òî óðàâíåíèå(14.3.4) èìååò ðåøåíèå, ïðèíàäëåæàùåå êîìïàêòó f j j < C g.Îñòàåòñÿ ñäåëàòü ïîñëåäíåå çàìå÷àíèå, ÷òîáû çàâåðøèòü èññëåäîâàíèå (14.3.2).
Òàê êàê n (ðåøåíèå (14.3.4)) àñèìïòîòè÷åñêèíîðìàëüíî, ìîæíî âûáðàòü óïîìÿíóòûé âûøå êîìïàêòf j j < C g òàê, ÷òîáû äëÿ ïðîèçâîëüíî âûáðàííîãî Æ >= ()^= ()= ()0^0::P fjn j < C g > 1 Æ0(14:3:7)äëÿ äîñòàòî÷íî áîëüøèõ n.Òàêèì îáðàçîì, ñî ñêîëü óãîäíî áëèçêîé ê 1 âåðîÿòíîñòüþ,óðàâíåíèå (14.3.2) èìååò êîðåíü íà âûáðàííîì êîìïàêòå (äëÿ äîñòàòî÷íî áîëüøèõ n), è ýòîò êîðåíü ñêîëü óãîäíî áëèçîê ê n .169yy=y=n( )n( )0*n0èñ. 14.3.1. ðàèêè óíêöèé^ny = 'n ( ) è y =^n( )Ïîýòîìó êîðåíü n ðàñïðåäåëåí òàê æå, êàê è n , ò. å.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
