it4 (1108260)
Текст из файла
á.ç.äØÑÞËÏ×ôÅÏÒÉÑ ÉÎÆÏÒÍÁÃÉɧ4.ïÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ ÄÌÑÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ Ó×ÑÚÉóÏÄÅÒÖÁÎÉÅ1. ó×ÏÊÓÔ×Á ÜÎÔÒÏÐÉÉ É ÉÎÆÏÒÍÁÃÉÉ:(a) H (X | Y ) ≤ H (X ) ≤ ln | X |.(b)J (X ; Y ) = J (Y ; X ) = H (Y ) − H (Y | X ) = H (X ) − H (X | Y ) == H (X ) + H (Y ) − H (X ; Y ) ≥ 0:(c) J (X ; Y |Z ) = H (Y |Z ) − H (Y |X; Z ) ≥ 0.(d) J (X ; Y1 ; Y2 ) = J (X ; Y1 ) + J (X ; Y2 |Y1 ), J (X ; Y1N ) =NPn=1J (X ; Yn |Y1n−1 ).(e) J (X ; f (Y )) ≤ J (X ; Y ).(f) åÓÌÉ p(y|x; z ) = p(y|x), ÔÏ J (Y ; X |Z ) ≤ J (Y ; X ). åÓÌÉ p(x|z ) = p(x), ÔÏJ (Y ; X |Z ) ≥ J (Y ; X ).(g) îÅÒÁ×ÅÎÓÔ×Ï æÁÎÏ: ecÌÉ Pr{X 6= Y } = , ÔÏ H (X |Y ) ≤ ln |X | + h().(h) H (Y1N ) ≤NPn=1H (Yn ).(i) åÓÌÉ p(y1N |xN1 ) =NQn=1p(yn |xn ), ÔÏH (Y1N |X1N ) =NXn=1H (Yn |Xn );J (X1N ; Y1N ) ≤NXn=1J (Xn ; Yn ):2.
ôÅÏÒÅÍÁ ÐÅÒÅÒÁÂÏÔËÉ ÄÁÎÎÙÈ ÄÌÑ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ Ó×ÑÚÉ.3. ðÒÏÐÕÓËÎÁÑ ÓÐÏÓÏÂÎÏÓÔØ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚ ÐÁÍÑÔÉ.4. ÷ÙÞÉÓÌÅÎÉÅ ÐÒÏÐÕÓËÎÏÊ ÓÐÏÓÏÂÎÏÓÔÉ ÄÌÑ Ä×ÏÉÞÎÏÇÏ ÓÉÍÍÅÔÒÉÞÎÏÇÏ ËÁÎÁÌÁ ÂÅÚÐÁÍÑÔÉ: C = ln 2 − h(p).5. îÉÖÎÑÑ ÇÒÁÎÉÃÁ -ÜÎÔÒÏÐÉÉ ÓÏÏÂÝÅÎÉÑ Ó ÒÁ×ÎÏ×ÅÒÏÑÔÎÙÍÉ ÚÎÁÞÅÎÉÑÍÉ.6. ïÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ ÄÌÑ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚ ÐÁÍÑÔÉ.7. ïÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ ÄÌÑ ËÁÎÁÌÁ Ó ÒÁ×ÎÏ×ÅÓÎÙÍ ÛÕÍÏÍ.8. MÁÔÅÍÁÔÉÞÅÓËÁÑ ÍÏÄÅÌØ ÐÅÒÅÄÁÞÉ ÄÉÓËÒÅÔÎÏÇÏ ÓÏÏÂÝÅÎÉÑ ÐÏ ÄÉÓËÒÅÔÎÏÍÕ ËÁÎÁÌÕÂÅÚ ÐÁÍÑÔÉ Ó ÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ.9.
ôÅÏÒÅÍÁ ÐÅÒÅÒÁÂÏÔËÉ ÄÁÎÎÙÈ É ÐÒÏÐÕÓËÎÁÑ ÓÐÏÓÏÂÎÏÓÔØ ÄÌÑ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚÐÁÍÑÔÉ Ó ÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ.14.1 íÁÔÅÍÁÔÉÞÅÓËÁÑ ÍÏÄÅÌØ ÐÅÒÅÄÁÞÉ ÄÉÓËÒÅÔÎÏÇÏ ÓÏÏÂÝÅÎÉÑÐÏ ÄÉÓËÒÅÔÎÏÍÕ ËÁÎÁÌÕ Ó×ÑÚÉ4.1.1 ïÂÏÚÎÁÞÅÎÉÑíÙ ÂÕÄÅÍ ÐÒÉÄÅÒÖÉ×ÁÔØÓÑ ÓÌÅÄÕÀÝÅÊ ÓÉÓÔÅÍÙ ÏÂÏÚÎÁÞÅÎÉÊ. âÕË×Ù X; Y; Z; : : : | ÓÌÕÞÁÊÎÙÅ ×ÅÌÉÞÉÎÙ, Á ÚÎÁÞÅÎÉÑ ÜÔÉÈ ×ÅÌÉÞÉÎ { ÂÕË×Ù x; y; z; : : : ÓÏÏÔ×ÅÔÓÔ×ÅÎÎÏ. äÉÓËÒÅÔÎÙÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ ×ÅÒÏÑÔÎÏÓÔÅÊ É ÕÓÌÏ×ÎÙÅ ÒÁÓÐÒÅÄÅÌÅÎÉÑ ÂÕÄÅÍ, ÄÌÑ ËÒÁÔËÏÓÔÉ, ÏÂÏÚÎÁÞÁÔØ ÓÉÍ×ÏÌÁÍÉ p(x); p(x|z ); : : : ; ÐÏÄ ËÏÔÏÒÙÍÉ ÐÏÄÒÁÚÕÍÅ×ÁÅÔÓÑ ÂÏÌÅÅ ÐÏÄÒÏÂÎÁÑ ÚÁÐÉÓØ, ÁÉÍÅÎÎÏ:p(x) = pX (x) , Pr{X = x} ; p(x|z ) = pX |Z (x|z ) , Pr{X = x|Z = z }:äÌÑ ÐÏÓÌÅÄÏ×ÁÔÅÌØÎÏÓÔÅÊ ÄÌÉÎÙ N ÉÚ ÓÌÕÞÁÊÎÙÈ ×ÅÌÉÞÉÎ É ÉÈ ÚÎÁÞÅÎÉÊ ÉÓÐÏÌØÚÕÅÍÓÔÁÎÄÁÒÔÎÙÅ ÓÉÍ×ÏÌÙ X1N = (X1 ; X2 ; : : : ; XN ), xN1 = (x1 ; x2 ; : : : ; xN ).
îÁÐÒÉÍÅÒ,³´nNN NNp y1N |xN1 , Pr Y1 = y1 |X1 = x1oÏÂÏÚÎÁÞÁÅÔ ÕÓÌÏ×ÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ ÓÌÕÞÁÊÎÏÊ ×ÅÌÉÞÉÎÙ Y1N ÐÒÉ ÕÓÌÏ×ÉÉ X1N .4.1.2 óÈÅÍÁ ÐÅÒÅÄÁÞÉ: → X1N → Y1N → ~X1N = (X1 ; X2 ; : : : ; XN ) { ÓÉÇÎÁÌ ÎÁ ×ÈÏÄÅ ËÁÎÁÌÁ, Xn = 0; K − 1, n = 1; N , K ≥ 2.Y1N = (Y1 ; Y2 ; : : : ; YN ) { ÓÉÇÎÁÌ ÎÁ ×ÙÈÏÄÅ ËÁÎÁÌÁ, Yn = 0; J − 1, n = 1; N , J ≥ 2.N = 1; 2; : : : { ×ÒÅÍÑ ÐÅÒÅÄÁÞÉ ÐÏ ËÁÎÁÌÕ. ∈ [M ] = {1; 2; : : : ; M } { ÓÏÏÂÝÅÎÉÅ ÉÓÔÏÞÎÉËÁ.~ ∈ [M~ ] = {1; 2; : : : ; M~ }, M~ ≥ M { ÓÏÏÂÝÅÎÉÅ ÁÄÒÅÓÁÔÁ.R = ln M = N { ÓËÏÒÏÓÔØ ÐÅÒÅÄÁÞÉ. äÒÕÇÉÍÉ ÓÌÏ×ÁÍÉ, ÍÙ ÓÞÉÔÁÅÍ, ÞÔÏ ÞÉÓÌÏ ×ÏÚÍÏÖÎÙÈ ÚÎÁÞÅÎÉÊ ÓÏÏÂÝÅÎÉÑ ÉÓÔÏÞÎÉËÁ M ÒÁÓÔÅÔ ÜËÓÐÏÎÅÎÃÉÁÌØÎÏ Ó ÒÏÓÔÏÍ ×ÒÅÍÅÎÉ N , ÚÁËÏÔÏÒÏÅ ÜÔÏ ÓÏÏÂÝÅÎÉÅ ÎÁÄÏ ÐÅÒÅÄÁÔØ ÐÏ ËÁÎÁÌÕ Ó×ÑÚÉ, Ô.Å. M = dexp{RN }e, ÇÄÅ R > 0 ÆÉËÓÉÒÏ×ÁÎÎÙÊ ÐÁÒÁÍÅÔÒ, ÎÁÚÙ×ÁÅÍÙÊ ÓËÏÒÏÓÔØÀ ÐÅÒÅÄÁÞÉ.÷ ÏÐÒÅÄÅÌÅÎÉÉ ÓËÏÒÏÓÔÉ ÐÅÒÅÄÁÞÉ É ÚÁÔÅÍ ÐÒÉ ÏÐÒÅÄÅÌÅÎÉÉ ÔÅÏÒÅÔÉËÏ - ÉÎÆÏÒÍÁÃÉÏÎÎÙÈ ÈÁÒÁËÔÅÒÉÓÔÉË ÒÁÓÐÒÅÄÅÌÅÎÉÑ ×ÅÒÏÑÔÎÏÓÔÅÊ ÉÓÐÏÌØÚÕÀÔÓÑ ÎÁÔÕÒÁÌØÎÙÅ ÌÏÇÁÒÉÆÍÙ.üÔÏ ÓÄÅÌÁÎÏ ÄÌÑ ×ÏÚÍÏÖÎÏÓÔÉ ÐÒÉÍÅÎÅÎÉÑ ÎÅÒÁ×ÅÎÓÔ×Á ln x ≤ x − 1, ÎÁÚÙ×ÁÅÍÏÇÏ ÉÎÆÏÒÍÁÃÉÏÎÎÙÍ É ÌÅÖÁÝÉÍ × ÏÓÎÏ×Å ×Ù×ÏÄÏ× ×ÓÅÈ Ó×ÏÊÓÔ× ÜÔÉÈ ÈÁÒÁËÔÅÒÉÓÔÉË, Ó ÐÏÍÏÝØÀËÏÔÏÒÙÈ ÄÁÌÅÅ ÄÏËÁÚÁÎÁ ÏÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ.
ðÒÉ ÌÀÂÏÍ ÄÒÕÇÏÍ ÚÁÄÁÎÉÉ ÏÓÎÏ×ÁÎÉÑ ÌÏÇÁÒÉÆÍÁ a > 1, ËÏÔÏÒÏÅ ÔÁËÖÅ ÍÏÖÎÏ ×ÚÑÔØ × ÏÐÒÅÄÅÌÅÎÉÉ ÓËÏÒÏÓÔÉ ÐÅÒÅÄÁÞÉ,ÉÎÆÏÒÍÁÃÉÏÎÎÏÅ ÎÅÒÁ×ÅÎÓÔ×Ï ÐÒÉÍÅÔ ×ÉÄ loga x ≤ (x − 1) loga e, ÇÄÅ e = 2:7183:: { ÏÓÎÏ×ÁÎÉÅ ÎÁÔÕÒÁÌØÎÏÇÏ ÌÏÇÁÒÉÆÍÁ.4.1.3 íÅÔÏÄ ÐÅÒÅÄÁÞÉðÅÒÅÄÁÞÁ ÄÉÓËÒÅÔÎÏÇÏ ÓÏÏÂÝÅÎÉÑ , ÐÏ ÄÉÓËÒÅÔÎÏÍÕ ËÁÎÁÌÕ Ó×ÑÚÉ ÚÁ ×ÒÅÍÑ N Ó ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ ≤ ÏÚÎÁÞÁÅÔ ÓÕÝÅÓÔ×Ï×ÁÎÉÅ ÓÏ×ÍÅÓÔÎÏÇÏ ÒÁÓÐÒÅÄÅÌÅÎÉÑ p(u;xN1 ; y1N;u~)ÞÅÔ×ÅÒËÉ ÓÌÕÞÁÊÎÙÈ ×ÅÌÉÞÉÎ (; X1N; Y1N; ~), ËÏÔÏÒÏÅ ÕÄÏ×ÌÅÔ×ÏÒÑÅÔ ÓÌÅÄÕÀÝÉÍ ÕÓÌÏ×ÉÑÍ(ÏÇÒÁÎÉÞÅÎÉÑÍ):2õ1).
úÁÄÁÎÏ (ÚÁÆÉËÓÉÒÏ×ÁÎÏ) ÒÁÓÐÒÅÄÅÌÅÎÉÅ p(u) ÉÓÔÏÞÎÉËÁ , u∈ [M ], Á ÎÁ ÕÓÌÏ×~~[M ], ÐÁÒÙ (; ) ÎÁÌÏÖÅÎÏ ÔÒÅÂÏ×ÁÎÉÅ ÔÏÞÎÏÓÔÉÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ p(~u|u), u ∈ [M ], u~ ∈×ÏÓÐÒÏÉÚ×ÅÄÅÎÉÑ: Pr{ 6= ~} ≤ .õ2). ÷ ÓÏ×ÍÅÓÔÎÏÍ ÒÁÓÐÒÅÄÅÌÅÎÉÉ p(xN1 ; y1N ) ÐÁÒÙ (X1N ; Y1N ), ËÏÔÏÒÏÅ ÐÒÅÄÓÔÁ×ÌÑÅÔÓÏÂÏÊ ÍÁÔÅÍÁÔÉÞÅÓËÕÀ ÍÏÄÅÌØ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ Ó×ÑÚÉ, ÚÁÄÁÎÏ ÕÓÌÏ×ÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ,Ô. Å. (K N × J N ) | ÍÁÔÒÉÃÁPN , kp(y1N |xN1 )k :üÔÏ ÏÚÎÁÞÁÅÔ, ÞÔÏ ×ÓÅ ÄÏÐÕÓÔÉÍÙÅ ÓÏ×ÍÅÓÔÎÙÅ ÒÁÓÐÒÅÄÅÌÅÎÉÑ ÐÁÒÙ (X1N ; Y1N ) ÏÄÎÏÚÎÁÞÎÏÚÁÄÁÀÔÓÑ ×ÈÏÄÎÙÍÉ ÒÁÓÐÒÅÄÅÌÅÎÉÑÍÉ p(xN1 ).ðÏ ÏÐÒÅÄÅÌÅÎÉÀ ÏÔÓÕÔÓÔ×ÉÅ ÐÁÍÑÔÉ × ËÁÎÁÌÅ Ó×ÑÚÉ ÏÚÎÁÞÁÅÔ, ÞÔÏ ÄÌÑ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚ ÐÁÍÑÔÉ (äëâð) ÕÓÌÏ×ÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ PN ×ÙÞÉÓÌÑÅÔÓÑ Ó ÐÏÍÏÝØÀ (K × J ){ÍÁÔÒÉÃÙ P = kP (y|x)k, x = 0; K − 1, y = 0; J − 1, ÓÌÅÄÕÀÝÉÍ ÏÂÒÁÚÏÍ:p³y1N |xN1NY´,n=1P (yn |xn ) :ðÒÉÍÅÒ äëâð.
òÁÓÓÍÏÔÒÉÍ Ä×ÏÉÞÎÙÊ ÓÉÍÍÅÔÒÉÞÎÙÊ ËÁÎÁÌ ÂÅÚ ÐÁÍÑÔÉ (äóë), ÇÄÅK = J = 2, Á ÍÁÔÒÉÃÁ ÐÅÒÅÈÏÄÎÙÈ ×ÅÒÏÑÔÎÏÓÔÅÊ ÉÍÅÅÔ ×ÉÄP=µ1−p pp 1−p¶; p = P (0|1) = P (1|0); 1 − p = P (0|0) = P (1|1):ðÁÒÁÍÅÔÒ p, 0 < q < 1=2; ÎÁÚÙ×ÁÅÔÓÑ ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ ÐÒÉ ÏÄÎÏÊ ÐÅÒÅÄÁÞÅ. õÓÌÏ×ÎÏÅÒÁÓÐÒÅÄÅÌÅÎÉÅ ÄÌÑ äóë ÉÍÅÅÔ ×Éij´(x ;y )N −(x1 ;y1 ) ;p y1N |xN1 = p 1 1 · (1 − p)¡N NN N¢ÇÄÅ xN1 ; y1N { ÒÁÓÓÔÏÑÎÉÅ èÜÍÍÉÎÇÁ ÍÅÖÄÕ Ä×ÏÉÞÎÙÍÉ ÐÏÓÌÅÄÏ×ÁÔÅÌØÎÏÓÔÑÍÉ xN1 É y1N ,Ô.Å. ÞÉÓÌÏ ÐÏÚÉÃÉÊ n, n = 1; N , × ËÏÔÏÒÙÈ xn 6= yn .ðÒÉ×ÏÄÉÍÏÅ ÎÉÖÅ ÕÓÌÏ×ÉÅ õ3) ÏÐÉÓÙ×ÁÅÔ ÅÓÔÅÓÔ×ÅÎÎÙÅ (Ó ÔÏÞËÉ ÚÒÅÎÉÑ ÚÄÒÁ×ÏÇÏ ÓÍÙÓÌÁ) ÓÏÏÔÎÏÛÅÎÉÑ Ó×ÑÚÉ ÓÌÕÞÁÊÎÙÈ ×ÅÌÉÞÉÎ × ÓÈÅÍÅ ÐÅÒÅÄÁÞÉ → X1N → Y1N → ~.
ïÔÍÅÔÉÍ, ÞÔÏ Ó×ÏÊÓÔ×Ï ÃÅÐÉ íÁÒËÏ×Á ÇÏ×ÏÒÉÔ Ï ÔÏÍ, ÞÔÏ ÓÏÏÂÝÅÎÉÅ ÉÓÔÏÞÎÉËÁ ÎÅ ÚÁ×ÉÓÉÔ(ÉÍÅÅÔ ÄÒÕÇÕÀ ÆÉÚÉÞÅÓËÕÀ ÐÒÉÒÏÄÕ) ÏÔ ÛÕÍÁ × ËÁÎÁÌÅ Ó×ÑÚÉ.õ3). úÁÄÁÎÏ ËÏÄÉÒÏ×ÁÎÉÅ f = f (u), u ∈ [M ], É ÄÅËÏÄÉÒÏ×ÁÎÉÅ g = g(y1N ) ∈ [M~ ], ÔÁË ÞÔϳ~ = g Y1NX1N = f ( );´É, ËÒÏÍÅ ÔÏÇÏ, ÔÒÏÊËÁ (; X1N ; Y1N ) Ñ×ÌÑÅÔÓÑ ÃÅÐØÀ íÁÒËÏ×Á, Ô.Å. ÓÏ×ÍÅÓÔÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉų´³´N Np y1N |xN1 ; u = p y1 |x1 :¡¢ïÐÒÅÄÅÌÅÎÉÅ 1. óÏ×ÍÅÓÔÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ p u; xN1 ; y1N ; u~ , ÕÄÏ×ÌÅÔ×ÏÒÑÀÝÅÅ ÕÓÌÏ×ÉÑÍ õ1)|õ3) ÎÁÚÙ×ÁÅÔÓÑ ÍÅÔÏÄÏÍ ÐÅÒÅÄÁÞÉ ÄÉÓËÒÅÔÎÏÇÏ ÓÏÏÂÝÅÎÉÑ ÐÏ ÄÉÓËÒÅÔÎÏÍÕËÁÎÁÌÕ Ó×ÑÚÉ ÚÁ ×ÒÅÍÑ N Ó ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ ≤ .34.1.4 éÎÆÏÒÍÁÃÉÏÎÎÙÅ ÈÁÒÁËÔÅÒÉÓÔÉËÉ ÉÓÔÏÞÎÉËÁ ÓÏÏÂÝÅÎÉÊÉ ËÁÎÁÌÁ Ó×ÑÚÉïÐÒÅÄÅÌÅÎÉÅ 2.
þÉÓÌÏJ (X ; Y ) ,Xxyp(x; y) · lnXp(x; y)p(y|x)=p(x; y) · lnp(x)p(y) xyp(y)ÎÁÚÙ×ÁÅÔÓÑ ÉÎÆÏÒÍÁÃÉÅÊ ÐÁÒÙ ÓÌÕÞÁÊÎÙÈ ×ÅÌÉÞÉÎ (X ; Y ), Á ÞÉÓÌÏXXp(x; y|z )p(y|x; z )J (X ; Y |Z ) ,p(x; y; z ) · ln=p(x; y; z ) · lnp(x|z)p(y|z)p(y|z )x;y;zx;y;zÎÁÚÙ×ÁÅÔÓÑ ÕÓÌÏ×ÎÏÊ ÉÎÆÏÒÍÁÃÉÅÊ ÐÁÒÙ ×ÅÌÉÞÉÎ (X ; Y ) ÐÒÉ ÕÓÌÏ×ÉÉ Z .ó×ÏÊÓÔ×Ï 0. (óÉÍÍÅÔÒÉÑ É ÎÅÏÔÒÉÃÁÔÅÌØÎÏÓÔØ).J (X ; Y ) = J (Y ; X ) ≥ 0;J (X ; Y |Z ) = J (Y ; X |Z ) ≥ 0 :ðÒÉ ÜÔÏÍ ÉÎÆÏÒÍÁÃÉÑ J (X ; Y ) = 0 ÔÏÇÄÁ É ÔÏÌØËÏ ÔÏÇÄÁ, ËÏÇÄÁ ×ÅÌÉÞÉÎÙ X É Y |ÎÅÚÁ×ÉÓÉÍÙ, Ô.Å. p(y|x) = p(y), Á ÕÓÌÏ×ÎÁÑ ÉÎÆÏÒÍÁÃÉÑ J (X ; Y |Z ) = 0 ÔÏÇÄÁ É ÔÏÌØËÏÔÏÇÄÁ, ËÏÇÄÁ ÔÒÏÊËÁ (X ; Z ; Y ) | ÃÅÐØ íÁÒËÏ×Á, Ô.Å. p(y|z; x) = p(y|z ) .äÏËÁÚÁÔÅÌØÓÔ×Ï Ó×ÏÊÓÔ×Á 0.
ðÕÓÔØ Q1 (!) É Q2 (!) , ! ∈ , - Ä×Á ÐÒÏÉÚ×ÏÌØÎÙÈÒÁÓÐÒÅÄÅÌÅÎÉÑ ×ÅÒÏÑÔÎÏÓÔÅÊ ÎÁ ÍÎÏÖÅÓÔ×Å . ðÒÉÍÅÎÑÑ ÎÅÒÁ×ÅÎÓÔ×Ï ln x ≤ x − 1 ÇÄÅÒÁ×ÅÎÓÔ×Ï ÌÉÛØ ÐÒÉ x = 1, ÉÍÅÅÍP! ∈óÌÅÄÏ×ÁÔÅÌØÎÏ,Q1 (!) ln QQ21 ((!!)) ≤=X!∈P!PQ1 (!)! PQ2 (!) −Q1 (!) log!hiQ2 (!)Q1 (!) − 1=Q1 (!) = 1 − 1 = 0:Q1 (!)≥ 0;Q2 (!)(∗)ÇÄÅ ÚÎÁË ÒÁ×ÅÎÓÔ×Á × (∗) ÔÏÇÄÁ É ÔÏÌØËÏ ÔÏÇÄÁ, ËÏÇÄÁ Q1 (!) = Q2 (!) ÐÒÉ ×ÓÅÈ ! ∈ .îÅÒÁ×ÅÎÓÔ×Ï J (X ; Y ) ≥ 0 ×ÙÔÅËÁÅÔ ÉÚ (∗) ÅÓÌÉ ÐÏÌÏÖÉÔØ! = (x; y); Q1 (!) = p(x; y); Q2 (!) = p(x)p(y):îÅÒÁ×ÅÎÓÔ×Ï J (X ; Y |Z ) ≥ 0 ÓÌÅÄÕÅÔ ÉÚ (∗) ÅÓÌÉ ÐÒÉ ÆÉËÓÉÒÏ×ÁÎÎÏÍ z ÐÏÌÏÖÉÔØ ! = (x; y),Q1 (!) = p(x; y|z ) É Q2 (!) = p(x|z )p(y|z ).
ó×ÏÊÓÔ×Ï ÓÉÍÍÅÔÒÉÉ ÏÞÅ×ÉÄÎÏ.ó×ÏÊÓÔ×Ï 0 ÄÏËÁÚÁÎÏ.ïÐÒÅÄÅÌÅÎÉÅ 3. þÉÓÌÏH () , inf J (; ~);1)ÇÄÅ ÎÉÖÎÑÑ ÇÒÁÎØ ÂÅÒÅÔÓÑ ÐÏ ×ÓÅÍ ÕÓÌÏ×ÎÙÍ ÒÁÓÐÒÅÄÅÌÅÎÉÑÍ p(~u|u), ÕÄÏ×ÌÅÔ×ÏÒÑÀÝÉÍÕÓÌÏ×ÉÀ õ1), ÎÁÚÙ×ÁÅÔÓÑ -ÜÎÔÒÏÐÉÅÊ ÉÓÔÏÞÎÉËÁ (ÓÏÏÂÝÅÎÉÑ) .ïÐÒÅÄÅÌÅÎÉÅ 4. þÉÓÌÏCN = CN (PN ) , sup J (X1N ; Y1N );2)ÇÄÅ ×ÅÒÈÎÑÑ ÇÒÁÎØ ÂÅÒÅÔÓÑ ÐÏ ×ÓÅÍ ÒÁÓÐÒÅÄÅÌÅÎÉÑÍ p(xN1 ; y1N ), ÕÄÏ×ÌÅÔ×ÏÒÑÀÝÉÍ ÕÓÌÏ×ÉÀõ2), ÎÁÚÙ×ÁÅÔÓÑ ÐÒÏÐÕÓËÎÏÊ ÓÐÏÓÏÂÎÏÓÔØÀ ËÁÎÁÌÁ ÚÁ ×ÒÅÍÑ N .44.1.5 æÏÒÍÕÌÉÒÏ×ËÁ ÏÂÒÁÔÎÏÊ ÔÅÏÒÅÍÙ ûÅÎÎÏÎÁ÷ ÒÁÚÄÅÌÅ 4.2 ÂÕÄÕÔ ÉÓÓÌÅÄÏ×ÁÎÙ Ó×ÏÊÓÔ×Á ÉÎÆÏÒÍÁÃÉÉ, ÕÓÌÏ×ÎÏÊ ÉÎÆÏÒÍÁÃÉÉ, Á ÔÁËÖÅÓ×ÑÚÁÎÎÏÇÏ Ó ÎÉÍÉ ÐÏÎÑÔÉÑ ÜÎÔÒÏÐÉÉ. ó ÐÏÍÏÝØÀ ÄÁÎÎÙÈ Ó×ÏÊÓÔ× × ÜÔÏÍ ÖÅ ÒÁÚÄÅÌÅ 4.2ÂÕÄÕÔ ÄÏËÁÚÁÎÙ ÔÅÏÒÅÍÙ 1 − 3.ôÅÏÒÅÍÁ 1.
(ôÅÏÒÅÍÁ ÐÅÒÅÒÁÂÏÔËÉ ÄÁÎÎÙÈ). åÓÌÉ ÓÕÝÅÓÔ×ÕÅÔ ÍÅÔÏÄ ÐÅÒÅÄÁÞÉ ÓÏÏÂÝÅÎÉÑ ÐÏ ÄÉÓËÒÅÔÎÏÍÕ ËÁÎÁÌÕ Ó×ÑÚÉ ÚÁ ×ÒÅÍÑ N Ó ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ ≤ , ÔÏÎÅÏÂÈÏÄÉÍÏ, ÞÔÏÂÙ J ( ; ~) ≤ J (X1N ; Y1N ); Ô.Å. ÎÅÏÂÈÏÄÉÍÏ ×ÙÐÏÌÎÅÎÉÅ ÎÅÒÁ×ÅÎÓÔ×ÁH () ≤ CN (PN ) :ôÅÏÒÅÍÁ 2. äÌÑ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚ ÐÁÍÑÔÉ (äëâð) ÐÒÏÐÕÓËÎÁÑ ÓÐÏÓÏÂÎÏÓÔØCN = CN (PN ) = N C1 ;ÇÄÅ C1 = C1 (P) | ÐÒÏÐÕÓËÎÁÑ ÓÐÏÓÏÂÎÏÓÔØ ÎÁ ÅÄÉÎÉÃÕ ×ÒÅÍÅÎÉ.ôÅÏÒÅÍÁ 3. åÓÌÉ ÐÅÒÅÄÁ×ÁÅÍÏÅ ÓÏÏÂÝÅÎÉÅ ÉÍÅÅÔ ÒÁ×ÎÏÍÅÒÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ , Ô.Å.p(u) = M −1 ÐÒÉ u ∈ [M ], ÔÏH () ≥ (1 − ) ln M − ln 2 :äÌÑ äëâð ÉÚ ÔÅÏÒÅÍ 1 − 3 ÓÌÅÄÕÅÔôÅÏÒÅÍÁ 4 (îÉÖÎÑÑ ÇÒÁÎÉÃÁ ×ÅÒÏÑÔÎÏÓÔÉ ÏÛÉÂËÉ).
ðÕÓÔØ ÓÏÏÂÝÅÎÉÅ ÉÍÅÅÔ ÒÁ×ÎÏ-ÍÅÒÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ ÎÁ [M ] Á M = dexp{RN }e, ÇÄÅ R > 0 - ÆÉËÓÉÒÏ×ÁÎÎÙÊ ÐÁÒÁÍÅÔÒÎÁÚÙ×ÁÅÍÙÊ ÓËÏÒÏÓÔØÀ ÐÅÒÅÄÁÞÉ. ðÕÓÔØ ÓÕÝÅÓÔ×ÕÅÔ ÍÅÔÏÄ ÐÅÒÅÄÁÞÉ ÐÏ äëâð Ó ÐÒÏÐÕÓËÎÏÊ ÓÐÏÓÏÂÎÏÓÔØÀ C1 É Ó ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ ≤ = N . ôÏÇÄÁ ÎÅÏÂÈÏÄÉÍÏ ×ÙÐÏÌÎÅÎÉÅ ÎÅÒÁ×ÅÎÓÔ×ÁC + ln 2=N: = N ≥ 1 − 1RéÚ ÔÅÏÒÅÍÙ 4 ×ÙÔÅËÁÅÔ ×ÁÖÎÏÅóÌÅÄÓÔ×ÉÅ. (ïÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ) åÓÌÉ ÓËÏÒÏÓÔØ ÐÅÒÅÄÁÞÉ ÂÏÌØÛÅ ÐÒÏÐÕÓËÎÏÊÓÐÏÓÏÂÎÏÓÔÉ äëâð, Ô.Å. ÅÓÌÉ R > C1 , ÔÏ ÐÒÉ N → ∞ ×ÅÒÏÑÔÎÏÓÔØ ÏÛÉÂËÉ ÌÀÂÏÇÏÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ N 6→ 0.äÏËÁÚÁÔÅÌØÓÔ×Ï ÔÅÏÒÅÍÙ 4.
éÚ ÔÅÏÒÅÍ 1 − 3 ÓÌÅÄÕÅÔ, ÞÔÏ ÐÁÒÁÍÅÔÒÙ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ (M; ; C1 ; N ) ÕÄÏ×ÌÅÔ×ÏÒÑÀÔ ÎÅÒÁ×ÅÎÓÔ×Õ (1 − ) ln M − ln 2 ≤ NC1 , ËÏÔÏÒÏÅ × ÓÉÌÕÏÐÒÅÄÅÌÅÎÉÑ ÓËÏÒÏÓÔÉ R ÏÚÎÁÞÁÅÔ(1 − )RN − ln 2 ≤ NC1 ;ÞÔÏ ÒÁ×ÎÏÓÉÌØÎÏ ÎÅÒÁ×ÅÎÓÔ×Õ × ÔÅÏÒÅÍÅ 4.54.2 ó×ÏÊÓÔ×Á ÉÎÆÏÒÍÁÃÉÉ É ÜÎÔÒÏÐÉÉ4.2.1 õÓÌÏ×ÎÁÑ ÜÎÔÒÏÐÉÑ É ÕÓÌÏ×ÎÁÑ ÉÎÆÏÒÍÁÃÉÑ÷×ÅÄÅÍ ÓÌÅÄÕÀÝÉÅ ÐÏÎÑÔÉÑ:H (X ) , −Pp(x) ln p(x) − ÜÎÔÒÏÐÉÑ;x PH (X ; Y ) , −H (Y |X ) , −xyPxyp(x; y) ln p(x; y) − ÓÏ×ÍÅÓÔÎÁÑ ÜÎÔÒÏÐÉÑ;p(x; y) ln p(y|x) − ÕÓÌÏ×ÎÁÑ ÜÎÔÒÏÐÉÑ:ó ÐÏÍÏÝØÀ ÜÔÉÈ ×ÅÌÉÞÉÎ ÍÏÖÎÏ ÚÁÐÉÓÁÔØ ÏÐÒÅÄÅÌÅÎÉÅ ÉÎÆÏÒÍÁÃÉÉ × ×ÉÄÅ:J (X ; Y ) = H (Y ) − H (Y |X ) = H (X ) − H (X |Y ) == H (X ) + H (Y ) − H (X ; Y ) =PP)= p(x; y) ln pp(y(y|x)) = p(x; y) ln pp(x(x;y)p(y) ;xy(1)xyÁ ÔÁËÖÅ ÏÐÒÅÄÅÌÅÎÉÅ ÕÓÌÏ×ÎÏÊ ÉÎÆÏÒÍÁÃÉÉ × ×ÉÄÅ:J (X ; Y |Z ) = H (Y |Z ) − H (Y |X; Z ) =P)= H (X |Z ) − H (X |Y; Z ) = p(x; y; z ) ln pp(x(x|y;z|z ) ==Pxyzxyz|z )p(x; y; z ) ln p(xp(|zx;y:)p(y|z )(2)ðÕÓÔØ |X | ÏÂÏÚÎÁÞÁÅÔ ÞÉÓÌÏ ×ÏÚÍÏÖÎÙÈ ÚÎÁÞÅÎÉÊ ×ÅÌÉÞÉÎÙ X .
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
