4. Обратная теорема Шеннона для дискретного канала связи (1107643), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

§2) ÌÏÇÁÒÉÆÍÉÞÅÓËÕÀ ÁÓÉÍÐÔÏÔÉËÕ ÂÉÎÏÍÉÁÌØÎÙÈ ËÏÜÆÆÉÃÉÅÎÔÏ×, ÉÚ ÇÒÁÎÉÃÙ ÄÌÑ ×ÅÒÏÑÔÎÏÓÔÉ ÏÛÉÂËÉ N ÐÏÌÕÞÁÅÍlim NN →∞≥1−C1;RC1 , ln 2 − h(p) :éÚ ÐÏÌÕÞÅÎÎÏÇÏ ÎÅÒÁ×ÅÎÓÔ×Á ×ÙÔÅËÁÅÔôÅÏÒÅÍÁ 5. (ïÂÒÁÔÎÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ ÄÌÑ ëòû.) åÓÌÉ R > C1 = ln 2 − h(p), ÔÏ×ÅÒÏÑÔÎÏÓÔØ ÏÛÉÂËÉ ÌÀÂÏÇÏ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ ÐÏ ëòû N 6→ 0 ÐÒÉ N → ∞.îÁÐÏÍÎÉÍ, ÞÔÏ × §2 ÂÙÌÁ ÄÏËÁÚÁÎÁ ÐÒÑÍÁÑ ÔÅÏÒÅÍÁ ûÅÎÎÏÎÁ ÄÌÑ ëòû, ËÏÔÏÒÁÑ ÕÔ×ÅÒÖÄÁÌÁ, ÞÔÏ ÐÒÉ R < C1 ÓÕÝÅÓÔ×ÕÅÔ ÍÅÔÏÄ ÐÅÒÅÄÁÞÉ Ó ×ÅÒÏÑÔÎÏÓÔØÀ ÏÛÉÂËÉ N → 0 ÐÒÉN → ∞. þÉÓÌÏCC1 = ln 2 − h(p) = lim NN →∞ NÎÁÚÙ×ÁÅÔÓÑ ÁÓÉÍÐÔÏÔÉÞÅÓËÏÊ ÐÒÏÐÕÓËÎÏÊ ÓÐÏÓÏÂÎÏÓÔØÀ ëòû ÎÁ ÅÄÉÎÉÃÕ ×ÒÅÍÅÎÉ.4.4 ðÒÏÐÕÓËÎÁÑ ÓÐÏÓÏÂÎÏÓÔØ ÄÉÓËÒÅÔÎÏÇÏ ËÁÎÁÌÁ ÂÅÚ ÐÁÍÑÔÉ(äëâð) ÐÒÉ ÎÁÌÉÞÉÉ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉóÈÅÍÁ ÐÅÒÅÄÁÞÉ ÄÉÓËÒÅÔÎÏÇÏ ÓÏÏÂÝÅÎÉÑ ÐÏ äëâð ÉÍÅÅÔ ×ÉÄ → X1N → Y1N → ~ = g(Y1N ) ; ÇÄÅ |ÐÅÒÅÄÁ×ÁÅÍÏÅ ÓÏÏÂÝÅÎÉÅ (ÓÏÏÂÝÅÎÉÅ ÎÁ ×ÈÏÄÅ), ∈ [M ],X1N = (X1 ; X2 ; : : : ; XN )|×ÈÏÄÎÏÊ ÓÉÇÎÁÌ, Xn = 0; K − 1,Y1N = (Y1 ; Y2 ; : : : ; YN )|×ÙÈÏÄÎÏÊ ÓÉÇÎÁÌ, Yn = 0; J − 1,N = 1; 2 : : :|×ÒÅÍÑ ÐÅÒÅÄÁÞÉ ÐÏ äëâð,~|ÐÒÉÎÑÔÏÅ ÓÏÏÂÝÅÎÉÅ (ÓÏÏÂÝÅÎÉÅ ÎÁ ×ÙÈÏÄÅ), ~ ∈ [M~ ].11(13)ïÐÒÅÄÅÌÅÎÉÅ äëâð ÏÚÎÁÞÁÅÔ, ÞÔÏ ÓÏ×ÍÅÓÔÎÏÅ ÒÁÓÐÒÅÄÅÌÅÎÉÅ p(u; xN1 ; y1N ; u~) ×ÅÌÉÞÉÎÉÚ (13), ÎÁÚÙ×ÁÅÍÏÅ ÍÅÔÏÄÏÍ ÐÅÒÅÄÁÞÉ, ÕÄÏ×ÌÅÔ×ÏÒÑÅÔ ÕÓÌÏ×ÉÀ ÏÔÓÕÔÓÔ×ÉÑ ÐÁÍÑÔÉ ÍÅÖÄÕËÏÍÐÏÎÅÎÔÁÍÉ ÐÁÒÙ (X1N ; Y1N ):p(y1N |xN1)=NYn=1p(yn |xn ); p(yn |xn ) = P (yn |xn ); n = 1; N;(14)ÇÄÅ P = kP (y|x)k, x = 0; K − 1, y = 0; J − 1, | ÍÁÔÒÉÃÁ ÐÅÒÅÈÏÄÎÙÈ ×ÅÒÏÑÔÎÏÓÔÅÊ äëâð.ïÔÓÕÔÓÔ×ÉÅ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ ÏÚÎÁÞÁÅÔ, ÞÔÏ X1N = FN ( ) É ( → X1N → Y1N )| ÃÅÐØíÁÒËÏ×Á, Ô.Å.N Np(y1N |xN1 ; u) = p(y1 |x1 ) =NYn=1p(yn |xn ) :(15)ðÏ ÏÐÒÅÄÅÌÅÎÉÀ, ÎÁÌÉÞÉÅ ÐÏÌÎÏÊ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ ÏÚÎÁÞÁÅÔ, ÞÔÏ ÕÓÌÏ×ÉÅ (15) ÚÁÍÅÎÑÅÔÓÑÎÁ ÓÌÅÄÕÀÝÅÅ ÕÓÌÏ×ÉÅ: Xn = fn ( ; Y1n−1 ); (; Y1n−1 → Xn → Yn )|ÃÅÐØ íÁÒËÏ×Á, Ô.Å.p(yn |xn ; y1n−1 ; u) = p(yn |xn ) ÉÌÉ H (Yn |Xn ; Y1n−1 ; ) = H (Yn |Xn ); n = 1; N:(16)îÅÐÒÏÔÉ×ÏÒÅÞÉ×ÏÓÔØ (Ó ÔÏÞËÉ ÚÒÅÎÉÑ ÚÄÒÁ×ÏÇÏ ÓÍÙÓÌÁ) ÏÐÒÅÄÅÌÅÎÉÊ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉÓ ÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ (16) É ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ ÂÅÚ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ (15) ÏÂßÑÓÎÑÅÔìÅÍÍÁ 1.

éÚ ÕÓÌÏ×ÉÑ (15)ÓÌÅÄÕÅÔ (16), Ô.Å. ÍÅÔÏÄ ÐÅÒÅÄÁÞÉ ÂÅÚ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉÑ×ÌÑÅÔÓÑ ÞÁÓÔÎÙÍ ÓÌÕÞÁÅÍ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ Ó ÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ.äÏËÁÚÁÔÅÌØÓÔ×Ï ÌÅÍÍÙ 1. úÁÆÉËÓÉÒÕÅÍ ÐÒÏÉÚ×ÏÌØÎÏÅ n = 1; N É ÐÒÏÓÕÍÍÉÒÕÅÍ (15)ÓÎÁÞÁÌÁ ÐÏ ynN+1 , Á ÚÁÔÅÍ ÐÏ ynN . ÷ ÒÅÚÕÌØÔÁÔÅ ÐÏÌÕÞÉÍ Ä×Á ÒÁ×ÅÎÓÔ×Áp(y1n |xN1 ; u) =nYi=1p(yi |xi ) ;p(y1n−1 |xN1 ; u) =nY−1i=1p(yi |xi ) :ðÏÄÅÌÉ× ÐÅÒ×ÏÅ ÒÁ×ÅÎÓÔ×Ï ÎÁ ×ÔÏÒÏÅ É ÐÒÉÍÅÎÉ× ÏÐÒÅÄÅÌÅÎÉÅ ÕÓÌÏ×ÎÏÊ ×ÅÒÏÑÔÎÏÓÔÉ, ÉÍÅÅÍp(y1n ; xN1 ; u) = p(y |x ):n nn−1 Np(y1 ; x1 ; u)óÌÅÄÏ×ÁÔÅÌØÎÏ, ÄÌÑ ÌÀÂÏÇÏ ÆÉËÓÉÒÏ×ÁÎÎÏÇÏ n = 1; N ÓÐÒÁ×ÅÄÌÉ×Ï ÒÁ×ÅÎÓÔ×Ïn−1 Np(yn ; y1n−1 ; xN1 ; u) = p(yn |xn ) · p(y1 ; x1 ; u):óÕÍÍÉÒÏ×ÁÎÉÅ ÐÏÓÌÅÄÎÉÈ ÒÁ×ÅÎÓÔ× ÐÏ xn1 −1 , Á ÚÁÔÅÍ | ÐÏ xNn+1 ÄÁÅÔp(yn ; y1n−1 ; xn ; u) = p(yn |xn ) · p(y1n−1 ; xn ; u); n = 1; NÞÔÏ ÒÁ×ÎÏÓÉÌØÎÏ (16).ìÅÍÍÁ 1 ÄÏËÁÚÁÎÁ.áÎÁÌÏÇÉÞÎÏ ÄÏËÁÚÙ×ÁÅÔÓÑìÅÍÍÁ 2.

éÚ ÕÓÌÏ×ÉÑ (14) ÓÌÅÄÕÅÔ, ÞÔÏ × äëâð ÔÒÏÊËÁ (Y1n−1 → Xn → Yn ) | ÃÅÐØíÁÒËÏ×Á, Ô.Å.p(yn |xn ; ynn−1 ) = p(yn |xn ) ÉÌÉ H (Yn |Xn ; Y1n−1 ) = H (Yn |Xn ); n = 1; N:12ðÏÜÔÏÍÕ, × ÓÉÌÕ Ó×ÏÊÓÔ×Á 7, ÕÓÌÏ×ÎÁÑ ÉÎÆÏÒÍÁÃÉÑJ (Xn ; Yn |Y1n−1 ) ≤ J (Xn ; Yn ); n = 1; N:éÍÅÅÔ ÍÅÓÔÏôÅÏÒÅÍÁ 6. äÌÑ äëâð ÓÌÕÞÁÊÎÙÅ ×ÅÌÉÞÉÎÙ × ÓÈÅÍÅ (13), (14) É (16) ÐÅÒÅÄÁÞÉ ÓÏÏÂ-ÝÅÎÉÑ Ó ÐÏÌÎÏÊ ÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ ÕÄÏ×ÌÅÔ×ÏÒÑÀÔ ÓÏÏÔÎÏÛÅÎÉÀJ ( ; ~) ≤NXn=1J (Xn ; Yn ) ;ÎÁÚÙ×ÁÅÍÏÍÕ ÎÅÒÁ×ÅÎÓÔ×ÏÍ ÐÅÒÅÒÁÂÏÔËÉ ÄÁÎÎÙÈ ÐÒÉ ÎÁÌÉÞÉÉ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ.éÚ ÔÅÏÒÅÍÙ 6 ×ÙÔÅËÁÅÔ, ÞÔÏ ×ÅÒÏÑÔÎÏÓÔØ ÏÛÉÂËÉ N ÌÀÂÏÇÏ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ Ó ÐÏÌÎÏÊÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ ÐÏ äëâð ÕÄÏ×ÌÅÔ×ÏÒÑÅÔ (ËÁË É ÐÒÉ ÏÔÓÕÔÓÔ×ÉÉ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ) ÎÅÒÁ×ÅÎÓÔ×ÕH (N ) ≤ N C1ðÏÜÔÏÍÕ ÉÚ ÒÁÓÓÕÖÄÅÎÉÊ, ÉÓÐÏÌØÚÏ×ÁÎÎÙÈ ÐÒÉ ÉÓÓÌÅÄÏ×ÁÎÉÉ ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ ÂÅÚ ÏÂÒÁÔÎÏÊÓ×ÑÚÉ, ÓÌÅÄÕÅÔ, ÞÔÏ ÐÒÉ ÐÅÒÅÄÁÞÅ ÒÁ×ÎÏ×ÅÒÏÑÔÎÙÈ ÓÏÏÂÝÅÎÉÊC + ln 2=NN ≥ 1 − 1RôÁËÉÍ ÏÂÒÁÚÏÍ, ÄÁÖÅ ÐÒÉ ÎÁÌÉÞÉÉ ÐÏÌÎÏÊ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ ÐÒÉ ÓËÏÒÏÓÔÉ ÐÅÒÅÄÁÞÉ R > C1×ÅÒÏÑÔÎÏÓÔØ ÏÛÉÂËÉ N 6→ 0 ÐÒÉ N → ∞.äÏËÁÚÁÔÅÌØÓÔ×Ï ÔÅÏÒÅÍÙ 6.

ëÁË É ÐÒÉ ×Ù×ÏÄÅ ÔÅÏÒÅÍÙ ÐÅÒÅÒÁÂÏÔËÉ ÄÁÎÎÙÈ ÐÒÉÏÔÓÕÔÓÔ×ÉÉ ÏÂÒÁÔÎÏÊ Ó×ÑÚÉ, ÍÏÖÅÍ ÎÁÐÉÓÁÔØ~ Y1N ) = J ( ; Y1N ) :J ( ; ^) ≤ J ( ; ;ðÒÉÍÅÎÉ× ÃÅÐÎÏÅ ÐÒÁ×ÉÌÏ Ó×ÏÊÓÔ×Á 3, ÉÍÅÅÍJ ( ; ^) ≤NXn=1J ( ; Yn |Y1n−1 ) :äÁÌÅÅ, ÍÙ ÐÏËÁÖÅÍ, ÞÔÏ ÐÒÉ n = 1; N ÉÎÆÏÒÍÁÃÉÑJ ( ; Yn |Y1n−1 ) ≤ J (Xn ; Yn ) ;(17)ÏÔËÕÄÁ ×ÙÔÅËÁÅÔ ÄÏËÁÚÙ×ÁÅÍÏÅ ÎÅÒÁ×ÅÎÓÔ×Ï.ðÒÉÍÅÎÑÑ ÐÏÏÞÅÒÅÄÎÏ Ó×ÏÊÓÔ×Ï 5, Ó×ÏÊÓÔ×Ï 2 É ÌÅÍÍÕ 2, ÉÍÅÅÍJ ( ; Yn |Y1n−1 ) ≤ J (; Xn ; Yn |Y1n−1 ) = J (Xn ; Yn |Y1n−1 ) + J ( ; Yn |Y1n−1 ; Xn ) ≤≤ J (Xn ; Yn ) + J ( ; Yn |Xn ; Y1n−1 ) :òÁÓÓÍÏÔÒÉÍJ ( ; Yn |Xn ; Y1n−1 ) = H (Yn |Xn ; Y1n−1 ) − H (Yn |Xn ; Y1n−1 ; ) == H (Yn |Xn ) − H (Yn |Xn ) = 0 ;ÇÄÅ ÓÎÁÞÁÌÁ ×ÏÓÐÏÌØÚÏ×ÁÌÉÓØ ÆÏÒÍÕÌÏÊ (2) ÄÌÑ ÏÐÒÅÄÅÌÅÎÉÑ ÕÓÌÏ×ÎÏÊ ÉÎÆÏÒÍÁÃÉÉ Ó ÐÏÍÏÝØÀ ÕÓÌÏ×ÎÏÊ ÜÎÔÒÏÐÉÉ, Á ÚÁÔÅÍ ÕÞÌÉ ÌÅÍÍÕ 2 É ÏÐÒÅÄÅÌÅÎÉÅ (16) ÍÅÔÏÄÁ ÐÅÒÅÄÁÞÉ ÓÏÂÒÁÔÎÏÊ Ó×ÑÚØÀ.

óÌÅÄÏ×ÁÔÅÌØÎÏ, ÓÐÒÁ×ÅÄÌÉ×Ï (17).ôÅÏÒÅÍÁ 6 ÄÏËÁÚÁÎÁ.13.

Характеристики

Список файлов лекций