2. Передача дискретных сообщений по двоичному каналу связи (1107641), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

…±«¨ ¯°¨¤¥ª®¤¨°®¢ ­¨¨ ¯® ¬¨­¨¬³¬³° ±±²®¿­¨¿ ¯°®¨§®¸« ®¸¨¡ª , ²® ½²® ®§­ · ¥², ·²® ¢ ª ­ «¥P¯°®¨§®¸«® ±®¡»²¨¥ Ni zi = jzj N=2. ‘«¥¤®¢ ²¥«¼­®, ¤«¿ «¾¡®£® m = 1; 2 ³±«®¢­ ¿¢¥°®¿²­®±²¼ ®¸¨¡ª¨=1Pm(X ) = PrNXi!zi N=2 ==1‡ ¤ · 2.1.NXi N==CNi pi (1 ; p)N ;i:2‚®±¯®«¼§®¢ ¢¸¨±¼ § ª®­®¬ ¡®«¼¸¨µ ·¨±¥«, ¤®ª ¦¨²¥, ·²®lim P (X ) = 0;N !1 m¥±«¨ 0 < p < 1=2.‡ ¤ · 2.2.

³±²¼ s; 1 s N , | ¶¥«®¥ ·¨±«®, ¨ ¢ ª®¤¥ X = x(1); x(2) , ±®±²®¿¹¥¬¨§ ¤¢³µ ±«®¢, ° ±±²®¿­¨¥ ¬¥¦¤³ ±«®¢ ¬¨ x(1); x(2) = s. „®ª ¦¨²¥, ·²® ¯°¨ ¯¥°¥¤ ·¥¯® „‘Š ± ¨±¯®«¼§®¢ ­¨¥¬ Œ-¤¥ª®¤¨°®¢ ­¨¿ ³±«®¢­ ¿ ¢¥°®¿²­®±²¼ ®¸¨¡ª¨Pm(X ) =sXi bs= c=Csipi(1 ; p)s;i :2‚¢¥¤¥¬ ´³­ª¶¨¾ ¯ ° ¬¥²° x; 0 < x < 1;h(x) = ;x log x ; (1 ; x) log(1 ; x);ª®²®°³¾ ¢ ¤ «¼­¥©¸¥¬ ¡³¤¥¬ ­ §»¢ ²¼ ¤¢®¨·­®© ½­²°®¯¨¥©.6°®¢¥°¼²¥, ·²® h(x) | ¢»¯³ª« ¢¢¥°µ, ±¨¬¬¥²°¨·­ ®²­®±¨²¥«¼­® x =1=2, ¤®±²¨£ ¥² ¬ ª±¨¬³¬ ¯°¨ x = 1=2; h(1=2) = log 2 ¨ ± ¯®¬®¹¼¾ ¨§¢¥±²­®© ´®°¬³«»‘²¨°«¨­£ log N ! = N log Ne + 21 log(2N ) + o(N );£¤¥ 0 < o(N ) < log e=12N , ¤®ª ¦¨²¥, ·²® ¯°¨ «¾¡®¬ ´¨ª±¨°®¢ ­­®¬ x; 0 < x < 1,‡ ¤ · 2.3.noCNbNxc exp Nh(x)¨ ±³¹¥±²¢³¥²limN !1‡ ¬¥· ­¨¥.«¨­£ , ¨¬¥¾² ¢¨¤log CNbNxcN= h(x):®«¥¥ ²®·­»¥ ®¶¥­ª¨, ³±² ­ ¢«¨¢ ¥¬»¥ ± ¯®¬®¹¼¾ ­¥° ¢¥­±²¢ ‘²¨°r n C j exp ;nh jn8j (n ; j )nr 2j (nn ; j ) :„«¿ ´¨ª±¨°®¢ ­­»µ 0 < p < x < 1 ®¯°¥¤¥«¨¬ ¢¥«¨·¨­³QN (p; x) = Pr(NXi)zi > xN ==1NXi bxN cCNi pi (1 ; p)N ;i;=ª®²®° ¿ ­ §»¢ ¥²±¿ ¢¥°®¿²­®±²¼¾ ¡®«¼¸¨µ ³ª«®­¥­¨© ¤«¿ ¨±¯»² ­¨© ¥°­³««¨.‡ ¤ · 2.4.

ˆ±¯®«¼§³¿ °¥§³«¼² ² § ¤ ·¨ 2.2, ¤®ª ¦¨²¥ ±«¥¤³¾¹³¾ ²¥®°¥¬³, ª®²®° ¿­ §»¢ ¥²±¿ ²¥®°¥¬®© ® ¡®«¼¸¨µ ³ª«®­¥­¨¿µ (’“) ¤«¿ ¨±¯»² ­¨© ¥°­³««¨:’“. …±«¨ 0 < p < x < 1, ²® ±³¹¥±²¢³¥²lim ; log QN (p; x) = T (x) ; h(x);N !1£¤¥ ´³­ª¶¨¿pNTp(x) = ;x log p ; (1 ; x) log(1 ; p); 0 < x < 1;®¯¨±»¢ ¥² ³° ¢­¥­¨¥ ª ± ²¥«¼­®© ª ¢»¯³ª«®© ¢¢¥°µ ´³­ª¶¨¨ h(x) ¢ ²®·ª¥ x = p.7Š ª ±«¥¤±²¢¨¥ ’“ ¯®«³· ¥¬ ±¢®©±²¢® ½ª±¯®­¥­¶¨ «¼­®© ±ª®°®±²¨ ±µ®¤¨¬®±²¨ ª ­³«¾³±«®¢­®© ¢¥°®¿²­®±²¨ ®¸¨¡ª¨ Pm (X ) ¢ § ¤ ·e 2.1, ¨¬¥­­®: ±³¹¥±²¢³¥²; log Pm(X ) = T (1=2) ; h(1=2) = 1 log 1 :limpN !1N2 4p(1 ; p)‘«³· © Š˜, Œ=2, 1= x(1) x(2) | ª®¤ ±2.4.2³±²¼ Xs N.;‡ ¤ · 2.5.®¸¨¡ª¨ t N=2¤¢³¬¿ ±«®¢ ¬¨ ± ° ±±²®¿­¨¥¬ (x(1); x(2)) = s, £¤¥ 1 „®ª ¦¨²¥, ·²® ¤«¿ Š˜ ¯°¨ Œ-¤¥ª®¤¨°®¢ ­¨¨ ³±«®¢­ ¿ ¢¥°®¿²­®±²¼s= t;s=Pmt (X ) = Cs CCtN ;sN2( )2(; m = 1; 2;Cab def=ab a;b!!()!0;; 0 b a ; ¶¥«»¥ ·¨±« ;¢ ®±² «¼­»µ ±«³· ¿µ; ³±«®¢­ ¿ ¢¥°®¿²­®±²¼ ®¸¨¡ª¨ ¯°¨ Œ-¤¥ª®¤¨°®¢ ­¨¨8<Pm(X ) = :“ª § ­¨¥.is=2CNt0;; ¥±«¨ t s ;¥±«¨ t < s ;2m = 1; 2:2¥ ­ °³¸ ¿ ®¡¹­®±²¨ ¬®¦­® ±·¨² ²¼, ·²®x(1) =2.5Pmin(t;s) Csi CNt;;is(0; 0; : : :; 0);x(2) =:::; }0):(1| ; 1;{z: : :; 1}; 0| ; {zsN ;s’¥®°¥¬ ˜¥­­®­ ¤«¿ Š˜‹¥£ª® ¯®­¿²¼, ·²® ¤«¿ ª ­ « ± ° ¢­®¢¥±­»¬ ¸³¬®¬ (Š˜), § ¤ ¢ ¥¬®£® ¯ ° ¬¥²°®¬t; 1 t < N , ´®°¬³«» (1) | (3), ®¯¨±»¢ ¾¹¨¥ ¢¥°®¿²­®±²¼ ®¸¨¡ª¨ P t (X ), ¤«¿ ¬¿£ª®£®Œ-¤¥ª®¤¨°®¢ ­¨¿ ¬®£³² ¡»²¼ § ¯¨± ­» ¢ ¢¨¤¥( )MXP t (X ) = M1( )Pmt (X ) =( )8<mt (X; y) = :( )XyPNt( )m=1Pmt (X );(1)( )j m) mt (X; y);y x((2)( )1; ¥±«¨ ±³¹¥±²¢³¥² m0 6= m ¤«¿ ª®²®°®£® x(m0);y = t;0; ¥±«¨ ¤«¿ «¾¡®£® m0 6= m ° ±±²®¿­¨¥ x(m0); y 6= t:(3)(CNt ); ; ¥±«¨ (x; y) = t;(4)0;¥±«¨ (x; y) 6= t:³±²¼ R > 0; 0 < p < 1=2, | ´¨ª±¨°®¢ ­­»¥ ¯ ° ¬¥²°», ² ª¨¥, ·²® ¯°¨ § ¤ ­­®©¤«¨­¥ ª®¤ NlmM def= expfRN g ; t def= bpN c:(5)PNt (yjx) =( )18‚¢¥¤¥¬EN (p; R) = minP t (X );(6)X£¤¥ ¬¨­¨¬³¬ ¢¥°®¿²­®±²¨ ®¸¨¡ª¨ P t (X ) ¡¥°¥²±¿ ¯® ¢±¥¢®§¬®¦­»¬ (N; R)-ª®¤ ¬ X ¤«¨­»N .

—¨±«® EN (p; R) ­ §»¢ ¥²±¿ ¢¥°®¿²­®±²¼¾ ®¸¨¡ª¨ ®¯²¨¬ «¼­®£® (­ ¨«³·¸¥£®) (N; R)( )( )ª®¤ , ª®£¤ ¸³¬ ¢ Š˜ ®¯°¥¤¥«¿¥²±¿ ¯ ° ¬¥²°®¬ p; 0 < p < 1=2.®«®¦¨¬C = log 2 ; h(p):(7)‡ ¬¥²¨¬, ·²® ·¨±«® C > 0 ¯°¨ 0 < p < 1=2. ‚¥°µ­¾¾ ®¶¥­ª³ ¢¥«¨·¨­» EN (p; R) ³±² ­ ¢«¨¢ ¥²’¥®°¥¬ ˜¥­­®­ . „«¿ «¾¡®£® R > 0; 0 < p < 1=2noEN (p; R) exp ;N (C ; R) :ˆ§ ®¶¥­ª¨ (8) ¢»²¥ª ¥²‘«¥¤±²¢¨¥. (°¿¬ ¿ ²¥®°¥¬ ˜¥­­®­ ).(8)…±«¨ 0 < R < C , ²® ±³¹¥±²¢³¥²lim E (p; R) = 0:N !1 N‡ ¬¥· ­¨¥.¦¤ ¥², ·²®„ «¥¥ (±¬.x5) ¡³¤¥² ¤®ª § ­ ®¡° ²­ ¿ ²¥®°¥¬ ˜¥­­®­ , ª®²®° ¿ ³²¢¥°-C;limN !1 EN (p; R) 1 ; R ¯®²®¬³ ¯°¨ R > C ¢¥«¨·¨­ EN (p; R) 6! 0 ¯°¨ N ! 1.

°¿¬ ¿ ¨ ®¡° ²­ ¿ ²¥®°¥¬»˜¥­­®­ ®¯° ¢¤»¢ ¾² ­ §¢ ­¨¥ ·¨±« C | ¯°®¯³±ª­®© ±¯®±®¡­®±²¼¾ Š˜, ³¤®¢«¥²¢®°¿¾¹¥£® (5).„®ª § ²¥«¼±²¢® ²¥®°¥¬» ˜¥­­®­ . ³¤¥¬ ¨±¯®«¼§®¢ ²¼ ¬¥²®¤ ¤®ª § ²¥«¼±²¢ ²¥®°¥¬ ±³¹¥±²¢®¢ ­¨¿, ª®²®°»© ¯°¨¤³¬ « ˜¥­­®­ ¨ ­ §¢ « ¬¥²®¤®¬ ±«³· ©­®£® ª®¤¨°®¢ ­¨¿.  ±±¬®²°¨¬ ­± ¬¡«¼, ±®±²®¿¹¨© ¨§ ¢±¥µ 2NM ª®¤®¢ X ¤«¨­» N ¨ ®¡º¥¬ M.‚¢¥¤¥¬ ° ¢­®¬¥°­®¥ ° ±¯°¥¤¥«¥­¨¥ ¢¥°®¿²­®±²¥© Q(X ) ­ ½²®¬ ­± ¬¡«¥, ².¥. ¤«¿ «¾¡®£®X ®¯°¥¤¥«¨¬defQ(X ) = 2;NM ; X = x(1); x(2); : : :; x(M ) :°¨ ½²®¬ ª®¤®¢»¥ ±«®¢ x(m) ¡³¤³² ­¥§ ¢¨±¨¬»¬¨ ±«³· ©­»¬¨ ¢¥«¨·¨­ ¬¨ ± ®¤­¨¬ ¨²¥¬ ¦¥ ° ±¯°¥¤¥«¥­¨¥¬QN (x) def= 2 ;N ;xX) =Q(= (x ; x ; : : :; xN ) 2 (0; 1)N1MYm2QN x(m) :(9)=1‚® ¢¢¥¤¥­­®¬ ­± ¬¡«¥ ª®¤®¢ ³±«®¢­»¥ ¢¥°®¿²­®±²¨ ®¸¨¡ª¨ Pmt (X ); m = 1; M , ¨ ¢¥°®¿²­®±²¨ ®¸¨¡ª¨ P t (X ) ¿¢«¿¾²±¿ ±«³· ©­»¬¨ ¢¥«¨·¨­ ¬¨ (´³­ª¶¨¿¬¨, ®¯°¥¤¥«¥­­»¬¨ ­ ( )( )9½«¥¬¥­² µ X ­± ¬¡«¿).

Ž¡®§­ ·¨¬ ·¥°²®© ±¢¥°µ³ P t (X ); Pmt (X ); m = 1; M , ³±°¥¤­¥­¨¥(¬ ²¥¬ ²¨·¥±ª®¥ ®¦¨¤ ­¨¥) ¯® ­± ¬¡«¾. ˆ§ (1) ±«¥¤³¥², ·²®( )( )MXP t (X ) = M1( )mPmt (X ):(10)( )=1ˆ¬¥¥² ¬¥±²®‹¥¬¬ . „«¿ «¾¡®£® m = 1; MPmt (X ) = 1 ;t M ;CN:1 ; 2N1(11)°¥¦¤¥, ·¥¬ ¤®ª §»¢ ²¼ «¥¬¬³, ¯®ª ¦¥¬, ª ª ± ¥¥ ¯®¬®¹¼¾ ³±² ­ ¢«¨¢ ¥²±¿ £° ­¨¶ (8) ²¥®°¥¬» ˜¥­­®­ . ˆ§ (10) ¨ (11) ±«¥¤³¥²Pt (X ) = 1 ;( )t M ;tCN1 ; 2N (M ; 1) C2NN ;1(12)£¤¥ ¯®±«¥¤­¥¥ ­¥° ¢¥­±²¢® ¢»²¥ª ¥² ¨§ ¨§¢¥±²­®£® ­¥° ¢¥­±²¢ ¥°­³««¨ (1+ x)n 1+ nx,¥±«¨ x ;1. ¥° ¢¥­±²¢® (12) ®§­ · ¥² ±³¹¥±²¢®¢ ­¨¥ ª®¤ X ®¡º¥¬ M , ¤«¨­» N ,¢¥°®¿²­®±²¼ ®¸¨¡ª¨ ª®²®°®£®tP t (X ) (M ; 1) C2NN :( )®½²®¬³, ±®£« ±­® ®¯°¥¤¥«¥­¨¾ (6), ®¯²¨¬ «¼­ ¿ ¢¥°®¿²­®±²¼ ®¸¨¡ª¨tlEN (p; R) (M ; 1) C2NN ;m(13)£¤¥ M = expfNRg ; t = bpN c.

‚ § ¤ ·¥ 2.2 ¯®ª § ­®, ·²®noCNbpN c exp Nh(p) :(14)®±ª®«¼ª³ M ; 1 expfNRg, ²® ¨§ (13) ¨ (14) ¢»²¥ª ¥² ¤®ª §»¢ ¥¬®¥ ­¥° ¢¥­±²¢® (8).„«¿ § ¢¥°¸¥­¨¿ ¢»¢®¤ ²¥®°¥¬» ˜¥­­®­ ¯°¨¢¥¤¥¬„®ª § ²¥«¼±²¢® «¥¬¬». ³±²¼ Xm ®¡®§­ · ¥² ¯®¤ª®¤ ª®¤ X , ±®±²®¿¹¨© ¨§ ¢±¥µ±«®¢ X , § ¨±ª«¾·¥­¨¥¬ x(m). —¨±«® ±«®¢ Xm ° ¢­® M ; 1.

‘®£« ±­® ®¯°¥¤¥«¥­¨¾ (2),¨¬¥¥¬( )=Px(m)Pmt (X ) = Py PX Q(X )PNt yjx(m) mt (X; y) = PPQtt0y QN x(m) PN yjx(m)Xm m0 6 m QN x(m ) m (X; y)( )( )( )( )(15)=„«¿ ´¨ª±¨°®¢ ­­®£® y 2 (0; 1)N ¢¢¥¤¥¬ ±®¡»²¨¿At( )y(m0) =x(m0) :10x(m0); y = t;(16)£¤¥ m0 = 1; M; m0 6= m. ®±ª®«¼ª³ µ ° ª²¥°¨±²¨·¥±ª ¿ ´³­ª¶¨¿ (3) ¯°¨­¨¬ ¥² ¢±¥£® ¤¢ §­ ·¥­¨¿ 0 ¨ 1, ²® ¥¥ ³±°¥¤­¥­¨¥X YXm m0 6 mQN x(m0)mt (X; y) = Q( )n [=m0 6 moAyt (m0)( );(17)=£¤¥ ¢®±¯®«¼§®¢ «¨±¼ ²¥¬, ·²® µ ° ª²¥°¨±²¨·¥±ª ¿´³­ª¶¨¿ mt (X; y ) ¿¢«¿¥²±¿, ¯® ®¯°¥¤¥S«¥­¨¾, ¨­¤¨ª ²®°®¬ ±®¡»²¨¿ m0 6 m Ayt (m0). ‘¨¬¢®« Qf:g ¨±¯®«¼§³¥²±¿ ¤«¿ ®¡®§­ ·¥­¨¿¢¥°®¿²­®±²¨ ±®¡»²¨¿ ¢ ­± ¬¡«¥.‚ ±¨«³ ­¥§ ¢¨±¨¬®±²¨ ª®¤®¢»µ ±«®¢ x(m0), ±®¡»²¨¿ (16) ¿¢«¿¾²±¿ ¢§ ¨¬­® ­¥§ ¢¨±¨¬»¬¨ ¨, ª°®¬¥ ²®£®, ¤«¿ «¾¡®£® m0 6= m ¢¥°®¿²­®±²¼( )( )=tA m0) = C2NNn(t)Qy (o¤«¿ «¾¡®£® y = (y ; : : :; yN ) 2 (0; 1)N .

®½²®¬³ ¤«¿ ¢¥°®¿²­®±²¨ ®¡º¥¤¨­¥­¨¿ M ; 1 ­¥§ ¢¨±¨¬»µ ±®¡»²¨© ¨¬¥¥¬1n [Qm0 6 moA t (m0)( )y=t M ;CN= 1 ; 1 ; 2N1(18)¤«¿ «¾¡®£® y 2 (0; 1)N . “²¢¥°¦¤¥­¨¥ «¥¬¬», ².¥. ° ¢¥­±²¢® (11), ¿¢«¿¥²±¿ ±«¥¤±²¢¨¥¬ (15),(17) ¨ (18).‹¥¬¬ ¤®ª § ­ .‡ ¤ · 2.6.  ±±¬®²°¨¬ ¬®¤¨´¨ª ¶¨¾ Š˜, ª®£¤ ¯°¨ ¯¥°¥¤ ·¥ ¤«¨­» N ¯¥°¥µ®¤­ ¿¢¥°®¿²­®±²¼Pti(x; y) t;PN (yjx) = 10=; i CN ; ¥±«¨(19)¥±«¨ (x; y) > t:=0£¤¥ t; 1 t < N=2, | ¶¥«®¥ ·¨±«®. „®ª ¦¨²¥, ·²® ¤«¿ ² ª®£® ª ­ « ±°¥¤­¥¥ ¯® ­± ¬¡«¾ª®¤®¢ ®¡º¥¬ M ¨ ¤«¨­» N ¢¥°®¿²­®±²¼ ®¸¨¡ª¨P (X ) = 1 ; 1 ;Pti=02NCNi!M ;1 (M ; 1)tXiCNi 2;N=0‘ ¯®¬®¹¼¾ ½²®£® ­¥° ¢¥­±²¢ ¨ °¥§³«¼² ² § ¤ ·¨ 2.4 ¤®ª ¦¨²¥, ·²® ¤«¿ ª ­ « (19)±¯° ¢¥¤«¨¢ ²¥®°¥¬ ˜¥­­®­ , ².¥.

¨¬¥¥² ¬¥±²® ­¥° ¢¥­±²¢® (8) ¨ ±¨¬¯²®²¨·¥±ª®¥ ±«¥¤±²¢¨¥ ¨§ ­¥£®.11.

Характеристики

Список файлов лекций