IT8 (1108256), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

åÓÌÉ ×ÍÅÓÔÏ ÌÏÇ-ÏÐÔÉÍÁÌØÎÏÇÏ ÐÏÒÔÆÅÌÑ b∗ (F ) ÉÓÐÏÌØÚÕÅÔÓÑ ÌÏÇ-ÏÐÔÉÍÁÌØÎÙÊ ÐÏÒÔÆÅÌØ b∗ (G), ÄÌÑ ÄÒÕÇÏÇÏ ÒÁÓÐÒÅÄÅÌÅÎÉÑ G = G(x) Ó ÐÌÏÔÎÏÓÔØÀ g = g(x), ÔÏ ÓÏÏÔ×ÅÔÓÔ×ÕÀÝÁÑ ÐÏÔÅÒÑ ÓËÏÒÏÓÔÉ ÕÄ×ÏÅÎÉÑW = W (b∗ (F ); F ) − W (b∗ (G); F )ÕÄÏ×ÌÅÔ×ÏÒÑÅÔ ÎÅÒÁ×ÅÎÓÔ×ÕW≤ D(f kg ) =Z16f (x) log2f (x)dx;g(x)ÐÒÁ×ÁÑ ÞÁÓÔØ ËÏÔÏÒÏÇÏ D(f kg) ÐÒÅÄÓÔÁ×ÌÑÅÔ ÓÏÂÏÊ ÒÁÓÓÔÏÑÎÉÅÍ ëÕÌØÂÁËÁ ÍÅÖÄÕ ÒÁÓÐÒÅÄÅÌÅÎÉÑÍÉ F É G.2. ðÕÓÔØ ÓÌÕÞÁÊÎÁÑ ×ÅÌÉÞÉÎÁ Y , ÎÁÚÙ×ÁÅÍÁÑ ÄÏÐÏÌÎÉÔÅÌØÎÙÍÉ Ó×ÅÄÅÎÉÑÍÉ Ï ÒÙÎËÅÃÅÎÎÙÈ ÂÕÍÁÇ X, Ó×ÑÚÁÎÁ Ó X ÓÏ×ÍÅÓÔÎÏÊ ÐÌÏÔÎÏÓÔØÀ ÒÁÓÐÒÅÄÅÌÅÎÉÑ f (x; y), ËÏÔÏÒÁÑ ÓÞÉÔÁÅÔÓÑ ÉÚ×ÅÓÔÎÏÊ ÉÎ×ÅÓÔÏÒÕ. ïÔÍÅÔÉÍ, ÞÔÏ ÍÁÒÇÉÎÁÌØÎÙÅ ÐÌÏÔÎÏÓÔÉ f (x), f (y) É ÕÓÌÏ×ÎÁÑÐÌÏÔÎÏÓÔØ f (x|Y = y) ×ÙÞÉÓÌÑÀÔÓÑ ÐÏ ÐÌÏÔÎÏÓÔÉ ÓÏ×ÍÅÓÔÎÏÇÏ ÒÁÓÐÒÅÄÅÌÅÎÉÑ:f (x) =Zf (x; y) dy; f (y) =Zf (x; y) dx; f (x|Y = y) =f (x; y):f (y)÷ ÎÁÞÁÌÅ ÄÎÑ ÉÎ×ÅÓÔÏÒÕ ÓÏÏÂÝÁÅÔÓÑ ÚÎÁÞÅÎÉÅ ÓÌÕÞÁÊÎÏÊ ×ÅÌÉÞÉÎÙ Y = y É ÏÎ × ÜÔÏÔ ÄÅÎØ×ÍÅÓÔÏ ÌÏÇ-ÏÐÔÉÍÁÌØÎÏÇÏ ÐÏÒÔÆÅÌÑ ÄÌÑ ÐÌÏÔÎÏÓÔÉ f (x) ÐÒÉÍÅÎÑÅÔ ÌÏÇ-ÏÐÔÉÍÁÌØÎÙÊ ÐÏÒÔÆÅÌØ ÄÌÑ ÐÌÏÔÎÏÓÔÉ f (x|Y = y).

ïÂÏÚÎÁÞÉÍ ÞÅÒÅÚ WY =y Õ×ÅÌÉÞÅÎÉÅ ÓËÏÒÏÓÔÉ ÕÄ×ÏÅÎÉÑ,ËÏÔÏÒÏÇÏ ÉÎ×ÅÓÔÏÒ ÄÏÓÔÉÇÁÅÔ ÚÁ ÓÞÅÔ ÄÏÐÏÌÎÉÔÅÌØÎÙÈ Ó×ÅÄÅÎÉÊ Y = y, É ××ÅÄÅÍ ÕÓÒÅÄÎÅÎÎÏÅ Õ×ÅÌÉÞÅÎÉÅZW = f (y)WY =y dy:yóÐÒÁ×ÅÄÌÉ×Ï ÎÅÒÁ×ÅÎÓÔ×ÏW≤ I (X; Y ) =Z Zx yf (x; y) log2f (x; y)dxdy;f (x)f (y)× ÐÒÁ×ÕÀ ÞÁÓÔØ ËÏÔÏÒÏÇÏ ×ÈÏÄÉÔ ×ÚÁÉÍÎÁÑ ÉÎÆÏÒÍÁÃÉÑ I (X; Y ) [4] ÐÁÒÙ ÓÌÕÞÁÊÎÙÈ ×ÅÌÉÞÉÎ (X; Y ).8.6.5 ôÏÔÁÌÉÚÁÔÏÒ ÎÁ ÓËÁÞËÁÈðÕÓÔØ p = (p1 ; p2 ; : : : ; pm ) {ÒÁÓÐÒÅÄÅÌÅÎÉÅ ×ÅÒÏÑÔÎÏÓÔÅÊ ÎÏÍÅÒÁ ÌÏÛÁÄÉ, ÐÏÂÅÄÉ×ÛÅÊ ×ÚÁÂÅÇÅ, b = (b1 ; b2 ; : : : ; bm ) {ÐÏÒÔÆÅÌØ ÉÇÒÏËÁ, r = (r1 ; r2 ; : : : ; rm ) {ÐÏÒÔÆÅÌØ ÂÕËÍÅËÅÒÁ, ÇÄÅoi = 1=ri , i = 1; 2; : : : ; m {ÓÔÁ×ËÁ ÂÕËÍÅËÅÒÁ ÚÁ ÐÏÂÅÄÕ i-ÏÊ ÌÏÛÁÄÉ.1.

éÓÐÏÌØÚÕÑ ÏÂÏÚÎÁÞÅÎÉÅ ÒÁÓÓÔÏÑÎÉÅÍ ëÕÌØÂÁËÁD(pkb) =mXppi log i ;bii=1ÓËÏÒÏÓÔØ ÕÄ×ÏÅÎÉÑ ËÁÐÉÔÁÌÁ ÉÇÒÏËÁ, ÕÞÁÓÔ×ÕÀÝÅÇÏ× ÔÏÔÁÌÉÚÁÔÏÒÅ ÎÁ ÓËÁÞËÁÈ, ÚÁÐÉÓÙ×ÁÅÔÓÑ ××ÉÄÅW (b; p) =mXi=1pi log2 bi oi = D(pkr) − D(pkb);Ô.Å. ÉÇÒÏË ÍÏÖÅÔ ÄÏÂÉÔØÓÑ ×ÙÉÇÒÙÛÁ × ÔÏÔÁÌÉÚÁÔÏÒÅ ÎÁ ÓËÁÞËÁÈ, ÔÏÇÄÁ É ÔÏÌØËÏ ÔÏÇÄÁ,ËÏÇÄÁ D(pkb) < D(pkr). ðÒÉ ÜÔÏÍ ÌÏÇ-ÏÐÔÉÍÁÌØÎÙÊ ÐÏÒÔÆÅÌØ b∗ = p2. åÓÌÉ ÉÇÒÏË ÔÏÔÁÌÉÚÁÔÏÒÁ ÎÁ ÓËÁÞËÁÈ ÒÁÓÐÏÌÁÇÁÅÔ ÄÏÐÏÌÎÉÔÅÌØÎÙÍÉ Ó×ÅÄÅÎÉÑÍÉ YÏ ÒÅÚÕÌØÔÁÔÅ ÚÁÂÅÇÁ X, ÔÏ ÄÌÑ ÌÏÇ-ÏÐÔÉÍÁÌØÎÏÇÏ ÐÏÒÔÆÅÌÑ ÓÔÁ×ÏË ÉÇÒÏËÁ ×ÏÚÎÉËÁÀÝÅÅÚÁ ÓÞÅÔ ÜÔÉÈ Ó×ÅÄÅÎÉÊ ÓÒÅÄÎÅÅ ÚÎÁÞÅÎÉÅ Õ×ÅÌÉÞÅÎÉÑ ÓËÏÒÏÓÔÉ ÕÄ×ÏÅÎÉÑ W ÓÏ×ÐÁÄÁÅÔ ÓÉÎÆÏÒÍÁÃÉÅÊ I (X; Y ).17ìÉÔÅÒÁÔÕÒÁ[1] J.

Kelly. "A new interpretation of information rate". Bell Sys. Tech. Journal, 35, 917-926,1956.[2] A. Barron and T.M. Cover. "A bound on nancial value of information". IEEE Trans.Inform. Theory, IT-34: 1097-1100, 1988.[3] T.M. Cover, J.A. Thomas, "Elements of Information Theory", J.Willey, New York, 1991.[4] ò.ç. çÁÌÌÁÇÅÒ. "ôÅÏÒÉÑ ÉÎÆÏÒÍÁÃÉÉ É ÎÁÄ£ÖÎÁÑ Ó×ÑÚØ". í., óÏ×ÅÔÓËÏÅ ÒÁÄÉÏ, 1974.18.

Характеристики

Список файлов лекций