Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008) (1185330), страница 49

Файл №1185330 Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008) (Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008).pdf) 49 страницаЕ. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008) (1185330) страница 492020-08-252020-08-25СтудИзба

Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008).pdf

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Регистрация/авторизация

Текст из файла (страница 49)

ä‚‡ÁË‡ÒÒÚÓﬂÌËÂ ÅÂ„Ï‡Ì‡).f-‡ÒıÓÊ‰ÂÌËÂ óËÁ‡‡f-‡ÒıÓÊ‰ÂÌËÂ óËÁ‡‡ ÂÒÚ¸ ÙÛÌÍˆËﬂ Ì‡ ÏÌÓÊÂÒÚ‚Â ×, ÓÔÂ‰ÂÎÂÌÌ‡ﬂ Í‡Í∑x p ( x) p2 ( x ) f  1  , p2 ( x ) „‰Â f: ≥0 → – ‚˚ÔÛÍÎ‡ﬂ ÙÛÌÍˆËﬂ.ëÎÛ˜‡Ë f(t ) = t ln t Ë f(t) = (t – 1)2 /2 ÒÓÓÚ‚ÂÚÒÚ‚Û˛Ú ‡ÒÒÚÓﬂÌË˛ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡ Ë 2 -‡ÒÒÚÓﬂÌË˛, ÛÍ‡Á‡ÌÌ˚ı ÌËÊÂ. ëÎÛ˜‡È f(t) = | t – 1 | ÒÓÓÚ‚ÂÚÒÚ‚ÛÂÚL1 -ÏÂÚËÍÂ ÏÂÊ‰Û ÔÎÓÚÌÓÒÚﬂÏË, ‡ ÒÎÛ˜‡È f (t ) = 4 1 − t (Ú‡Í ÊÂ Í‡Í Ë ÒÎÛ˜‡È()f (t ) = 2(t + 1) − 4 t ) ÒÓÓÚ‚ÂÚÒÚ‚ÛÂÚ Í‚‡‰‡ÚÛ ÏÂÚËÍË ïÂÎÎËÌ‰ÊÂ‡.ÉÎ‡‚‡ 14. ê‡ÒÒÚÓﬂÌËﬂ ‚ ÚÂÓËË ‚ÂÓﬂÚÌÓÒÚÂÈ 219èÓÎÛÏÂÚËÍË ÏÓ„ÛÚ ·˚Ú¸ ÔÓÎÛ˜ÂÌ˚ Ú‡Í ÊÂ, Í‡Í Í‚‡‰‡ÚÌ˚È ÍÓÂÌ¸ f-‡ÒıÓÊ‰ÂÌËﬂ óËÁ‡‡ ‚ ÒÎÛ˜‡ﬂı f (t ) = (t − 1)2 /(t + 1) (ÔÓÎÛÏÂÚËÍ‡ Ç‡Ê‰˚–äÛÒ‡), f (t ) == | t a − 1 |1 / a Ò 0 < a ≤ 1 (ÔÓÎÛÏÂÚËÍ‡ å‡ÚÛ¯ËÚ˚) Ë f (t ) =(t a + 1)1 / a − 2 (1− a ) / a (t + 1)1 −1/ a(ÔÓÎÛÏÂÚËÍ‡ éÒÚÂÂÈıÂ‡).èÓ‰Ó·ÌÓÒÚ¸ ‰ÓÒÚÓ‚ÂÌÓÒÚËèÓ‰Ó·ÌÓÒÚ¸ ‰ÓÒÚÓ‚ÂÌÓÒÚË (ËÎË ÍÓ˝ÙÙËˆËÂÌÚ Åı‡ÚÚ‡˜‡¸ﬂ, ‡ÙÙËÌÌÓÒÚ¸ïÂÎÎËÌ‰ÊÂ‡) Ì‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Íρ( P1 , P2 ) =∑p1 ( x ) p2 ( x ).xåÂÚËÍ‡ ïÂÎÎËÌ‰ÊÂ‡Ç ÚÂÏËÌ‡ı ÔÓ‰Ó·ÌÓÒÚË ‰ÓÒÚÓ‚ÂÌÓÒÚË, ÏÂÚËÍ‡ ïÂÎÎËÌ‰ÊÂ‡ (ËÎË ÏÂÚËÍ‡ïÂÎÎËÌ‰ÊÂ‡–ä‡ÍÛÚ‡ÌË) Ì‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í2∑(x)2p1 ( x ) − p2 ( x ) 1/ 2= 2(1 − ρ( P1 , P2 ))1 / 2 .ùÚÓ – L2 -ÏÂÚËÍ‡ ÏÂÊ‰Û Í‚‡‰‡ÚÌ˚ÏË ÍÓÌﬂÏË ÙÛÌÍˆËÈ ÔÎÓÚÌÓÒÚË.èÓ‰Ó·ÌÓÒÚ¸ ÒÂ‰ÌÂ„Ó „‡ÏÓÌË˜ÂÒÍÓ„ÓèÓ‰Ó·ÌÓÒÚ¸ ÒÂ‰ÌÂ„Ó „‡ÏÓÌË˜ÂÒÍÓ„Ó ÂÒÚ¸ ÔÓ‰Ó·ÌÓÒÚ¸ Ì‡ , ÓÔÂ‰ÂÎÂÌÌ‡ﬂ Í‡Í2∑ p1 (1x ) + p2 2 ( x ) .p ( x) p ( x)xê‡ÒÒÚÓﬂÌËÂ 1 Åı‡ÚÚ‡˜‡¸ﬂÇ ÚÂÏËÌ‡ı ÔÓ‰Ó·ÌÓÒÚË ‰ÓÒÚÓ‚ÂÌÓÒÚË, ‡ÒÒÚÓﬂÌËÂ 1 Åı‡ÚÚ‡˜‡¸ﬂ Ì‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í(arccos ρ(P1 , P2 )) 2 .ì‰‚ÓÂÌËÂ Ú‡ÍÓ„Ó ‡ÒÒÚÓﬂÌËﬂ ÔËÏÂÌﬂÂÚÒﬂ Ú‡ÍÊÂ ‚ ÒÚ‡ÚËÒÚËÍÂ Ë Ï‡¯ËÌÌÓÏÓ·Û˜ÂÌËË, „‰Â ÓÌÓ Ì‡Á˚‚‡ÂÚÒﬂ ‡ÒÒÚÓﬂÌËÂÏ îË¯Â‡.ê‡ÒÒÚÓﬂÌËÂ 2 Åı‡ÚÚ‡˜‡¸ﬂÇ ÚÂÏËÌ‡ı ÔÓ‰Ó·ÌÓÒÚË ‰ÓÒÚÓ‚ÂÌÓÒÚË, ‡ÒÒÚÓﬂÌËÂ 2 Åı‡ÚÚ‡˜‡¸ﬂ Ì‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í–ln ρ(P1 , P2 ).2 -‡ÒÒÚÓﬂÌËÂ2 -‡ÒÒÚÓﬂÌËÂ (ËÎË 2 -‡ÒÒÚÓﬂÌËÂ çÂÈÏ‡Ì‡) ÂÒÚ¸ Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ , ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡Í∑x( p1 ( x ) − p2 ( x ))2.p2 ( x )220ó‡ÒÚ¸ III.

ê‡ÒÒÚÓﬂÌËﬂ ‚ ÍÎ‡ÒÒË˜ÂÒÍÓÈ Ï‡ÚÂÏ‡ÚËÍÂ2 -‡ÒÒÚÓﬂÌËÂ èËÒÓÌ‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í∑x( p1 ( x ) − p2 ( x ))2.p1 ( x )ÇÂÓﬂÚÌÓÒÚÌ‡ﬂ ÒËÏÏÂÚË˜ÂÒÍ‡ﬂ 2 -ÏÂ‡ ÂÒÚ¸ ‡ÒÒÚÓﬂÌËÂ Ì‡ , ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡Í2∑x( p1 ( x ) − p2 ( x ))2.p1 ( x ) − p2 ( x )ê‡ÒÒÚÓﬂÌËÂ ‡Á‰ÂÎÂÌËﬂê‡ÒÒÚÓﬂÌËÂÏ ‡Á‰ÂÎÂÌËﬂ Ì‡Á˚‚‡ÂÚÒﬂ Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ (‰Îﬂ Î˛·Ó„Ó Ò˜ÂÚÌÓ„Ó χ), ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡Íp ( x) max1 − 1  .x p2 ( x ) (çÂ ÔÛÚ‡Ú¸ Ò ‡ÒÒÚÓﬂÌËÂÏ ‡Á‰ÂÎÂÌËﬂ ÏÂÊ‰Û ‚˚ÔÛÍÎ˚ÏË ÚÂÎ‡ÏË.)ê‡ÒÒÚÓﬂÌËÂ äÛÎÎ·‡Í‡–ãeÈ·ÎÂ‡ê‡ÒÒÚÓﬂÌËÂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡ (ËÎË ÓÚÌÓÒËÚÂÎ¸Ì‡ﬂ ˝ÌÚÓÔËﬂ, ÓÚÍÎÓÌÂÌËÂËÌÙÓÏ‡ˆËË, KL-‡ÒÒÚÓﬂÌËÂ) ÂÒÚ¸ Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ , ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡ÍKL( P1 , P2 ) = P1 [ln L] =∑p1 ( x ) lnx„‰Â L =p1 ( x ),p2 ( x )p1 ( x )– ÓÚÌÓ¯ÂÌËÂ Ô‡‚‰ÓÔÓ‰Ó·Ëﬂ. ëÎÂ‰Ó‚‡ÚÂÎ¸ÌÓ,p2 ( x )KL( P1 , P2 ) = −∑x( p1 ( x ) ln p2 ( x )) +∑( p1 ( x ) ln p1 ( x )) = H ( P1 , P2 ) − H ( P1 ),x„‰Â H ( P1 ) – ˝ÌÚÓÔËﬂ P1 , ‡ H ( P1 , P2 ) – ÔÂÂÍeÒÚÌ‡ﬂ ˝ÌÚÓÔËﬂ P1 Ë P2 .

ÖÒÎË P2ﬂ‚ÎﬂÂÚÒﬂ ÔÓËÁ‚Â‰ÂÌËÂÏ Ï‡„ËÌ‡ÎÓ‚ P1 , ÚÓ KL-‡ÒÒÚÓﬂÌËÂ KL(P1 , P2 ) Ì‡Á˚‚‡ÂÚÒﬂp ( x, y)ÍÓÎË˜ÂÒÚ‚ÓÏ ËÌÙÓÏ‡ˆËË ò˝ÌÌÓÌ‡ Ë ‡‚ÌÓp1 ( x, y) ln 1(ÒÏ. ‡Òp1 ( x ) p1 ( y)( x , y ) ∈χ × χ∑ÒÚÓﬂÌËÂ ò˝ÌÌÓÌ‡).äÓÒÓÂ ‡ÒıÓÊ‰ÂÌËÂäÓÒÓÂ ‡ÒıÓÊ‰ÂÌËÂ – Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ , ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡ÍKL( P1 , aP2 + (1 − a) P1 ),„‰Â a ∈ [0, 1] – ÍÓÌÒÚ‡ÌÚ‡ Ë KL – ‡ÒÒÚÓﬂÌËÂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡.

í‡ÍËÏ Ó·‡ÁÓÏ,1ÒÎÛ˜‡È a = 1 ÒÓÓÚ‚ÂÚÒÚ‚ÛÂÚ KL(P 1 , P2 ). äÓÒÓÂ ‡ÒıÓÊ‰ÂÌËÂ Ò a =Ì‡Á˚‚‡ÂÚÒﬂ2K-‡ÒıÓÊ‰ÂÌËÂÏ.ÉÎ‡‚‡ 14. ê‡ÒÒÚÓﬂÌËﬂ ‚ ÚÂÓËË ‚ÂÓﬂÚÌÓÒÚÂÈ 221ê‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÙÙËê‡ÒıÓÊ‰ÂÌËÂÏ ÑÊÂÙÙË (ËÎË J-‡ÒıÓÊ‰ÂÌËÂÏ) Ì‡Á˚‚‡ÂÚÒﬂ ÒËÏÏÂÚË˜Ì‡ﬂ ‚ÂÒËﬂ‡ÒÒÚÓﬂÌËﬂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡, ÓÔÂ‰ÂÎÂÌÌ‡ﬂ Í‡ÍKL( P1 , P2 ) + KL( P2 , P1 ) =∑xp1 ( x )p ( x) + p2 ( x ) ln 2  . p1 ( x ) lnp(x)p1 ( x ) 2ÑÎﬂ P1 → P2 ‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÙÙË ‚Â‰ÂÚ ÒÂ·ﬂ ‡Ì‡ÎÓ„Ë˜ÌÓ 2 -‡ÒÒÚÓﬂÌË˛.ê‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÌÒÂÌ‡–ò˝ÌÌÓÌ‡ê‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÌÒÂÌ‡–ò˝ÌÌÓÌ‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍaKL( P1 , P3 ) + (1 − a) KL( P2 , P3 ),„‰Â P3 = aP1 + (1 − a) P2 Ë a ∈ [0, 1] – ÍÓÌÒÚ‡ÌÚ‡ (ÒÏ. èÓ‰Ó·ÌÓÒÚ¸ ﬂÒÌÓÒÚË).ç‡ ﬂÁ˚ÍÂ ˝ÌÚÓÔËË H ( P) =∑p( x ) ln p( x ) ‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÌÒÂÌ‡–ò˝ÌÌÓÌ‡x‡‚ÌÓ H ( aP1 + (1 − a) P2 ) − aH ( P1 ) − (1 − a) H ( P2 ).ê‡ÒÒÚÓﬂÌËÂ íÓÔÒÂ ÂÒÚ¸ ÒËÏÏÂÚË˜Ì‡ﬂ ‚ÂÒËﬂ ‡ÒÒÚÓﬂÌËﬂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡Ì‡ .

éÌÓ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍKL( P1 , P3 ) + KL( P2 , P3 ) =∑xp1 ( x )p ( x) + p2 ( x ) ln 2  , p1 ( x ) lnp3 ( x )p3 ( x ) 1( P1 + P2 ). ê‡ÒÒÚÓﬂÌËÂ íÓÔÒÂ ÂÒÚ¸ Û‰‚ÓÂÌÌÓÂ ‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÌÒÂÌ‡–21ò˝ÌÌÓÌ‡ Ò a = . çÂÍÓÚÓ˚Â ‡‚ÚÓ˚ ËÒÔÓÎ¸ÁÛ˛Ú ÚÂÏËÌ "‡ÒıÓÊ‰ÂÌËÂ ÑÊÂÌÒÂÌ‡–2ò˝ÌÌÓÌ‡" ÚÓÎ¸ÍÓ ‰Îﬂ ‰‡ÌÌÓÈ ‚ÂÎË˜ËÌ˚ ‡. ê‡ÒÒÚÓﬂÌËÂ ÚÓÊÂ ÏÂÚËÍÓÈ ÌÂ ﬂ‚ÎﬂÂÚÒﬂ,ÌÓ Â„Ó Í‚‡‰‡ÚÌ˚È ÍÓÂÌ¸ – ÏÂÚËÍ‡.„‰Â P3 =ê‡ÒÒÚÓﬂÌËÂ ÒÂ‰ÌÂ„Ó ÒÓÔÓÚË‚ÎÂÌËﬂê‡ÒÒÚÓﬂÌËÂ ÒÂ‰ÌÂ„Ó ÒÓÔÓÚË‚ÎÂÌËﬂ ÔÓ ÑÊÂÌÒÂÌÛ–òËÏ‡ÌÓ‚Ë˜Û ÂÒÚ¸ ÒËÏÏÂÚË˜Ì‡ﬂ ‚ÂÒËﬂ ‡ÒÒÚÓﬂÌËﬂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡ Ì‡ . éÌÓ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í „‡ÏÓÌË˜ÂÒÍ‡ﬂ ÒÛÏÏ‡11+ KL( P1 , P2 ) KL( P2 , P1 ) −1(ÒÏ. åÂÚËÍ‡ ÒÓÔÓÚË‚ÎÂÌËﬂ ‰Îﬂ „‡ÙÓ‚, „Î. 15).ê‡ÒÒÚÓﬂÌËÂ ÄÎË–ëËÎ‚Âﬂê‡ÒÒÚÓﬂÌËÂ ÄÎË–ëËÎ‚Âﬂ ÂÒÚ¸ Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ , Á‡‰‡ÌÌÓÂ ÙÛÌÍˆËÓÌ‡ÎÓÏf ( P1 [ g( L)]),p1 ( x )– ÓÚÌÓ¯ÂÌËÂ Ô‡‚‰ÓÔÓ‰Ó·Ëﬂ, f – ÌÂÛ·˚‚‡˛˘‡ﬂ ÙÛÌÍˆËﬂ, ‡ g – ÌÂÔÂp2 ( x )˚‚Ì‡ﬂ ‚˚ÔÛÍÎ‡ﬂ ÙÛÌÍˆËﬂ (ÒÏ.

f-‡ÒıÓÊ‰ÂÌËÂ óËÁ‡‡).ëÎÛ˜‡È f(x) = x, g(x ) = x ln x ÒÓÓÚ‚ÂÚÒÚ‚ÛÂÚ ‡ÒÒÚÓﬂÌË˛ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡;ÒÎÛ˜‡È f(x) = –ln x, g(x) = x' – ‡ÒÒÚÓﬂÌË˛ óÂÌÓ‚‡.„‰Â L =222ó‡ÒÚ¸ III. ê‡ÒÒÚÓﬂÌËﬂ ‚ ÍÎ‡ÒÒË˜ÂÒÍÓÈ Ï‡ÚÂÏ‡ÚËÍÂê‡ÒÒÚÓﬂÌËÂ óÂÌÓ‚‡ê‡ÒÒÚÓﬂÌËÂÏ óÂÌÓ‚‡ (ËÎË ÔÂÂÍeÒÚÌÓÈ ˝ÌÚÓÔËÂÈ êÂÌ¸Ë) Ì‡Á˚‚‡ÂÚÒﬂ ‡ÒÒÚÓﬂÌËÂ Ì‡ , ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡Ímax Dt ( P1 , P2 ),t ∈[ 0,1]„‰Â Dt ( P1 , P2 ) = − ln∑( p1 ( x ))t ( p2 ( x ))1− t , ˜ÚÓ ÔÓÔÓˆËÓÌ‡Î¸ÌÓ ‡ÒÒÚÓﬂÌË˛ êÂÌ¸Ë.x1ëÎÛ˜‡È t = ÒÓÓÚ‚ÂÚÒÚ‚ÛÂÚ ‡ÒÒÚÓﬂÌË˛ 2 Åı‡ÚÚ‡˜‡¸ﬂ.2ê‡ÒÒÚÓﬂÌËÂ êÂÌ¸Ëê‡ÒÒÚÓﬂÌËÂ êÂÌ¸Ë (ËÎË ˝ÌÚÓÔËﬂ êÂÌ¸Ë ÔÓﬂ‰Í‡ t) ÂÒÚ¸ Í‚‡ÁË‡ÒÒÚÓﬂÌËÂ Ì‡ ,ÓÔÂ‰ÂÎÂÌÌÓÂ Í‡Í1lnt −1∑xt p ( x) p2 ( x ) 1  , p2 ( x ) „‰Â t ≥ 0, t ≠ 1.èÂ‰ÂÎÓÏ ‡ÒÒÚÓﬂÌËﬂ êÂÌ¸Ë ‰Îﬂ t → 1 ﬂ‚ÎﬂÂÚÒﬂ ‡ÒÒÚÓﬂÌËÂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡.1ÑÎﬂ t = ÔÓÎÓ‚ËÌ‡ ‡ÒÒÚÓﬂÌËﬂ êÂÌ¸Ë ÂÒÚ¸ ‡ÒÒÚÓﬂÌËÂ 2 Åı‡ÚÚ‡˜‡¸ﬂ (ÒÏ.

f-‡ÒıÓÊ2‰ÂÌËÂ óËÁ‡‡ Ë ‡ÒÒÚÓﬂÌËÂ óÂÌÓ‚‡).èÓ‰Ó·ÌÓÒÚ¸ ﬂÒÌÓÒÚËèÓ‰Ó·ÌÓÒÚ¸ ﬂÒÌÓÒÚË – ˝ÚÓ ÔÓ‰Ó·ÌÓÒÚ¸ Ì‡ , ÓÔÂ‰ÂÎÂÌÌ‡ﬂ Í‡Í( KL( P1 , P3 ) + KL( P2 , P3 )) − ( KL( P1 , P2 ) + KL( P2 , P1 )) ==∑xp2 ( x )p ( x) + p2 ( x ) ln 1  , p1 ( x ) lnp3 ( x )p3 ( x ) „‰Â KL – ‡ÒÒÚÓﬂÌËÂ äÛÎÎ·‡Í‡–ãÂÈ·ÎÂ‡ Ë P 3 – Á‡‰‡ÌÌ˚È ÒÒ˚ÎÓ˜Ì˚È Á‡ÍÓÌ ÚÂÓËË‚ÂÓﬂÚÌÓÒÚÂÈ. ÇÔÂ‚˚Â ÓÔÂ‰ÂÎÂÌ‡ ‚ ÚÛ‰Â [CCL01], „‰Â P 3 ÓÁÌ‡˜‡ÎÓ ‡ÒÔÂ‰ÂÎÂÌËÂ‚ÂÓﬂÚÌÓÒÚÂÈ Ó·˘Â„Ó ‡Ì„ÎËÈÒÍÓ„Ó ﬂÁ˚Í‡.ê‡ÒÒÚÓﬂÌËÂ ò˝ÌÌÓÌ‡ÑÎﬂ ÔÓÒÚ‡ÌÒÚ‚‡ Ò ÏÂÓÈ (Ω, , P) „‰Â ÏÌÓÊÂÒÚ‚Ó Ω ÍÓÌÂ˜ÌÓ Ë ê ﬂ‚ÎﬂÂÚÒﬂ‚ÂÓﬂÚÌÓÒÚÌÓÈ ÏÂÓÈ, ˝ÌÚÓÔËﬂ ÙÛÌÍˆËË f : Ω → X, „‰Â ï – ÍÓÌÂ˜ÌÓÂ ÏÌÓÊÂÒÚ‚Ó,ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍH( f ) =∑P( f = x ) ln( P( f = x ));x ∈XÒÎÂ‰Ó‚‡ÚÂÎ¸ÌÓ, f ÏÓÊÂÚ ‡ÒÒÏ‡ÚË‚‡Ú¸Òﬂ Í‡Í ‡Á·ËÂÌËÂ ÔÓÒÚ‡ÌÒÚ‚‡ Ò ÏÂÓÈ.ÑÎﬂ Î˛·˚ı ‰‚Ûı Ú‡ÍËı ‡Á·ËÂÌËÈ f : Ω → X Ë g : Ω → Y Ó·ÓÁÌ‡˜ËÏ ˝ÌÚÓÔË˛‡Á·ËÂÌËﬂ (f, g): Ω → X × Y (Ó·˘Û˛ ˝ÌÚÓÔË˛) Í‡Í H(f, g) Ë ÛÒÎÓ‚ÌÛ˛ ˝ÌÚÓÔË˛Í‡Í H(f | g).

íÓ„‰‡ ‡ÒÒÚÓﬂÌËÂ ò˝ÌÌÓÌ‡ ÏÂÊ‰Û f Ë g ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í2H ( f , g) − H ( f ) − H ( g) = H ( f | g) + H ( g | f ).ÉÎ‡‚‡ 14. ê‡ÒÒÚÓﬂÌËﬂ ‚ ÚÂÓËË ‚ÂÓﬂÚÌÓÒÚÂÈ 223Ñ‡ÌÌÓÂ ‡ÒÒÚÓﬂÌËÂ ﬂ‚ÎﬂÂÚÒﬂ ÏÂÚËÍÓÈ. äÓÎË˜ÂÒÚ‚Ó ËÌÙÓÏ‡ˆËË ò˝ÌÌÓÌ‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍH ( f , g) − H ( f ) − H ( g) =∑p( f = x, g = y) ln( x, y)p( f = x, g = y).p( f = x ) p( g = y)ÖÒÎË ê – Á‡ÍÓÌ ‡‚ÌÓÏÂÌÓ„Ó ‡ÒÔÂ‰ÂÎÂÌËﬂ ‚ÂÓﬂÚÌÓÒÚÂÈ, ÚÓ, Í‡Í ‰ÓÍ‡Á‡ÎÉÓÔÔ‡, ‡ÒÒÚÓﬂÌËÂ ò˝ÌÌÓÌ‡ ÏÓÊÂÚ ·˚Ú¸ ÔÓÎÛ˜ÂÌÓ Í‡Í ÔÂ‰ÂÎ¸Ì˚È ÒÎÛ˜‡È ÏÂÚËÍËÍÓÌÂ˜Ì˚ı ÔÓ‰„ÛÔÔ.Ç Ó·˘ÂÏ ÒÎÛ˜‡Â ÏÂÚËÍ‡ ËÌÙÓÏ‡ˆËË (ËÎË ÏÂÚËÍ‡ ˝ÌÚÓÔËË) ÏÂÊ‰Û ‰‚ÛÏﬂÒÎÛ˜‡ÈÌ˚ÏË ‚ÂÎË˜ËÌ‡ÏË (ËÒÚÓ˜ÌËÍ‡ÏË ËÌÙÓÏ‡ˆËË) ï Ë Y ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍH(X | Y) + H(Y | X),„‰Â ÛÒÎÓ‚Ì‡ﬂ ˝ÌÚÓÔËﬂ H(X | Y ) ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í∑∑p( x, y) ln p( x | y) Ëx ∈X y ∈Yp( x, y) = P( X = x | Y = y) ﬂ‚ÎﬂÂÚÒﬂ ÛÒÎÓ‚ÌÓÈ ‚ÂÓﬂÚÌÓÒÚ¸˛.çÓÏ‡ÎËÁËÓ‚‡ÌÌ‡ﬂ ÏÂÚËÍ‡ ËÌÙÓÏ‡ˆËË ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡ÍH ( X | Y ) − H (Y | X ).H ( X, Y )éÌ‡ ‡‚Ì‡ 1, ÂÒÎË X Ë Y ÌÂÁ‡‚ËÒËÏ˚ (ÒÏ.

‰Û„ÓÂ ÔÓÌﬂÚËÂ çÓÏ‡ÎËÁËÓ‚‡ÌÌÓ„Ó‡ÒÒÚÓﬂÌËﬂ ËÌÙÓÏ‡ˆËË, „Î. 11).åÂÚËÍ‡ ä‡ÌÚÓÓ‚Ë˜‡–å˝ÎÎÓÛÁ‡–åÓÌÊ‡–Ç‡ÒÒÂ¯ÚÂÈÌ‡ÑÎﬂ ÏÂÚË˜ÂÒÍÓ„Ó ÔÓÒÚ‡ÌÒÚ‚‡ (χ, d) ÏÂÚËÍ‡ ä‡ÌÚÓÓ‚Ë˜‡–å˝ÎÎÓÛÁ‡–åÓÌÊ‡–Ç‡ÒÒÂ¯ÚÂÈÌ‡ ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Íinf S[d(X, Y)],„‰Â ËÌÙËÏÛÏ ·ÂÂÚÒﬂ ÔÓ ‚ÒÂÏ ‡ÒÔÂ‰ÂÎÂÌËﬂÏ S Ô‡ (X, Y) ÒÎÛ˜‡ÈÌ˚ı ‚ÂÎË˜ËÌ X Ë Y,Ú‡ÍËı ˜ÚÓ Ï‡„ËÌ‡Î¸Ì˚ÏË ‡ÒÔÂ‰ÂÎÂÌËﬂÏË X Ë Y ﬂ‚Îﬂ˛ÚÒﬂ P1 Ë P2.ÑÎﬂ Î˛·Ó„Ó ÒÂÔ‡‡·ÂÎ¸ÌÓ„Ó ÏÂÚË˜ÂÒÍÓ„Ó ÔÓÒÚ‡ÌÒÚ‚‡ (χ, d) ˝ÚÓ ˝Í‚Ë‚‡ÎÂÌÚÌÓÎËÔ¯ËˆÂ‚Û ‡ÒÒÚÓﬂÌË˛ ÏÂÊ‰Û ÏÂ‡ÏË supf∫fd ( P1 − P2 ), „‰Â ÒÛÔÂÏÛÏ ·ÂÂÚÒﬂ ÔÓ‚ÒÂÏ ÙÛÌÍˆËﬂÏ f Ò | f ( x ) − f ( y) | ≤ d ( x, y) ‰Îﬂ Î˛·˚ı x, y ∈ χ.Ç ·ÓÎÂÂ Ó·˘ÂÏ ÒÏ˚ÒÎÂ Lp -‡ÒÒÚÓﬂÌËÂ Ç‡ÒÒÂ¯ÚÂÈÌ‡ ‰Îﬂ χ = n ÓÔÂ‰ÂÎﬂÂÚÒﬂ Í‡Í(inf S [d p ( X , Y )])1 / p ,Ë ‰Îﬂ p = 1 ÓÌÓ Ì‡Á˚‚‡ÂÚÒﬂ Ú‡ÍÊÂ ρ -‡ÒÒÚÓﬂÌËÂÏ.

ÑÎﬂ (χ, d) = (, | x – y |) ÓÌÓÌ‡Á˚‚‡ÂÚÒﬂ Lp-ÏÂÚËÍÓÈ ÏÂÊ‰Û ÙÛÌÍˆËﬂÏË ‡ÒÔÂ‰ÂÎÂÌËﬂ (CDF) Ë Â„Ó ÏÓÊÌÓÁ‡ÔËÒ‡Ú¸(inf [| X − Y | ])p1/ p=  | F1 ( x ) − F2 ( x ) | p dx ∫1/ p1=  | F1−1 ( x ) − F2−1 ( x ) | p dx 01/ p∫Ò Fi −1 ( x ) = sup( Pi ( X ≤ x ) < u).uëÎÛ˜‡È p = 1 ˝ÚÓÈ ÏÂÚËÍË Ì‡Á˚‚‡ÂÚÒﬂ ÏÂÚËÍÓÈ åÓÌÊ‡–ä‡ÌÚÓÓ‚Ë˜‡ (ËÎË, ‚ÚÂÓËË Ù‡ÍÚ‡ÎÓ‚ ÏÂÚËÍÓÈ ï‡Ú˜ËÌÒÓÌ‡), ÏÂÚËÍÓÈ Ç‡ÒÒÂ¯ÚÂÈÌ‡ (ËÎËÏÂÚËÍÓÈ îÓÚÂ–åÛ¸Â)224ó‡ÒÚ¸ III. ê‡ÒÒÚÓﬂÌËﬂ ‚ ÍÎ‡ÒÒË˜ÂÒÍÓÈ Ï‡ÚÂÏ‡ÚËÍÂd -ÏÂÚËÍ‡ éÌ¯ÚÂÈÌ‡d -ÏÂÚËÍ‡ éÌ¯ÚÂÈÌ‡ ÂÒÚ¸ ÏÂÚËÍ‡ Ì‡ (‰Îﬂ χ = n), ÓÔÂ‰ÂÎÂÌÌ‡ﬂ Í‡Í1infn n1x i ≠ yi  dS, i =1∫ ∑x, y„‰Â ËÌÙËÏÛÏ ·ÂÂÚÒﬂ ÔÓ ‚ÒÂÏ ÒÓ‚ÏÂÒÚÌ˚Ï ‡ÒÔÂ‰ÂÎÂÌËﬂÏ S Ô‡ (X, Y) ÒÎÛ˜‡ÈÌ˚ı‚ÂÎË˜ËÌ X Ë Y, Ú‡ÍËı ˜ÚÓ Ï‡„ËÌ‡Î¸Ì˚ÏË ‡ÒÔÂ‰ÂÎÂÌËﬂÏË X Ë Y ﬂ‚Îﬂ˛ÚÒﬂ P1 Ë P2 .Ñ‡ÌÌ‡ﬂ ÏÂÚËÍ‡ ËÒÔÓÎ¸ÁÛÂÚÒﬂ ‚ ÚÂÓËË ÒÚ‡ˆËÓÌ‡Ì˚ı ÒÎÛ˜‡ÈÌ˚ı ÔÓˆÂÒÒÓ‚,ÚÂÓËË ‰ËÌ‡ÏË˜ÂÒÍËı ÒËÒÚÂÏ Ë ÚÂÓËË ÍÓ‰ËÓ‚‡ÌËﬂ.ó‡ÒÚ¸ IVêÄëëíéüçàüÇ èêàäãÄÑçéâ åÄíÖåÄíàäÖÉÎ‡‚‡ 15ê‡ÒÒÚÓﬂÌËﬂ ‚ ÚÂÓËË „‡ÙÓ‚É‡ÙÓÏ Ì‡Á˚‚‡ÂÚÒﬂ Ô‡‡ G = (V, E), „‰Â V – ÏÌÓÊÂÒÚ‚Ó, Ì‡Á˚‚‡ÂÏÓÂ ÏÌÓÊÂÒÚ‚ÓÏ ‚Â¯ËÌ „‡Ù‡ G, Ë Ö – ÏÌÓÊÂÒÚ‚Ó ÌÂÛÔÓﬂ‰Ó˜ÂÌÌ˚ı Ô‡ ‚Â¯ËÌ, ÍÓÚÓ˚ÂÌ‡Á˚‚‡˛ÚÒﬂ Â·‡ÏË „‡Ù‡ G .

éËÂÌÚËÓ‚‡ÌÌ˚È „‡Ù (ËÎË Ó„‡Ù) ÂÒÚ¸ Ô‡‡D = (V, E), „‰Â V – ÏÌÓÊÂÒÚ‚Ó, Ì‡Á˚‚‡ÂÏÓÂ ÏÌÓÊÂÒÚ‚ÓÏ ‚Â¯ËÌ Ó„‡Ù‡ D, Ë Ö –ÏÌÓÊÂÒÚ‚Ó ÛÔÓﬂ‰Ó˜ÂÌÌ˚ı Ô‡ ‚Â¯ËÌ, ÍÓÚÓ˚Â Ì‡Á˚‚‡˛ÚÒﬂ ‰Û„‡ÏË Ó„‡Ù‡ D.É‡Ù, Û ÍÓÚÓÓ„Ó Î˛·˚Â ‰‚Â ‚Â¯ËÌ˚ ÒÓÂ‰ËÌÂÌ˚ ÌÂ ·ÓÎÂÂ ˜ÂÏ Ó‰ÌËÏ Â·ÓÏ,Ì‡Á˚‚‡ÂÚÒﬂ ÔÓÒÚ˚Ï „‡ÙÓÏ. ÖÒÎË ‰ÓÔÛÒÍ‡ÂÚÒﬂ ÒÓÂ‰ËÌÂÌËÂ ‚Â¯ËÌ Í‡ÚÌ˚ÏË(Ô‡‡ÎÎÂÎ¸Ì˚ÏË) Â·‡ÏË, ÚÓ Ú‡ÍÓÈ „‡Ù Ì‡Á˚‚‡ÂÚÒﬂ ÏÛÎ¸ÚË„‡ÙÓÏ.

Характеристики

Тип файла

PDF-файл

Размер

3,34 Mb

Материал

Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008).pdf

Тип материала

Книга

Предмет

(ММО) Методы машинного обучения

Высшее учебное заведение

МГУ им. Ломоносова

Список файлов книги

e.-deza_-m.m.-deza.-jenciklopedicheskij-slovar-rasstojanij-2008.pdf.rar

Е. Деза_ М.М. Деза. Энциклопедический словарь расстояний (2008).pdf

Поделитесь ссылкой:

Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.

Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.

Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.

Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.

Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.

Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.

Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.

Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.

Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.

Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.

Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.

Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.