Диссертация (1104114), страница 6
Текст из файла (страница 6)
hx1; x2; : : : ; xn i { ª®°²¥¦ ¤¢®¨·»µ ±«®¢; ±·¨² ¥¬ ´¨ª±¨°®¢ ®© ¥ª®²®°³¾ ¢»·¨±«¨¬³¾ ³¬¥° ¶¨¾ ¢±¥µ ª®¥·»µ ª®°²¥¦¥© ±«®¢. , , , . . . { ±«³· ©»¥ ¢¥«¨·¨». ±¥ ±«³· ©»¥ ¢¥«¨·¨», ° ±±¬ ²°¨¢ ¥¬»¥ ¢ ° ¡®²¥, ¨¬¥¾² ª®¥·³¾ ®¡« ±²¼ § ·¥¨©. K (x) { ª®«¬®£®°®¢±ª ¿ ±«®¦®±²¼ ±«®¢ x. K (x1; x2; : : : ; xn) { ª®«¬®£®°®¢±ª ¿ ±«®¦®±²¼ ª®°²¥¦ ±«®¢hx1; x2 ; : : : ; xni: K (xjy) { ³±«®¢ ¿ ª®«¬®£®°®¢±ª ¿ ±«®¦®±²¼ ±«®¢ x ®²®±¨²¥«¼®±«®¢ y. K (x1; x2; : : : ; xnjy1; y2; : : : ; ym) { ª®«¬®£®°®¢±ª ¿ ±«®¦®±²¼ ª®°²¥¦ hx1; x2; : : : ; xn i ®²®±¨²¥«¼® ª®°²¥¦ hy1; y2; : : : ; ym i. I (x : y) := K (y) K (yjx) { ¢§ ¨¬ ¿ ¨´®°¬ ¶¨¿ ±«®¢ x ¨ y. I (x : yjz ) := K (yjz ) K (yjx; z ) { ¢§ ¨¬ ¿ ¨´®°¬ ¶¨¿ ±«®¢ x ¨y ®²®±¨²¥«¼® z ; «®£¨·® ®¡®§ · ¥²±¿ ¢§ ¨¬ ¿ ¨´®°¬ ¶¨¿ª®°²¥¦¥© ±«®¢ (®²®±¨²¥«¼® ª®°²¥¦¥© ±«®¢).27 H () { ½²°®¯¨¿ ¥® ±«³· ©®© ¢¥«¨·¨» ; ¥±«¨ ±«³· © ¿¢¥«¨·¨ ¯°¨¨¬ ¥² § ·¥¨¿ a1,.
. . ,an, ²®H () :=nXi=1Prob[ = ai] log (Prob[ = ai]) : ±«¨ ±«³· ©»¥ ¢¥«¨·¨» , ¨¬¥¾² ¥ª®²®°®¥ ±®¢¬¥±²®¥ ° ±¯°¥¤¥«¥¨¥, ¯°¨·¥¬ ¯°¨¨¬ ¥² § ·¥¨¿ a1; : : : ; an, ¯°¨¨¬ ¥²§ ·¥¨¿ b1; : : : ; bm, ²® ³±«®¢ ¿ ½²°®¯¨¿ ®²®±¨²¥«¼® ®¯°¥¤¥«¿¥²±¿ ª ªXProb[ = ai; = bj ] log (Prob[ = bj j = ai]) :H ( j) :=i;j I ( : ) := H ( ) H ( j) { ¢§ ¨¬ ¿ ¨´®°¬ ¶¨¿ ±«³· ©»µ ¢¥«¨-·¨ ¨ ; ³±²¼ hx1; x2 : : : ; xk i { ª®°²¥¦ ±«®¢, V = fi1; : : : ; ir g f1; : : : ; kg { ¡®° ¨¤¥ª±®¢; ®¡®§ ·¨¬ ·¥°¥§ xV ª®°²¥¦ hxi1 ; xi2 ; : : : ; xir i.
«®£¨·®¥ ®¡®§ ·¥¨¥ ¡³¤¥¬ ¨±¯®«¼§®¢ ²¼ ¤«¿ ª®°²¥¦¥© ±«³· ©»µ¢¥«¨·¨ ¨ ª®°²¥¦¥© ¯®±«¥¤®¢ ²¥«¼®±²¥© ±«®¢. ±«¨ a ¨ b «¨¥©»¥ ¯®¤¯°®±²° ±²¢ ¢ «¨¥©®¬ ¯°®±²° ±²¢¥ L,¡³¤¥¬ ®¡®§ · ²¼ (a b) ±³¬¬³ («¨¥©³¾ ®¡®«®·ª³) ¤ »µ ¯®¤¯°®±²° ±²¢. ³±²¼ faig {L±¥¬¥©±²¢® ¯®¤¯°®±²° ±²¢ ¢ «¨¥©®¬ ¯°®±²° ±²¢¥ L.¡®§ ·¨¬ ai ±³¬¬³ («¨¥©³¾ ®¡®«®·ª³) ¢±¥µ ¯®¤¯°®±²° ±²¢i¤ ®£® ±¥¬¥©±²¢ . «¿ ´³ª¶¨© f : N ! N, g : N ! N, ¡³¤¥¬ ¨±¯®«¼§®¢ ²¼ ±² ¤ °²»¥ ±¨¬¯²®²¨·¥±ª¨¥ ®¡®§ ·¥¨¿:f (n) = O(g(n)) 9C 9N 8n N jf (n)j C jg(n)j;f (n) = (g(n)) 9c > 0 9N 8n N jf (n)j cjg(n)j;f (n) = (g(n)) 9c; C > 0 9N 8n N cjg(x)j jf (n)j C jg(n)j;f (n) = o(g(n)) 8c 9N 8n N jf (n)j cjg(n)j ¥«³¾ · ±²¼ ·¨±« r ±¨§³ ¨ ±¢¥°µ³ ¡³¤¥¬ ®¡®§ · ²¼ brc ¨ dre±®®²¢¥²±²¢¥®.
±¥ «®£ °¨´¬» ¢ ±² ²¼¥ ¡¥°³²±¿ ¯® ®±®¢ ¨¾ 2.28« ¢ 1.P-²¨¯¨·®±²¼ ¨ P-±«³· ©®±²¼ ¤ ®© £« ¢¥ ¬» ¤ ¤¨¬ ®±®¢»¥ ®¯°¥¤¥«¥¨¿ ¨ ¤®ª ¦¥¬ ¥±ª®«¼ª®²¥µ¨·¥±ª¨µ «¥¬¬. °¥¦¤¥ ¢±¥£® ¬» ¤®ª ¦¥¬ «¥¬¬³ 1. ²¢¥°¦¤¥¨¥½²®© «¥¬¬» ¢ ²®© ¨«¨ ¨®© ´®°¬¥ ¢±²°¥· ¥²±¿ ¯° ª²¨·¥±ª¨ ¢® ¢±¥µ ° ¡®² µ ¯® ª®«¬®£®°®¢±ª®© ±«®¦®±²¨. ½²®¬ ¯°®±²®¬ ª®¬¡¨ ²®°®¬´ ª²¥ ¢ ª®¥·®¬ ¨²®£¥ ®±®¢ ® «¾¡®¥ ¯°¨¬¥¥¨¥ ª®«¬®£®°®¢±ª®©±«®¦®±²¨. ¥¬¬ ³²¢¥°¦¤ ¥², ·²® ¥±«¨ ¬®¦¥±²¢® ±«®¢ A ¨¬¥¥² ¯°®±²®¥ ®¯¨± ¨¥, ²® ¢±¥ ±«®¢ ¨§ ¤ ®£® ¬®¦¥±²¢ ¨¬¥¾² ±«®¦®±²¼ ¥ ¬®£® ¡®«¼¸¥ log jAj; ª°®¬¥ ²®£®, ¢ A ©¤¥²±¿ µ®²¿ ¡» ®¤® ±«®¢® ±®±«®¦®±²¼¾ ¥ ¬¥¥¥ log jAj.
²®¡» ±´®°¬³«¨°®¢ ²¼ ³²¢¥°¦¤¥¨¥ ±²°®£®, ¥®¡µ®¤¨¬® ³²®·¨²¼, ·²® § ·¨², ·²® ¬®¦¥±²¢® A ¨¬¥¥² ¯°®±²®¥®¯¨± ¨¥. ¬ ¡³¤¥² ³¤®¡® ¯°¥¤¯®« £ ²¼, ·²® § ¤ ® ¶¥«®¥ ±¥¬¥©±²¢®¬®¦¥±²¢ An, ¨ ¤«¿ ¯®«³·¥¨¿ ±¯¨±ª ½«¥¬¥²®¢ n-®£® ¬®¦¥±²¢ ¤®±² ²®·® ¨¬¥²¼ «®£ °¨´¬¨·¥±ª³¾ ¯® n ¨´®°¬ ¶¨¾.³±²¼ § ¤ ® ±¥¬¥©±²¢® ª®¥·»µ ¬®¦¥±²¢ An, n =1; 2; : : :, ½«¥¬¥² ¬¨ ª®²®°»µ ¿¢«¿¾²±¿ ±«®¢ ¢ ¥ª®²®°®¬ «´ ¢¨²¥.³±²¼ ¯°¨ ½²®¬ ¤«¿ ª ¦¤®£® n ±¯¨±®ª ±«®¢, ¢µ®¤¿¹¨µ ¢ An, ¬®¦¥²¡»²¼ ¯®°®¦¤¥ «£®°¨²¬®¬ ° §¬¥° O(log n) (¨ ·¥ £®¢®°¿, ª®«¬®£®°®¢±ª ¿ ±«®¦®±²¼ ª®°²¥¦ , ±®±² ¢«¥®£® ¨§ ¢±¥µ ±«®¢ ¬®¦¥±²¢ An ¢ «¥ª±¨ª®£° ´¨·¥±ª®¬ ¯®°¿¤ª¥, ° ¢ O(log n)).
®£¤ ±«®¦®±²¼«¾¡®£® ±«®¢ ¨§ An ¥ ¯°¥¢®±µ®¤¨² log jAnj + O(log n); ª°®¬¥ ²®£®, ¤«¿ª ¦¤®£® n ©¤¥²±¿ ±«®¢® xn 2 An ±«®¦®±²¨ ¥ ¬¥¼¸¥ log jAnj.¥¬¬ 1. · « ¤®ª ¦¥¬ ¯¥°¢®¥ ³²¢¥°¦¤¥¨¥ «¥¬¬».³±²¼ ±«®¢® xn ¯°¨ ¤«¥¦¨² An. ²®¡» ¯®«³·¨²¼ xn ¬®¦® ¤¥©±²¢®¢ ²¼±«¥¤³¾¹¨¬ ®¡° §®¬: ± · « ©¤¥¬ ±¯¨±®ª ¢±¥µ ½«¥¬¥²®¢ ¬®¦¥±²¢ An, § ²¥¬ ¢»¡¥°¥¬ ¨§ ½²®£® ±¯¨±ª ³¦®¥ ±«®¢®. ® ³±«®¢¨¾ «¥¬¬»±«®¦®±²¼ ¯®°®¦¤¥¨¿ ±¯¨±ª ¢±¥µ ½«¥¬¥²®¢ An ° ¢ O(log n). «¥¥®ª § ²¥«¼±²¢®.29®±² ¥²±¿ ³ª § ²¼ ®¬¥° ±«®¢ xn ¢ ±¯¨±ª¥ ½«¥¬¥²®¢ An.
«¥¤®¢ ²¥«¼®,K (xn) log jAnj + O(log n).®ª ¦¥¬ ¢²®°®¥ ³²¢¥°¦¤¥¨¥ «¥¬¬». ³¦® ¯®ª § ²¼, ·²® ¢® ¬®¦¥±²¢¥ An ©¤¥²±¿ ½«¥¬¥² ±«®¦®±²¨ ¥ ¬¥¥¥ log jAnj. ¬¥²¨¬, ·²®·¨±«® ±«®¢, ¨¬¥¾¹¨µ ±«®¦®±²¼ ¬¥¼¸¥ ¥ª®²®°®£® ·¨±« C , ¥ ¡®«¼¸¥,·¥¬ ·¨±«® ¯°®£° ¬¬ ¤«¨» ¬¥¥¥ C . ·¨±«® ¯°®£° ¬¬ ¤«¨» ¬¥¥¥ C±ª« ¤»¢ ¥²±¿ ¨§ ·¨±« ¯°®£° ¬¬ ¤«¨» 0, 1, . . . , (C 1) ¨ ° ¢®1 + 2 + 22 + : : : + 2C 1 = 2C 1: ª¨¬ ®¡° §®¬, ·¨±«® ±«®¢ ±«®¦®±²¨ ¬¥¼¸¥ log jAnj ¥ ¯°¥¢®±µ®¤¨²jAnj 1. «¥¤®¢ ²¥«¼®, µ®²¿ ¡» ®¤® ±«®¢® ¨§ An ¨¬¥¥² ±«®¦®±²¼ ¥¬¥¼¸¥ log jAnj. 2 ±±¬®²°¨¬ ¥±ª®«¼ª® ¯°¨¬¥°®¢ ¯°¨¬¥¥¨¿ «¥¬¬» 1.°¨¬¥° 1.
³±²¼ ¬®¦¥±²¢® An ±®±²®¨² ¨§ ¢±¥µ ¤¢®¨·»µ ±«®¢ ¤«¨» n. °¨¬¥¿¿ «¥¬¬³ 1, § ª«¾· ¥¬, ·²® ª ¦¤®¥ ±«®¢® ¤«¨» n ¨¬¥¥²±«®¦®±²¼ ¥ ¡®«¥¥ n + O(log n), ¨ ¤«¿ ª ¦¤®£® n ©¤¥²±¿ ±«®¢® ¤«¨»n ±® ±«®¦®±²¼¾ ¥ ¬¥¥¥ n.²¬¥²¨¬, ·²® ¢ ¤ ®¬ ¯°¨¬¥°¥ ¯¥°¢®¥ ³²¢¥°¦¤¥¨¥ ¬®¦® ³±¨«¨²¼,§ ¬¥¨¢ «®£ °¨´¬¨·¥±ª®¥ ±« £ ¥¬®¥ ª®±² ²³, ². ¥.
¬®¦® ¤®ª § ²¼,·²® ±«®¦®±²¼ «¾¡®£® ¤¢®¨·®£® ±«®¢ ¤«¨» n ¥ ¯°¥¢®±µ®¤¨² n + O(1).°¨¬¥° 2. ³±²¼ p1 ; p2 ; : : : ; pk { ¯®«®¦¨²¥«¼»¥ ·¨±« , ¨ ¨µ ±³¬¬ ° ¢ 1. ³±²¼ ² ª¦¥ C { ¥ª®²®° ¿ ¯®«®¦¨²¥«¼ ¿ ª®±² ² . ¯°¥¤¥«¨¬±¥¬¥©±²¢® ¬®¦¥±²¢ An. ¦¤®¥ An ¡³¤¥² ±®¤¥°¦ ²¼ ±«®¢ ¢ «´ ¢¨²¥ ¨§ k ¡³ª¢.
³¤¥¬ ®¡®§ · ²¼ ·¥°¥§ m1(x); : : : ; mk (x) ·¨±«® ¢µ®¦¤¥¨©¢ ±«®¢® x ±®®²¢¥²±²¢¥® 1-®©,. . . , k-®© ¡³ª¢ «´ ¢¨² . ®¦¥±²¢® An¡³¤¥² ±®¤¥°¦ ²¼ ²¥ ¨ ²®«¼ª® ²¥ ±«®¢ x ¤«¨» n, ¤«¿ ª®²®°»µjmi(x) npi j C; i = 1; 2 : : : ; k:(1.1)® ¥±²¼ An ±®±²®¨² ¨§ ±«®¢, ¢ ª®²®°»µ ¤®«¨ ¡³ª¢ ¡«¨§ª¨ p1; : : : ; pk .«¿ ª ¦¤®£® n ¨¬¥¥²±¿ ª®¥·®¥ ·¨±«® ¡®°®¢ ·¨±¥« m1,. .
. ,mk , ¤ ¾¹¨µ ¢ ±³¬¬¥ n ¨ ³¤®¢«¥²¢®°¿¾¹¨µ (1.1). ¬¥²¨¬, ·²® ·¨±«® ² ª¨µ ¡®°®¢ ¥ ¯°¥¢®±µ®¤¨² ¥ª®²®°®© ª®±² ²», ®¯°¥¤¥«¿¥¬®© ·¨±« ¬¨C ¨ k (® ¥ § ¢¨±¿¹¥© ®² n). ´¨ª±¨°³¥¬ ®¤¨ ¨§ ² ª¨µ ¡®°®¢hm1; : : : ; mk i. ®«¨·¥±²¢® ±«®¢ ¤«¨» n, ±®¤¥°¦ ¹¨µ mi ¢µ®¦¤¥¨© i-®©¡³ª¢» «´ ¢¨² (¤«¿ i = 1; : : : ; k), ° ¢®(1.2)S = m !m n! :! : : m !1 2k30±¯®«¼§³¿ ´®°¬³«³ ²¨°«¨£ , ¥²°³¤® ¯°®¢¥°¨²¼, ·²®Xlog S = n mi log mi + O(log n):nn(®±² ² ¯¥°¥¤ «®£ °¨´¬¨·¥±ª¨¬ ·«¥®¬ § ¢¨±¨² ®² C ¨ k.) ·¨²»¢ ¿ (1.1), ¯®«³· ¥¬log S = (pi log pi)n + O(log n):(1.3)®±ª®«¼ª³ ¤«¿ ª ¦¤®£® n ¨¬¥¥²±¿ O(1) ¡®°®¢ ·¨±¥« hm1; : : : ; mk i, ³¤®¢«¥²¢®°¿¾¹¨µ (1.1), «®£ °¨´¬ ·¨±« ½«¥¬¥²®¢ ¢ An ¬®¦¥² ®²«¨· ²¼±¿®² (1.3) «¨¸¼ ¤¤¨²¨¢³¾ ª®±² ²³. ª¨¬ ®¡° §®¬,log jAnj = (pi log pi )n + O(log n):¥¯¥°¼, ¯®«¼§³¿±¼ «¥¬¬®© 1, ¬» ¬®¦¥¬ ±¤¥« ²¼ ¤¢ ¢»¢®¤ :P ) ±«®¦®±²¼ «¾¡®£® ±«®¢ ¨§ An ¥ ¯°¥¢®±µ®¤¨² ( pi log pi)n +O(log n).¡) ©¤¥²±¿ ±«®¢® xn 2 An, ¤«¿ ª®²®°®£® K (xn) = (pi log pi)n +O(log n):²¬¥²¨¬, ·²® ¢»° ¦¥¨¥ (pi log pi ) ¥±²¼ ¸¥®®¢±ª ¿ ½²°®¯¨¿ ±«³· ©®© ¢¥«¨·¨», ¯°¨¨¬ ¾¹¥© k § ·¥¨© ± ¢¥°®¿²®±²¿¬¨p1 ; : : : ; p k .³±²¼ ±«³· ©»¥ ¢¥«¨·¨» '1 ; '2; : : : ; 'k ¯°¨¨¬ ¾²§ ·¥¨¿ ¢ ª®¥·»µ «´ ¢¨² µ A1; A2; : : : ; Ak ¨ ¨¬¥¾² ±®¢¬¥±²®¥° ±¯°¥¤¥«¥¨¥¯°¥¤¥«¥¨¥ 1.P (a1; a2; : : : ; ak ) = Prob['1 = a1; '2 = a2; : : : ; 'k = ak ]: §®¢¥¬ ª®°²¥¦ hx1 ; x2; : : : ; xk i, ±®±²®¿¹¨© ¨§ k ¡¥±ª®¥·»µ ¯®±«¥¤®¢ ²¥«¼®±²¥© ±«®¢, P -²¨¯¨·»¬, ¥±«¨ ª ¦¤®¥ ±«®¢® xin ¨¬¥¥² ¤«¨³ n, ¨ ¤«¿ «¾¡®£® ¡®° § ·¥¨© ha1; a2; : : : ; ak i ·¨±«® ² ª¨µ ¯®§¨¶¨© i, ·²® ¢ ª ¦¤®¬ ±«®¢¥ xjn i-¬ ¬¥±²¥ ±²®¨² ¡³ª¢ aj , ° ¢®nP (a1; a2; : : : ; ak ) + O(1). ±±¬®²°¨¬ ±®¢¬¥±²®¥ ° ±¯°¥¤¥«¥¨¥ ¯ °» ±«³· ©»µ ¢¥«¨·¨ h'; i ±® ±«¥¤³¾¹¨¬¨ ±¢®©±²¢ ¬¨: ®¡¥ ¢¥«¨·¨» ', ¯°¨¨¬ ¾²§ ·¥¨¿ 0 ¨ 1 ± ¢¥°®¿²®±²¼¾ 1=2 (².
¥. ¿¢«¿¾²±¿ ¤¢®¨·»¬¨ ° ¢®¬¥°® ° ±¯°¥¤¥«¥»¬¨); ¯°¨ ½²®¬ ' ¨ ¯°¨¨¬ ¾² ° §»¥ § ·¥¨¿ ±°¨¬¥° 3.31¢¥°®¿²®±²¼¾ (¨, ±®®²¢¥²±²¢¥®, ±®¢¯ ¤ ¾² ± ¢¥°®¿²®±²¼¾ (1 )). ª¨¬ ®¡° §®¬,Prob[' = 0; = 0] = Prob[' = 1; = 1] = 1 2 ;Prob[' = 1; = 0] = Prob[' = 0; = 1] = 2 :³±²¼ ¯ ° ¯®±«¥¤®¢ ²¥«¼®±²¥© hx; yi P -²¨¯¨· ®²®±¨²¥«¼® ³ª § ®£® ° ±¯°¥¤¥«¥¨¿.















