D. Jurafsky, J.H. Martin - Speech and Language Processing (796231), страница 156
Текст из файла (страница 156)
8!Псе у" ь !гке!1 сошрокед ог Гэо чапаЫек г апд ю', йеге ь а кИ8Ы чапапг оп дик пюде!, ггош 1.ш (1998а), 1Ьаг Ьгеа)гк довп 1Ье ехресгед ча1ие Гог Р(!) кИ8Ь11у д)г!егепг!у; ве'11 са11 И йе Еш аяяос!а6оп пгеакиге аккос(;п, пог со Ье сопйкед вгй йе %огдЫег шеакиге кип1 ш йаг че сИксиккед !п йе ргечюпк яесгюп: Гигг агпвгаггол тети ге Р(мг,у) аяксе!Ип(гч .Г) = !о8Г Р( )Р(„! )Р(и,! (20.39) Рог Ьой аккосрМ! апд аккосЬдп, ве 8епегаИу гье йе геагиге у Ког а ъчогд ги оп1у !г" йе авкос чаЬУе ь рогддче гдпсе пе8а6че РМ1 ча1иев (учЫсЬ ипр1у йш8я аге сооссигпп8 (екк оугеп йап чче вои1д ехресг Ьу сЬапсе) сеид го Ье ипге1шЫе ип1екк йе ггаш!п8 со!рога аге епоппоик ((Уа8ап ег а!., 1993; !.!п, 1998а).
1п адй6оп, вЬеп иге аге игдп8 йе аквос-ве!8Ьгед геагигек го сошраге гво гаг8ег учогдк, арче ике оп!у (еагигек йаг со-оссиг в!й Ьой гш8ег Учогдк. Е!вше 20.11 (гош Ншд!е (1990) кЬовк йе дЬгегепсе Ьегвееп гаги (ге9иепсу соипь апд РМ1-кгу!е аккос!агюп Гог когпе гИгесг оЬ)есгк о( йе чегЬ дг!пх. Опе ог йе пюкг васоева(и1 аккосгадоп шеакпгек Гог вогд к!пи!апгу аиегпрь го саргше 1Ье капе шкшгюп ак пшгиа1 !Пгоппадоп, ЬПГ паек йе 1-!ек! кгагь6с го шеакпге Ьоуч пшсЬ гпоге ггециепг йе аякос!адоп ь 1Ьап сЬапсе.
ТЫк шеакиге вак ргорояед Гог со!1оса6оп дегесгюп Ьу Маппш8 апд 8сЬйгяе (1999, СЬаргег 5) апд йеп аррИед го воп! япи!апгу Ьу Сипаи апд Моепя (2002) апд Сиггап (2003). ТЬе 1-Гекг кга6к6с сошригек йе д!ггегепсе ЬеЬчееп оЬкегчед апд ехресгед гпеапк, поппа!мед Ьу йе чвпапсе. ТЬе Ь18Ьег йе ча1ие о( 1, 1Ье 8геагег йе Исе1йоод йаг ве сап ге)есг йе пи11 ЬурогЬеяк йаг йе оЬкегчед апд ехресгед шеапк аге йе капе. Т-геа Гено псгнппу нкея гье рьгпке тигиа1 !лгагтаг!ол и ге!ег го вье! ве пов спп ро!лгоие тигиа! !лгоглтИол епи гас рягпке егресгап оп ау гяе ттиа! 1лгогта дол !ог н Ьп1 н е нов сеи тита! !луогтаг!ол! 1Ье гепп тигле! !и!оста!!ол и иип о!!еп пиеа го гпелп ро!лиепе тита1 !луогтаг!ол. ТЬе ро!п!чч!ке и!пива! !и!оппа!!оп (Еапо, 19б1)в и а шеакпге о( Ьочч ойеп Гво ечепЬ х апд у оссиг, сгнпрагед в!й вЬаг Уче ччои!д ехресс !1 йеу веге гпг1ерепг1епг: 664 СЬарзег 20.
Согпризадопа1 Ьех!са! Бепипз!сз А11ЬоивЬ йе Еис1!деап алд МапЬаззап д!ззапсе шезпсз ргоч!де а шее веошепзс шпвзюп Гог чесзог япв1апзу апд Йяапсе, йезе шеазигез аге гаге1у взед гог зчогд япи1апзу. ТЬ!з !з Ьесаизе Ьой шеазигез зшп ои! зо Ье езресза1!у зепядче зо ехзгезпе ча1иез.
1пззеад ог йезе зппр!е д!ззапсе шеизсз, зчогд з!ш11ап!у 1з Ьазед оп с1озе!у ге1азед шезпсз згош шгогпш!!оп ге!г!еча1 апд ггош 1пуоггпа!!оп !Ьеогу. ТЬе шКоппаз1оп гезпеча1 шейодз зеезп зо зчог1г Ьеззег !ог зчогд япв!апзу, зо зче дебпе а пшпЬег оз йезе ш йзз зесдоп. Ьез'з Ъев!и чдй йе шшрдов гог а япп1апзу шезг!с ш Е(в. 20.9, зп зчЬ!сЬ йе япп1апзу Ъеззчееп пчо Ь!пагу чесзогз зчаз зизз йе пшпЪег ог" геазвгез йе ззчо зчогдз Ьад ш сопвпоп. 1Т зче аззшпе а геазвге чесзог !з а Ьзпагу чес!ог, зче сап дебпе звсЬ а япп1апзу зпезпс Ьу из!вв йе до! ргодпс! ог !ппег ргодис! орегазог Тгош Ипеаг а!веЪга, аз го!!овгз: В!лесу гесгсг РсгГ~~Ьсг Зесег рюсесг зз з!шдоз-ргодисзЖзч) = з'вг= ~ ~чз х в'; (20.44) з=з 1п пюзз сазез, зЬоивЬ, аз зче зазч ш йе ргечюиз зесзюп, йе ча1иез оз оигч ее!ос аге поз Ьзпагу. Ье!'з азяппе зог йе гея ог" зЬ!з зесдоп зЬа! йе епзпез зп йе со-оссипепсе чессог ые йе азяк!а!!оп ча!иез Ъеззчееп йе загвез зчогдз апд еасЬ ог" йе зеазигез.
1п озЬег зчогдз, 1ез'з дебпе йе чесзог гог а загвез зчогд вг зч!зЬ Аз геазигез уз ..Д аз зч = (аззос(зч уз),аззос(зчуз), аззос(и, 5),..., аззос(зчу)ч)) (20 45) Ь!овз, зо вес йе доз-ргог!исз япв!апзу Ъеззчееп зче!вЬзед ча1иез, ъче сап арр1у ззпздззз рзодвсз зо чесзогз зз !1Ь ча1иез дебпед аз аззос!азюпз. 'Пвз зазч доз-ргог1исз. Ьозчечег, Ьаз а ргоЫегп аз а япв1апзу зпезпс: И (ачогз 1опд чесзогз.
ТЬе чес!ог 1еп~ЗЬ зз дейпед аз чесгсг зепзга Я= з=! (20.46) Я~ЩЩЩ~Щ ТЬе Еис!!деав авд МавЬаззав д!ззавсе взезпсз !ог чесзогз а = (аз,аз), авд Ь = (Ьз,бз), )взз зо Ьдче йе геас!ег а вгарЬ!са! зпзшзюв аЬоиз йе здев о! ддзавсе Ьезвзеев чесзогз; звезе рвпзев!аг шезпсз аге вевега!!у воз изес! зог зчогд ззпв!агпу.
Зее СЬарзег 9 рог вюге ов йззапсе шезпсз. Яесдоп 20.7. %огд Я)т!1аг!гу: !)!ки)Ьиг!опа1 МегЬодк 665 А чесгог сап Ье !опдег Ьесаике гг Ьак гпоге поп-хего ча!иек ог Ьесаике еасЬ йтепяоп Ьак а Ьг8Ьег ча1ие. Вой ог" гЬеке гас!к чч11 шсгеаке ГЬе доГ ргодис!. 1! гигпк оих йаГ Ьой ог" йеке сап оссиг ак а Ьу-ргодисс ог" ч огд !гециепсу. А чессог багет а !гее)иепг ч огд ч!11 Ьаче пюге поп-хего со-оссиггепсе аккосгадоп ча1иек апд чч!1! ргоЬайу Ьаче ЫВЬег ча!иек )п еасЬ (ечеп !г" че ике аккос!адоп гче18Ьгк йя сопгго1 котечеЬаг гог ггег)пенсу). ТЬе гакч дог ргодисг гЬик гачогк (ге9иепг кчойк.
гче пеед го тод)гу йе дог ргодисг го поппа!!ге !ог гЬе чесгог 1еп8й. ТЬе кипр!екг чау гк )ик! со йчЫе йе дог ргодисс Ьу гЬе 1еп8йк о( еасЬ ог" йе ггчо чесгогк. ТЫк погпш11хед до! ргодис! шгпк ош го Ье йе кате ак йе сояпе ог" гЬе ап81е Ьеьчееп йе ьчо чесгогк. ТЬе сок)пе ог поппа1!хед до! ргодисг япо1апгу те!по гк йик Чосоае!ехеа' асс рлийсе Соееае ч тсоыпе( ) ~ч~~ -~ (20.47) Весаике чее Ьаче ггапк!Оппед йе чесгогк го ипЬ 1еп8й, йе сояпе те!по, ип!рхе Еис1Ыеап ог МапЬаГГап д!кханое, гк по 1оп8ег кепябче Го !оп8 чесгогк гтт Ьг8Ь- )гециепсу кчогдк. ТЬе сояпе ча1ие гап8ек вагит ! Гог чесгогк рошдп8 !п йе кяпе сИгесг!оп, гЬгои8Ь 0 Гог чессогк йас ые огйо8опа! (кЬаге по сопппоп геппк), го -1 Гог чесгогк ропиш8 )п оррок!ге йгесдопк, а1йои8Ь ш ргасгке ча1иек кепд го Ье роягйе.
1 ег'к д!ксикк ьчо пюге к!т!!аг!гу теакигек депчед (гот !и!оппаг!оп гегпеча1. ТЬе Яассигд (Яассагд, 1908, 1912) (а)ко са1!ед Тап!то!о ог т)п/тах (1)а8ап, 2000)) теаягге чеак оп8)па))у дея8пед гог Ьгпагу чесгогк. 11 чеак ехсепдед Ьу гагегепкгегге (1994) го чесгогк о( ие!8Ьгед аккос!агюпк ак ГО11очк: Хассая ГааоаоЕо аааоаае ! пип(чо ю,) ч к!т)ассагд(ч 'а) еч 2,',. !тах(чпч,) (20.48) ТЬе пигпегагог ог гЬе бгегепкгеггеЛассагд йпсгюп икек йе пнп Ьгпсдоп, еккепда11у сотридп8 йе (кче)8Ьгед) пшпЬег ог" очег!арргп8 (еагигек (япсе )г егйег чесгог Ьак а хего аккос!агюп ча1ие (ог ап аипЬиге, йе геки11 гч)11 Ье хего).
ТЬе депот)пагог сап Ье гдеч ед ак а поппи)!х!п8 !асгог. А 10хе теакиге, йе Р)се теакые, чак япи1аг1у ехгепг1ег1 !гот Ьгпагу чессогк со чесгогк ог" ч егд1иед аккос)аг!опк; опе ехгепяоп !гот Сштап (2003) икек гЬе Хассагд пшпегагог Ьш икек ак дге депопнпагог поппа1гхадоп Гасгог йе гога! чае)8Ьгед ча1ие ог" поп-гего епкпек ш йе Ьчо чесгогк. Песе 2 х ),я, т!п(чо сч,) кгтР!се(ч гч) и 2 ;=!( + ') (20.49) КХ аеееехеасе Р(па!!у, а(ко Ьакед оп йе сопйдопа! ргоЬаЬрдгу-аккос)адоп гпеакиге Р()1еч), гк а Ганн!у ог" !пгоппагюп-гЬеогеис йкгпЬидопа) япн!апгу теакигек (Регегга ег а1., 1993; 1)а8ап ег а!., 1994, 1999; 1.ее, 1999).
ТЬе 1пгшгюп о!' йеке пюде1к гк гЬа! ьчо чесгогк, р апд й, аге япн!аг го йе ехгепг йа! йегг ргоЬаЬ!!пу йкгпЬибопк Р(('рч) апд Р(Яч) аге япн1аг. ТЬе Ьаяк ог" согпрапп8 ьчо ргоЬаЬ!10у йкгпЬигюпк Р апд Д !к йе КиПЬасЬ-Ье)Ыег дьег8епсе ог КЬ д)чег8епсе ог ге!а!(че епггору (Ки11Ьас)г апд 1.е!Ыег, 1951): 666 СЬарсег20. Согпрпгагюпа!Ьех!са15ешапПск Щ~ЩЩЩЩЯ Репа!па чароги япп!апгу: гпеакпгек о! амос)аппп Ьепчееп а ьгаег тоге' м апй а Геашге г" = (и гч') го апойег еогп и ', апо' теакагек ог чесгог к!шпапгу ьепчееп вогп сооссппепсе чесгогк ч апо ю.
В(Р~ф) = ~~~ Р(х)!оа Р(х) (20.50) ()пГопппаге1у, йе К(.-г(!чегдепсе !к ппг(ейпед ччЬеп Д(х) =- 0 апй Р(х) ф О, кчЬ!сЬ ь а ргоЫегп япсе йеке гчоп)-с$1кп(Ьпг)оп чесгогк аге аепегаПу цп(ге крагке. Опе аПешаПче (Еее, !999) ь го пке гЬе Яепкоп-ЯЬаппоп г11чегаепсе, аЫсЬ гергекепь йе йчегаепсе оГ еасЬ гПкгПЬпгюп !гош йе пгеап оГ йе гкчп апг1 г(оекп'г Ьаче йгк ргоЫеш ъчй легок. плюй-яиччоч дпгяечге 2 2 (20.51) КерЬгакег!! п геппк ог" чесгогк р апг1 гч, ч+ гч ч+ гч яш)5Я~гч) = В(ч( )+В(гч~ — ) 2 2 (20.52) Г(апге 20.13 кшшпаггаек гЬе пгеаяпек ог" аккосгагюп апг) ог" чесгог к!пп1апгу йаг кче Ьаче г!еяапег).
Бее йе Ньгопса! Хогек кеспоп гог а япшпагу оЕ ойег чесгог япп1апгу шеакпгек. Р!паПу, !ег'к 1оо)г аг коше ог" гЬе гекп1ь о! гПкгпЬппопа1 и огг) япп1апгу. ТЬе го!- 1очч!па аге гЬе геп ~чоп)к гпоя япп1аг го гЬе йП."егепг рагь о1 креесЬ ог" !горе апг) ЬпеД г!епчег! кч(й йе опИпе г)ерепдепсу-Ьакей япп!апгу соо! (!лп, 2007); гЫк гоо1 г(ейпек йе со-осспггепсе чесгог Ьу пк)иа аП ппшраг агапппапса! ге!агюпк, паек йе аккре!;п пгеакаге ог" аккос)аг!оп, апг) паек а чесгог япп!апгу шеп(с ггош )ап (1998а). ! Бес!(оп 20.8. Нуропугпу апд 0$Ьег 'гчогд Пе1аг)опк 667 ° Ьоре ($Я$): орйпып 0.141, сЬапсе 0.137, ехресгабоп 0.137, ргокресг 0.126, г1геат 0.119, дегдге 0.118, геаг 0.116, ег(оп 0.111, сопбдепсе 0.109, ргопике 0.108 ° Ьоре (У)г ччои1д И!ге 0.158, гч)кЬ 0.140, р!ап 0.139, кау О.! 37, Ье!гече 0.135, й!п)с 0.133, а8гее ОЛ 30, гчопдег 0.130, ггу 0.127, десЫе 0.125 ° Ьг(е(' ($Ч$): !е8а1 Ьг!ег" 0.139, а(бдач!г 0.103, ИИп8 00983, репдоп 0.0865, досшпепг 0.0835, аг8шпепг 0.0832, 1епег 0.0786, геЬиаа! 0.0778, тепю 0.0768, агггс1е 0.0758 ° Ьг(ег" (А): !еп8$Ьу 0.256, Ьоиг-!оп8 0.191, кЬоп 0.174, ехсепдед 0.163, )гег)иепс 0.163, гесепс О.! 58, кЬоп-Ичед 0.155, рго1оп8ед 0.149, гчее)г-1оп8 0.149, оссагдопа1 0.146 20.7.4 Еча!аа(1аа 1У181г1ЬШ10аа1 ччогг1 Япп!аг11у $оП5') )5$$5'! ргесггдоп =, гесаП = Ф~ М (20.53) Сипап (2003) еча1иасед а птпЬег ог" ИИкгпЬигюпа1 а!8опйпь Ьу сотраг!п8 кч!$Ь $Ьекаиткек апд гоипд йаг йе Ебсе апд Хассагд тегЬодк реггоппед Ьекг ы теакигек о( чесгог к(пп!апгу, апд г-гекг рег(оппед Ьекг ак а теакиге о( аккосгабоп.
Т1шк, йе Ьекг те!по гче!81ыед йе аккос(абопк чч)гЬ г-гекг, апд $Ьеп ыед еПЬег Ебсе ог Хассагд го теакиге чесгог к)пп1аг!гу. 20.8 Нуропу)пу апс1 Ойег %~ого й.е1а6опя 8!т$1апгу ь оп1у опе )дпд ог" кетапг!е ге1абоп Ьегкчееп иогдк. Ая гче саксиккед ш СЬаргег 19, гчогд(я(ег апд МеБН ЬогЬ $пс!иде Ьуропуту/Ьурегпуту, ак до гпапу $Ьекаипьек (ог ойег 1ап8иа8ек, кисЬ ак С!$ !и (ог СЫпеке. гчогдЬ)ег а1ко !пс1идек ап(опузпу, пгегопугпу, апд ойег ге1агюпк.
ТЬы, !г" кче кчапг со )спогч !г" пчо кепкек аге ге!агед Ьу опе ог" йеке ге! адопк апд гЬе кепкек оссиг $п 'гчогд(я)ег ог МеБН, кче сап РьгПЬибопа1 сдпб1апгу сап Ье еча1иагед !п гЬе кате кчаук гче еча1иаге йекаипзкЬакед к(пи1апгу: гче сап сотраге !пп(пк)са$!у го Ьшпап гдпи!апгу ксогек ог гче сап еча1иасе И ехсппгдсаПу ак рагс ог" епд-ю-епд аррИсагюпк. Векгдек гчогд кепке д!катЬг8иабоп апд та1аргорьт дегесгюп, к!пп!апгу теакигек Ьаче Ьееп ыед ая а рад оГ яукгетк гог гЬе 8гагИп8 ог" ехапь апд еыаук (Ьапдаиег ес а)., 1997), ог га)г!п8 ТОЕЕ$. пт1Ир1е-с1ю!се ехапь ().апдаиег апд Рита!к, 1997; Тигпеу ег а1., 2003).
РьгпЬибопа1 а!8опг1ипк аге а1ко оаеп еча1иасег1 гп а $Ыгд гпгппгдс кчау: Ьу сотрапкоп гч)гЬ а 8о!д-кгапдагд гЬекаигик. %е сап согпраге сИгесг!у идгЬ а ядп81е йекаипь (бгегепкгегге, 1994; $.$п, 1998а), ог гче сап ике ргеспдоп апд гесаП теакигек а8а(пкг ап епкетЫе ог" йекаипьек (Сиггап апд Моепк, 2002). ).ег 5 Ье йе кес ог" и огдк йаг аге дебпед ак гдпп1аг ш $Ье йеяашы: Ьеш8 ш йе кате купкег ог регЬарк кЬапп8 гЬе кате Ьурегпугп ог Ье)п8 ш йе Ьурегпугп-Ьуропут ге1абоп.