D. Jurafsky, J.H. Martin - Speech and Language Processing (796231), страница 45
Текст из файла (страница 45)
ТЬе а18опйтп аа ве Ьаче деист!Ьед П гет]и!геа Ьапд-аппотатед дата то тгаш йе сопли«!оп шатпсеа. Ап а1тегпадче арргоасЬ и«ед Ьу Кепи8Ьап ет а!. (1990) Ы то сошрше йе шатпсе«Ьу иегадче]у и«[п8 тЬ!«чету «ре!Ип8 епог сопес6оп а18оптЬш !тае]т". ТЬе Ьегаиче а[8опйш Ьгат !пйа!ыеа тЬе ила!псе«втй етрла1 ча!иея тЬиа, апу сЬагастег ь етрла!1у О[те]у то Ье де1етед, етрлаПу!Пте1у то Ье «иЬ«дтшед тот апу ойег сЬагастег, етс. Хехт, йе аре1!ш8 епог сопестюп а[8опйип ы плп оп а апет ол «реПтп8 епога.
б!чеп тЬе ает о( туро«ратгед вПЬ йетг сопестюп«, тЬе сопбляоп тпатпсе«сап пов Ье гесоптритед, йе аре11тп8 а18оптЫп плп а8аш, апд тю оп. ТЫ«с!счет шейод шгп«оит то Ье ап !и«тапсе ог" йе ипрогтапт ЕМ а18опйпт (]лешр«тег ет а1,, 1977), вЬлсЬ ве д!«си««ли СЬартег 6. 5.9.1 Соп(ехал ЯреИшд Еггог Соггесхлотт Аа ч е шептюпет1 аЬоче, йе поьу сЬаппе! арргоасЬ сап а]«о Ье арр1лет! то т1етест апт1 сопест геа!-вогд креП!п8 еггогя епог«йат ге«иП ш ап астиа1 ч огд о(Еп8П«Ь. ТЫ« сап Ьарреп тгош туро8гарЫса1 еггог«(иьеп1оп, де1етюп, тгап«роядоп) йат ассЫепта!!у ргодисе а геа1 чогд (е.8., йене тот йгее) ог Ьесаи«с тЬе чптег ялЬ«дштед йе вгоп8 «реП!п8 от" а Ьотпор[юпе ог пеат-ЬошорЬопе (е.8., де««егт тот е[е«егт, ог ртесе (ог реасе).
ТЬе та«[т от" сопестш8 тЬеае еггога ь а1«о саПед сои[ех1-аеп«%1че ареП соггес[]ои. А пшиЬег от" яитПе««и88еат йат Ьетвееп от" 25% апд 40% от" «рердп8 епога аге ча1Ы Еп8!ЕЬ тчогд«а«тп йе ГоПочап8 ехашр]еа (КиЫсЬ, 1992): Йеотононет еннон «ееееаоо .еоееа-ееоаоне аеетт соп.есооо ТЬеу аге 1еайп8 ш аЬоит Ойееп иипиеп то 8о то Ьег Ьои«е. ТЬе дея8п аи сопатплстюп ог" тЬе «уктеш чпП та1те тпоге йап а уеаг. Сап йеу [аче Ьип шу шеи«аде«? ТЬе «шду ва«сопдпстед шатп1у Ье )оЬп В!ас[т. %е сап ехтепд йе поьу сЬаппе1 тподе1 то деа1 в1й геа]-воп1 «реПш8 епог«Ьу 8еттетатш8 а саит!тт!ате «реИтд «ет тот ечету вопд ш а «ептепсе (Мау«ет а1., ! 991).
ЩЩЩЩЩЯ Соптритадоп оГ тЬе гапЫп8 Гог еасЬ сапгПт!ате сопесдоп. Хосе тЬат йе ЫПЬе«т тап!тет! вогд ь пот асттея Ьш асге«(йе ьчо!лпе«ат тЬе Ьоиопт о( йе таЫе) япсе асге«сап Ье 8епетатед ш ьчо вау«. ТЬе де![], и«[1, «иЬ[], апд ттаа«[] сопйлтдоп та!псе« аге рчеп ш или тп Кеш!8Ьап ет а!. (! 990). 168 СЬар|ег 5. Рагг-о1-ЯреесЛ Та88!п8 ТЬе сапй|!аге яе| !пс1иг!ек йе ячогг) !|яе!Г, р1ик ечегу Еп81!кЬ ъчогг! йа| гчои1д Ье 8епегасег)1гот йе гчогг) е|йег Ьу гуро8гарЛ)са! пмх00саг!опк (1епег !пкег6оп, г!е1ег)оп, киЬяг!|иг!оп), ог Ггпу а ЬопюрЬопе 1)яг.
ТЪе а18оп|)ип йеп сЬоояек йе яре!1!п8 1ог еасЛ гчогг) йа| 8!чея йе |чЬо!е яеп|епсе |Ье Ь|8Ьея| ргоЬаЬ!!!|у. ТЛа| ЬЛ 8!чеп а яеп|епсе И' = (и |, и к,..., и |„..., и „), гчЬеге вк Ьая а1|егпа||че кре11|п8 и ', |ч", е|с., ъче сЛоояе )гот атоп8 йеяе рояяЫе яре!1)п8я |Ье яре1! !п8 |Ьа| тахтихек Р(% ), Ьу ы!п8 йе Ч-8гат угапмпаг |о сотри|е Р(% ).
Моге гесеп| гекеагсЬ Ьак )осоке|! оп !тргочш8 йе сЛаппе! то|!е! Р1г'с), кисЬ ая Ьу тсогрогаВп8 рЬопейс )пГогта1)оп ог а!1огч)п8 |логе сотр!ех еггогк (Вп!1 ап|1 Мооге, 2000; Тои|апоча апг! Мооге, 2002). ТЛе люк| ипрог|ап| ипргочетеп| |о йе !ап8иа8е пюг)е! Р(с) |к |о ике чету !аг8е соп|ехпп Гог ехатр1е, Ьу ик!п8 |Ье чегу !аг8е яе| оГ 5-8гатк риЫ|с1у ге1еаяег) Ьу боо81е ш 2006 | Егапх ап|1 В|аппп 2006).
Бее )я)огч!д (2007) Гог а и!се ехр1апа|юп апг! а руйоп ппр!етеп|аВоп о) йе по|ау сЬалпе! тог)е!; йе епг) оГ |Ье сЛар|ег Ьак йг|Лег ро!п|егя. 5.10 Бипппагу ТЬ!к сЬар|ег !пггог!исег) йе Ыеа о)' раггя-о$'-креесЬ апд раг1-оГ-яреесЬ !ай!пд. ТЬе таш Ыеая: ° 1.ап8иа8ея 8епега1!у Ьаче а ге!а6че1у ята11 яе| о1 с!окей с1аяя гчогг)к |Ьа| ие ойеп Л!8Л!у ~гециепг, 8епега11у ас| ая )ипс1!оп ячоп)я, апг) сап Ье а|пЬ~8иоик ш йе!г раг|-о1-яреесЛ 1а8я. Орел-с1акк гчогг)к 8епега!1у шс!иде чапоик )г!пг!к оГ поила, чегЬк, аг!)ее!!чек. ТЬеге аге а пшпЬегоТрагг-оГкреесЬ сод!п8 ясЬетек, Лакей оп яа8яе1к оГ Ьег|чееп 40 ап|! 200 |а8я. ° Рагя-оГ-яреесЬ 1ад8!пд |к йе ргосекк оГ акя!8п)п8 а рагг-оГ-яреесЬ!аЬе1 |о еасЬ о1 а кег!иепсе оу гчогг)к.
Ки1е-Лаке|! |а88егк ияе Лапд-|чпиеп п|1ея |о йяг!п8и)кЬ |а8 атЬ)ди!|у. НММ |а88егя сЬоояе йе сад яег)иепсе йа| тахпп)хек йе ргойис| о1 |чоган Иге!)Лоог! апг) т8 кег)пепси ргоЬаЬ!1||у. 0|Лег тасЬше!еагпй8 тоде!к икег! гог га88!п8 шс!иг!е тахппшп ел|гору апд о|Ьег 1о8-1|пеаг пкк)е1к, бес!кюп |геек, тетогу-Лаке|) 1еагп!п8, апд ггапкГопйаг!оп-Ьакег) 1еагп)п8. ° ТЬе ргоЬаЪ|1Ыек ш НММ т88егк аге гга!пей оп Лап|)-1аЬе!ед гга)п!п8 со|рога, согпЬ|пе сЫгегепс )Ч-8гат!ече1к Ьу ик!п8 г)е!егег) |п|егро!а|юп, ап|1 шсогрогаге корЬ)кисагед ип)гпоячп гчоп1 тоде!я. ° б)чеп ап НММ ап|! ап |при| к|пп8, |Ье Ч!гегЬ1 а18ог!йт сап г)есог)е йе ор|нпа) |а8 яег)иепсе. ° Та88егк аге еча1иа|е|1 Ьу сотрапкоп оГ йе|г отри| Лот а |ек| яе| |о Ьшпап 1аЬе1к 1ог йа| |е|п яе|.
Е|гог апа!ук!я сап Ле1р р|про!и| агеая !п ячЬ)сЬ а га88ег |!оеяп'1 рег)опп |че1!. В(ЫюдгарЫса! апг( Ныгопса! )я(огея 169 ВТЫюдгарЫса1 ап(:1 Нхе~опса1 Хо1ез ТЬе еаг1(еяг (шр!ешепгег( ран-оГ-яреесЬ аьь(дпшепг а1допгЬш шау Ьаче Ьееп рагг оХ йе рагьег (п Ус!1!8 Ныпя'я Тгапь(оппаг(опя апг$ $7(ьсоигье Апа1угдь Рго)есг (ТХ)АР), вЫсЬ вак (шр1ешепгег( Ьегвееп Хине 1958 апг$ Хи!у 1959 а! $Ье (Хп(чегь(гу о( Реппьу1чап(а (Ншпя, 1962). Ргечюиь пашга1 !апдиаде ргосеяь)пд яуьгешь Ьаг( иьег$ йсгюпапеь вЬЬ ран-одьреесЬ гп(оппагюп Гог вогг)ь Ьи! Ьаче пог Ьееп г(еьспЬед аь реггопп(пд ран-оХ-яреесЬ йьшпЫдиаг(оп.
Аь рагг о( $ы рагяпд, ТХХАР йг$ ран-о(- яреесЬ йяашЫдиаг(оп в($Ь 14 Ьапг(-вг(ггеп пг!ея, вЬоье ияе о( ран-о(-яреесЬ гад ьециепсея ргейдигея а!1 шог(егп а!допйпы апг$ вЬояе пгп огг(ег ваь Ьакег$ оп гЬе ге1- а6че (тег)иепсу о( гадь Хог а виги. ТЬе рагьег!гаддег ваь генпр!ешепгег$ гесеп$1 у апг( ы г(еясНЬег$ Ьу ХояЫ апг$ Норе1у (1999) апй Кагггипеп (1999), вЬо поге йаг гЬе рагяег вая еяяеп0а11у нпр1ешепсег$ ((п а шог(егп вау) аь а саьсаг(е оГ Йшге<паге иапьг)исеть.
Боои айег йе ТХХАР рагьег вая йе СошригаВопа) Огапнпаг Сойег (СОС) оХ К!е)п апг$8(пппопя (1963). ТЬе СОС Ьад йгее сошропепы: а 1ех(соп, а пюгрЬо!одка! апа1угег, апг$ а сопгехг йьапЬ(диагог. ТЬе ьша(! 1500-воп1 !ех(соп (пс1иг(ег( ехсергюпа1 вогг(ь йаг сои!г$ пог Ье ассоипсег$ (ог $п йе ягпр1е пюгрЬо1орса1 апа!убег, (пс1и6$пд (ипсгюп вогг(я ая ве!! ая птеди!аг поипь, чегЬь, апг$ аг(Хеся(чеь. ТЬе пюгрЬо!орса1 апа!ухег ияег$ $п()есгюпа! апй бег)чаг(опа! ьийхеь го аяя|дп ран-оГ-ьреесЬ с!аььея. А воп$ ваь пш $ЬгоидЬ йе 1ехкоп апг( пюгрЬо1од)са! апа!ухег го ргог)исе а сапйг(аге ьег о( раггь-оГ-яреесЬ. А ьес о( 500 сопгехг ги!ея вая $Ьеп иьег$ го г1ыагпЬгдиаге $Ыя санг)(г(аге кег Ьу ге1ушд оп ьиггоип6$пд $ь|апг)я о( ипашЬгдиоия вогг)я.
Рог ехагпр!е, опе пг1е яаЫ йаг Ьегвееп ап АКТ1СЬЕ апг( а ЧЕКВ, йе оп1у а11оваЫе ьедиепсеь веге АХХХ-)Я(О($$Я$, $Я$0(Х)Я(-А(ХЧЕКВ, ог $Я(О(ЛЯ(-$Я$0($$Я$. ТЬе СОС а1допйгп геропег$90% ассигасу оп арр1ушд а 30-гад гадяег го ап(с!ея Тгош йе 5с(епгфс Атеасап апг$ а сЬ$)дгеп'ь епсус)орег($а. ТЬе тлаогт гаддег (Огеепе апг( КиЬ(п, 1971) ваь Ъаяег( оп йе К1еш апг(8(пипопь (1963) яуьгеш, ия(пд йе яаше агсЫгесгиге Ьиг (псгеаыпд йе ь(ге оГ йе йсг(опагу апг$ йе ь(хе о( йе гадяег го 87 Гадь.
Рог ехагпр1е, $Ье Хо1!ов(пд ьагпр!е ги!е ьгагея йаг а вогг1 х гя ип!рхе!у го Ье а р1ига$ поип ($я()я(8) Ье(оге а 0нгд регьоп Ыпди1агчегЬ (ЧВУ): х ЧВУ. — пог )Я))Я(Б Тлосгт ваь арр!(ей го йе Вговп согриь апг(, ассогсйпд го Ргапс(ь апг) Кибега (1982, р. 9), "геки!сед ш йе ассигаге гадд(пд о( 77% о( $Ье согриь" (йе геша(пг(ег о( $Ье Вговп согриь вая гаддег( Ьу Ьапг(). Хп йе 1970ь, йе Х.апсаягег-Оя1о/Вегдеп (1.0В) согрия ваь согпр$!ег$ аь а ВпгыЬ Епд!ыЬ ецийа!епг оГ йе Вговп согриь. 1$ вак гаддег$ в$$Ь гЬе СХ.А%8 гаддег (МагьЬа11, 1983, 1987; Оагяг$е, 1987), а ргоЬаЬ$1ыйс а!допгЬгп йаг сап Ье ч(евег$ ая ап арргохппагюп го йе НММ гадрпд арргоасЬ. ТЬе а1доП$Ьш ияег$ гад Ь(дгаш ргоЬаЬ$1- г6еь, Ьиг $пягеаг$ о( ягоппд йе вогг(!$$ге1$Ьоод о( еасЬ гад, гЬе а!дог($Ьш шаг)сег$ гадя егйег ая гаге (Р(гад$вогг$) < .01) (п(гедиеиг (Р(гафвогг$) < .10) ог поппи!!у)гедиепг (Р(гад$вогг$) > .10), ТЬе ргоЬаЬг1ыВс ялитя гаддег оГ СЬигсЬ (1988) вая с!ояе го а (и11 НММ гаддег.
1$ ехгепг(ед йе СХ.А%8 Ыеа го аьь)дп й!1 1ех(са1 ргоЬаЬ$!Жея го еасЬ вогг((гад сошЬшагюп апг( ияег1 Ч(гегЬ$ йесойпд го Ьпг( а гад яег(пенсе. ХХ)ге йе СХ.А%8 гаддег, Ьовечег, гг яиогег( йе ргоЬаЬг1Ьу оГ йе гад, рчеп йе вогг( 170 СЬартег5. Рагт-о!тдреесЬТадд)пд Р(тафтчогд) * Р(тафргечюив п гадя) (5.57) гатЬег йап ив(пд тЬе ргоЬаЬ11(ту оГ йе тчоЫ, д(чеп тЛе тад, ак ап НММ таддег т!сев: Р(тчотт)!гад) * Р(гад!ргеч)оик и садк) (5.58) Х.атег таддегк ехр11сЫу (и!тот(исет( йе ые о( йе Ь(тЫеп Маг1соч пют)е1, ойеп тч(тЬ йе ЕМ тга(п)пд а1допйпп (Кир(ес, 1992; Мепа!до, 1994; ч(те)ксЬет(е1 ет а1., 1993), 1пс1ит(1пд йе иве от" чапаЫе-1епдй Маг!точ пют1е1в (ЯсЬйтте апд д(идет, 1994). Мок! гесепс тадд(пд а!дог(йипк, 11)те тЬе НММ аит( ТВЬ арргоасЬек тче Ьаче йксиккей аге шасЫпе 1еапипд с1авв(йегв йат евйпате йе Ьеа гад-весртепсе тот а вептепсе, д(чеп чапоы Геашгев кисЬ ак йе сипепт тчогт(, пе(дЬЬоппд рапк-о(-креесЬ ог тчотт(в, апд ип1споип иогт) геатигек кисЬ ак опЬодгарЬгс апт( пюгрЬо1од)са) Хеаюгек.
Малу )апт)в о( с!акв(йегв Ьаче Ьееп ивет( то сошЬ(пе йеве театигек, шс!ийпд бес(- яоп !геев (Хе11пе)т ет а1., 1994; Мадеппап, 1995), пихипшп ел!тору шот)е1к (Катпараг)тЬ1, 1996), ойег 1од-1шеаг шоде1к (Ргапт, 1996), шелесту-Ьакед 1еапипд (Оае!ешаы ет а1., 1996), апт( петтчог1ск о( 11пеаг верагатогк (3)к(ОчУ) (Кой апт( Хе!ел)то, 1998). Мок! шасЫпе 1еапипд пют1е1в яееш со асЫече ге1адче!у в)пи!аг рет!оппапсе д)чеп в(пп1аг театигек, гоидЫу 96%-97% оп тЬе ТгееЬап(т 45-тад гадает оп йе !!а(1 5тгеет Хоитпа! согры, Ав ог" йе тчпдпд оГ йь сЬартег, йе Ь(дЬевт-ретуопп(пд риЫьЬет( шот)е! оп йтв 'ч(тдХ ТгееЬап(т тав!т 1в а!од-1)пеаг таддег тЬат ыея ит(оппаВоп аЬоит петдЬЬоппд тчотт)в ав тче1! ав !адв апт) а корЬ(кт)сатет) ип)тпотчп-тчотт) пют(е1, асЫеч)пд 97.24% ассшасу (Тошапоча ет а1., 2003).
Мок! висЬ шот(е!к аге кирегчьет(, а1йоидЬ лог!т ь Ьед)пп(пд оп ипкирегч)кет( пют(е!к (дсЬйтге, 1995; Вп!1, 1997; С1аг)т, 2000; Вап)то апт( Мооге, 2004; Оо1т)тчатег апт) ОптТттЬк, 2007). Веат)егк (птегектед 1п йе Ыктогу оГ рапв-от"-креесЬ вЬои10 сопвиЬ а Ьииогу оХ 1шди(вт(св кисЬ ак КоЬшк (1967) от Коегпег апт( АкЬег (1995), рагЬси1аг1у йе агт(с!е Ьу НоыеЬоИег (1995) (п йе 1апег. Яашркоп (1987) апт( Оатк)т)е ет а1. (1997) д)че а дега(1ет( кипипагу от йе ргочепапсе апд ша)теор от" йе Вготчп апт( ойег садясь.