D. Jurafsky, J.H. Martin - Speech and Language Processing (796231), страница 20
Текст из файла (страница 20)
(1996) апг$ Веек1еу апг$ Кагпипеп $2003) г$експЬе кисЬ РЗТ-Ьакег) го1гешхегк. Яесйоп 3.9, )чогй апд Яеп[епсе То1[епгаайоп 71 6[/пвг/Ып/рег1 $1еккегппппег = "(а-ва-ко-9]'П ОпоС1еекег = "[ Л-ка-кд-9]"2 Оа1чауввер = "[[' 2[()' "П /'[[']"2 $«11с1« = "('[:[-['5['О['И['11[ аа[ ча[М т['я['6['и['11('ге['че[п'с)") 5аььг("со.") = 1; $аььг("ьг.") = 1; $аььг("[ап.") = 1; $аььг("Реь.") = 1; чЬк1е ($1кпе = «>)( Ф геаб СЬе пехС 1гпе Ггоп веапбагб кпрпС Ф рпк чЫСевра«е агоппб ппапЫдпопв яерагагогв $1кпе = в/Оа1чауввер/ Оа /д; Ф рпе чЬккевра«е агоппб «оввав Скак агеп'С кпвюе ппяЬегв 511пе = в/[[ О-д]),/51, /д) $1гае = в/,(["0-9])/, $1/92 Ф 61в«1пд«1вЬ вгпд1едпокев Ггов араякгорЬев Ьу Ф ведпепкгпд огг в1пд1е дпокев пок рге«едеб Ьу 1егкег $11пе = в/ '/Оа /9) $1кпе = я/(Опос1ессег)'/$1 '/д2 Ф аедпепк окг ппапЬГдпопв вогб-51па1 «1ккг«в апб рпп«кпаккоп $11пе в/5«11Ь1«$/ Оа/ю $1кпе = в/$«1111«(5п«С1еССег)/ $1 $2/д; Ю пое беа1 чгСЬ рвгк«ба.
Рог еа«Ь роввкЫе чогб ОроввгЬ1ечогбв=вр11С (/[ва/,511пе) ) Гогеа«Ь Ояогб (ОроввгЬ1ечогбв) ( 5 ге 1с епбя 1п а рег1об, кг ((Очогб " /$1еккегппкпег[./) ва !(Оаььг(дчогб)) Ф апб гяп'с оп сье аььгечкас1оп 1квс Ф апб гвп'С а ведпеп«е ок 1еккегв апб регкобв (О.я.) Ф апб боевп'с гевевЫе ап аЬЬгеч1асгоп [по чаче1в: 1п«.) аа [(Очогб = ,' ((а-га-к][.([а-ка-к]1.)с[[а-г](ь«будь)-прсчхк]я[.)5/)) ( Ф СЬеп ведпепк «55 СЬе регкоб Овогб в/1.$/ ) Ф екрапб «1кк1«в Очогб = в/'че/паче/) Очаге = в/'и/ап/) рг1пг. Очогб ) рггпг "'и"; ) А яа[пр1е Епд![5Л [о1[ешкайоп яспр[, асар[ей пот бгегепв[епе (1999) апд Ра]гпег (2000). А геа1 вопр[ [чоп16 Лаге а!опдег аЛЛ[еч]айоп 6[сйопагу.
а1!5Ь й(сйопагу) ч оп!д йга[ п)а[сЬ [Ье [яогй [Лего [п [Ье [про[ гйпсе й]а[ га [Ье !опаеа[ де[(попсе о[" 1е[[егд рйа[ [па[сЬеа а й(сйопагу ч/оп1. Б[агйпа 1гош ЛЬе епй о[ йега, ЬЬе 1опаех[ ша[сЬ(па й!сйопагу ч ого !5 Ые[2, (о11о)уед Ьу ои и апд [Ьеп [Ьеге, ргойпс(па ЬЬе шсопес[ ае((пепсе Йе[а ()16[( ои и [~ите. ТЬе а!аог(аппп дееша [о чог1[ Ье[[ег [п СЬ[пеае (ч4[Ь апсЬ ОЬог[ чогйа) [Ьап [п 1апапааед! 1!ге Епп!15Ь чпй!опа ч огйа, аа опг (а[!ей ехагпр!е 5Ьо)уд. Ечеп ш СЫпеае, Ьо[речег, шахпш[сЬ Ьаа а пшпЬег о( [чеа][пе55, рагйсп1аг!у [р!6) ппЬпокуп суогйа (ч пгйа по[ ш [Ье й(сйопагу) ог оп![поп п пепгеа (депгед )уЬ[сЬ й!1[ег а !о[ [гоп) ЛЬе аахшпр6опа шаде Ьу ЬЬе й(сйопагу Ьп()йег).
ТЬеге га ап ашша1 согпрешюп ([есЬшсайу са11ед а ЬаЬеой) (ог СЫпеае аепшеп[а6оп а!дог([Ьша. ТЬе пюгп апссе55[01 пюйегп а!дог!йппд [ог СЫпеае ч огй аерпеп[айоп аге Ьааей оп шасЫпе 1еагпша (гош Ьапй-деашеп[ей [гаш!па де[5. ')я/е гешгп [о гйеве а(аог([Ьшд а[[ег ч е Ьпгойпсе ргоЬаЬ11!56с шей)ойа ш СЬар[ег 5. 72 СЬартег 3.
йтогг)к апг1 Тгапкт)псе!к АсоааВОВ; Вит ту ип л ктоеет Сеп1у, 1 Пине печет ляпеп уои ипу 1еттегк. Састт ч; Уои пееП ЬипПу геттпП те л1 окат, Еглея. 1 тететЬег ол1у гоо тоеП тЬиг1 и икуогсеП то ног!те уоиг 1епетуог уои 1 анюте и!талую !атее ятей и тоееМ, апИ коте!!тек о!телег. Асоааттоттг ОЬ, гто 1ет те геиП ткет, Сесйу? Састсчт ОЬ, 1 сои!Пп'т роЫЫу. ТЬгу голи!П тиИе уои)иг тоо гопгейеП. ТЬе тЬгее уои и гоге те иутег 1 ЬиП Ьгокеп оД тае епхихетепт иге го Ьеииттти1, илП го ЬигПу креПеИ, таит енеп пав 1 гоп БигП!у геиП тает тот!кот сгутпе и Пуье. Оксат Чч"$!тте, Тке !трат!алое о~Ветлу Вигпея $.1!те Оксат %$10е'к ТаЬп1опк СесПу, а 1от о1 реор!е иеге йшРПп8 аЬош креП)п8 т)пгтп8 йе !акт тпгп оГ тЬе сепшгу.
От!Ьетт апт$ ЯпПтчап ргочтг)е шапу ехашр1ек. ТЬе болг?оПегк' бшкерре, Тот ехаптр1е, гчоптек йат Ык рпчате кестетагу ь окЬа1ту тп Ьь креПш8", и Ы1е 1о)апйе'к РЬуПь сап акреП ечету тчогт$ йат кЬе паек". ТЬогкте)п ЧеЫеп'к ехр1апатюп (ш Ык 1899 с1акяс ТЬе ТЪеогу о? йе 1.е1киге С1акк) иак йат а шаш рпгроке о1 тЬе "агсЬатс, спшЬгопк, апт$ шеТТест)че" Еп81ьЬ креПтп8 куктеш ноак то Ье т$$йсп!т епоп8Ь то ргонЫе а тея о1шешЬегкЫр 1п йе!еьпге с1акя %'Ьатечег йе кос)а! то!е оТ креПш8, ие сап сегтатп!у а8тее йат шалу пюге о1 пк аге П)те Сеет!у тЬап 1$)те РЬуПтя Ектппатек Тот йе Тгег)аепсу оГ креПш8 епогк ш Ьпшап-турет$ техт чату 1гош 0.05% о1 йе еноте)к тп саге)ЬПу ет$Пет1 петчкиттге техт то 38% тп тЫйсп1$ аррйсаттопк П)те те1ерЬопе тПгестогу !оо1тпр (Кп)т)сЬ, 1992). 1п йь кестюп и е $птгот)псе йе ргоЫепт о!' т$етесПп8 апт$ соттесПп8 креП)п8 епогк.
%псе йе ктапт)ят$ а18опйш Тот креП)п8 еттог соггестюп ь ргоЬаЬт!ьПс, и е сопПппе опт креП-сЬес)т)п8 гПкстьяоп 1атег ш СЬартег 5 айег тче деПпе йе ргоЬаЬПьПс поьу сЬаппе1 шот)е!. ТЬе т1етесПоп апт$ соттесПоп о1 креПш8 етгогк 'ь ап $пте8га! рагт оТ пют)егп иост! рюсеккотк апт1 кеагсЬ епрпек. 1$ ь а1ко ппрогтапт тп сопест)п8 етгогк ш орПса! сЬагаскег гесо8п1!$оп (ОСК), йе ашошаттс гесо8пПюп о1 шасЫпе ог Ьапт1- ргтптег$ сЬагастегк, апт1 1п оп-Ппе Ьапт)иг$$1п8 гесо8п$$1оп, йе гесо8пЫоп оТ Ьшпап рпптет1 ог сшяче Ьапт)и г)т)пд ак тЬе пкег ь тчг)ттп8. РоПовтп8 Кп)т)сЬ (1992), ие сап гПкПп8шкЬ йгее шсгеаяп81у Ьгоат)ег ргоЫешк: оса 1. $ч)оп-тчогт$ еггог т)екеск)опт т)етест)п8 креПш8 еттогк йат гека!т $п поп-тчогт)к (П)те 8гиДе 1ог угаДе).
2. 1ко!акет$-тчогт$ еггог соггесПоп: соттесПп8 креП)п8 етгогк йат гека!т ш попиогйа 1ог ехяпр1е, соггесПп8 ПгаДе то 81гаДе, Ьш 1оойп8 оп!у ат йе итогт$ тп ьо! аПоп. 3. Соп$ех$-т)ерепт$еп! еггог т)екес!$оп апг$ соггесПопт пяп8 тЬе соптехт то Ье!р т)етест апт$ со!тест креП)п8 еттогк ечеп $1 йеу ассЫептаПу тек а1$ 1п ап астпа! и огт$ о1 ЕпВПкЬ (геа$-тчогт$ еггогк). ТЫк сап Ьарреп Тгош туро8гарЬка1 етгогк ($пкегт)оп, т)е1ет)оп, тгапкрояПоп) йат ассЫепта$!у ргойтсе а геа! и огт$ (е.8., йеге Тот йгее), ог Ьесапке тЬе нчгПег коЬкПтптеП йе и гоп8 креПтп8 о1 а ЬопюрЬопе от пеаг-ЬошорЬопе (е.8., Пеккегт 1от Пекея, от р1есе $ог реасе). ага!глот алого 3.10 РЕ1ЕС60П аПС1 СОТТЕС60П 0Г ЯРЕ11Шд ЕПОГЯ Ре|ес|!п8 поп-хчог|$ епогк ь 8епегаПу |$опе Ьу шагйп8 апу хчог|$ йа| ь по| $оип|$ 1п а |!!с!!ипату.
Рог ехатпр!е, йе пйвяреП)п8 8 аде аЬоче гчоы!|$ по| оссиг |п а |$!ст)ипату. Коше еаг1у геяеагсЬ (Ретегяоп, 1986) Ла|1 я|88ек|е|1 йа| внсЬ кре1Пп8 сПсПопаг1ек гчои!д пес|1 |о Ье 1|ер| япаП Ьесаиве!аг8е гПс|юпапея соп|аш чеку гаге тчогг$я |Ьа| геяешЫе пиввреПЫ8я оК ойег тчог|$я. Рог ехашр1е йе гаге гчогт)я |солт ог чее|у аге а!во сопппоп пиввре!Пп8 о$ |поп'т ап|$ чету.
1п ргасПсе, Рашегаи ап|$ Мауя (1989) !они|1 Йа| игЬ$!е во|не пивяреПш8в |чете ЬкЫеп Ьу геа! пгогт)в ш а 1аг8ег |$$ст!ипату, йе 1аг8ег сПсПопыу ргоче|$ нюте Ье!ррн! Йап Ьагтптн! Ьу ачоЫ!п8 шагЫп8 гаге гчот|$я ав еггогя. ТЫя ь еврее)аПу |гие тч1|Ь ргоЬаЬПьПс вреП-соггес|юп а18опйпь йа| сап ике тчог|$ 1гег)ыепсу ая а 1астог. ТЫ!я, пю|1егп вреП-сЬесК!п8 яуя|ешк |еп|! |о Ье Ьаве|! оп 1аг8е |ПсПопапея. ТЬе йпПе-ыа|е шогрЬо!о81са! рагяегя |$еясг!Ье|$ йгои8Ьои| Й|в сЬар|ег ргочЫе а |есЬпо1о8у тот ипр1ешепйп8 внсЬ 1аг8е гПсПопапев.
Ву 8!ч)п8 а шотрЬо!о81са! рагяег аког а тчог|$, ап Р8Т рагвег ь шЬегеп|!у а |чоп1 гесо8шхег. 1п|$ее|$, ап РЗТ пюгрЬо!о8$са! рагвег сап Ье тигпе|$ |и|о ап ечеп пюге ейс1епт РБА тчог|$ гесорихег Ьу ыя1п8 Йе рго3ест!оп орегаПоп |о ехиасс йе !отчет-кЫе 1ап8на8е 8гарЬ. БнсЬ РБТ г$!ст)опапея а!во Ьаче йе а|$чапта8е от" гергеяепПп8 рго|ЫсПче пюгрЬо1о8у 1$Ке йе Еп8ПвЬ -в ап|1 -е|$ |пПесПопк. Т1ия ь ипрогтап| 1ог |$еа$$п8 чч$|Ь пеи 1е8$$!шаге сошЬшаПопя о1 ятепь ап|$ |пйесПоп. Рог ехыпр!е, а пехч ктеш сап Ье еаяПу а|$|$е|$ то йе |$!ст)ипату, ап|1 |Ьеп аП |Ье 1пйесте|$ !опик аге еая1у гесо8шхед.
ТЫя шаКея РБТ сПсПопапев еярес|аПу рочгегты! аког яреП-сЬес)Пп8 !п пюгрЬо!о81саПу псЬ!ап8на8ея и| тчЬ)сЬ а яп8!е ыеш сап Ьаче тепв ог Ьип|Ье|$я от рова)Ые яш~асе Гоник.~ РЗТ гПсПопапея сап тЬыв Ье!р иг!й поп-тчоЫ еггог |$етест)оп. Ви| Ьои аЬош епог сопесПоп? А!8|тг!|Ьшв $ог !яо!ате|$-хчог|$ епог соггесПоп орега|е Ьу Пп|Пп8 чанг|!я йа| ые Йе!|Ке1у яошсе о1 йе епогй! топи, Рог ехатпр1е, соггесПп8 йе креП1п8 епог дга~е ге|$шгев яеагсЫп8 йгои8Ь аП рова!Ые |пот|!я!$Ке 8|гаЯе, 8га~ сгаЯ рта|1, етс., |о рк1| Йе тпоы ПКе!у воысе, То сЬоояе апюп8 йеке ро|епиа1 вонгсев, хче пнет! а еПя|апсе шевг!с Ьетгчееп йе конгсе ап|$ йе внгКасе епог.
1п|шПче!у, 8|та„рте ь а тпоге 1|Ке1у яоигсе |Ьап 8гат! $ог 8гаЯе Ьесаияе 8$гаЯе $я с1ояег ш яреП|п8 |о угад йап 8гат! ыо 8ги$)е. ТЬе пюк| ропгегти1 тчау |о сарпые Й|к я|Ы!впту |пшЫоп гецы|гея |Ье нве от ргоЬаЬПиу |Ьеоту ап|$ ь |$$всияяе|$ !и СЬар|ег 5. ТЬе а!8оп|1ип ып|$ег! у)п8 йь яо!нт!оп, Ьохчечег, ь йе поп-ргоЬаЬ|!ык пип$пипп егП| гПя|апсе а18оп|Ьтп Йат гче !и|го|!нее |п Йе пех| кесПоп. Реек!!п8 гчЫсЬ о|." ттчо гчог|$я 1я с1ояег |о яоп|е |Ь)г|$ хчог|$ !п вреПш8 ь а ярес!а! саяе оГ йе 8епега! ргоЫеп| от" вгг!п8 |$$вгапсе.
ТЬе |1ыапсе Ьетхчееп тхчо к|пп8к ь а шеавиге о$ Ьотч а1|Ке тхчо к|пп8к аге |о еасЬ ойег. Ману ипрогтап| а$8оптЬшв Гог Пп|$)п8 я|пп8 гПя|апсе ге! у оп хогне четв)оп от" йе В|пщ гапалсе йаг!у прот!-с!гассета, Ьу соппаи, аиогчсд апу гаага |о тгачс апу потах; гтгпа, саг|у чсгяопа от ттптх пратт ассар!си Ьтхапе ргсвхсд гассана !рпс тпс|аь апд ах!|пот|акр|пяту апа астахов погш |гого Ье, тгхс гксбоогт апд Ьспеап 3.11 М1пппшп Бй1 Рь1апсе Бесии 3.11. Мишпшп Е|$1$ Романсе 73 74 СЬарсег 3.
%огдк апд Тгапкдисегк ятьлллиа еие веселее Аттялелель $Д~~Щ йергевепсспя ьие шспсшиш еди йвсапсе Ьесчееп сьчо ясппяв ав ап а1!8ппьепь. ТЬе дпа1 готе рчея йе орегаиоп Ияс Гог сопчегсспд сие сор виспя ьпсо йе Ьоиош апик: и Гьг де1еиоп, в Гог внЬвдшдоп, ь Гог ткегсюп. %е сап а1ко аягд8п а рагбси!аг соки ог ьче(8Лс со еасЬ оГ сЛеке орегабопя. ТЬе ЕечепяЬСесп йксапсе Ьесьчееп сьчо кециепсея ь йе гдшр!екс ьчеьдЛВп8 Гассог ш ьчЫсЛ еасЬ оГсЬе сЛгее орегасюпя Ьак а сояс оГ 1 (1.ечепкЛсеьп, 1966).в ТЛня, сЬе 1.ечепяМеш ссьсапсе Ьесчеееп тптеадоп апд ехесидоп ь 5. Ьечепкйеьп а1ко ргорокес$ ап а1сегпа6че четв!оп оГ 1ия шеспс ш ьчЬьсЬ еасЬ спкегбоп ог с$е1есюп Лак а сояс оГ 1 апд янЬясьснсюпв аге пос а11оьчед (етсн(часепс со а11оьчш8 янЬяс(сн6оп, Ьнс 8$чсп8 еасЬ яиЬкйн6оп а соси оГ 2 гдпсе апу янЬвйшюп сап Ье гергекепсед Ьу опе шкегсюп апд опе де!есьоп). 1)гдп8 сЬь чегяьоьь, йе $.ечепяЛсесп д(ясапсе Ьестчееп тпьепдоп апс1 ехесидоп ь 8.