D. Jurafsky, J.H. Martin - Speech and Language Processing (796231), страница 27
Текст из файла (страница 27)
Еиг|Леппоге, йе М1.Е тейп|! а1ко рго|)осек роог екйпа|ек ячЛеп йе соитк аге поп-лего Ьи| к611 кша11. "ече пеег( а п|ейо|1 |чЬ(сЬ сап Ье1р 8е| Ьеиег ешипа|ек Гог йеке хего ог !о|чГгециепсу оопп|к. алого соипышп ои| |о саые апойег Ьи8е ргоЫегп. ТЬе регр!ехьу те|по юГ|пег( аЬоче гег)и(гек йа| яче со|праге йе ргоЬаЬ!1!|у оГ еасЫек| кеп|епсе. Ви| !Г а |ек| кеп|епсе Ьак ап !ч'-8гат йа| печег арреаге|1 1п йе |га)пш8 ке|, йе тахипшп 1йе1!Лоод екшпа|е оГ йе ргоЬаЬ!1!|у Гог й)к сч'-8гат, ап|1 Ьепсе Гог |Ье ячЬо1е |ек| кеп|епсе, |ч!11 Ье хего! ТЬ!к |пеапк йа| 1п огг(ег |о еча1иа|е оиг !ап8иа8е |поде1к, |че пеег( |о то< 1Гу йе МЕЕ тейод |о акы8п коте поп-хего ргоЬаЬ!!Лу |о апу )ч'-8гат, ечеп опе йа| гчак печег оЬкегче|1 ш |гшп(п8.
рог йеке геакопя, |че'11 ячапг |о пюйуу |Ье тахнпит Иге(!Лоод екВта|ек Гог сотрш!п8 я(-8гат ргоЬаЬ~1Л)ек, Госик)п8 оп йе )ч'-8гат ечепь йа| чче шсоггес0у аккитед Ьа|) хего ргоЬаЬ!1иу. %е ые йе |епп кпюо(Ь(п8 Гог кисЬ тоййсаг!опк йа| аг(йгекк йе роог екВта|ек йа| аге г(ие |о чапаЬ~1пу |и кта11 г)ага кеь. ТЬе пате со|пек Ггогп йе Гас| йа| (1оо)г)п8 аЬеа|1 а Ь||) гче чч!11 Ье кЛач)п8 а Ии1е Ьп оГ ргоЬаЬ|!Лу п|аы Ггот |Ье Ы8Ьег соипь ап|1 рВ|п8 Л !пкгеаг( оп йе гего соипыпа)г!п8 йе йки!Ьиг)оп а 1ЛВе 1екк )а88ед.
1п йе пех| Ге|ч яесбопк |че !и|го|!исе когпе ктоой(п8 а18опйпь апд кЛояч Лояч йеу тог(!Гу йе ВегЛе1еу Кек|аигап| Ь18га|п ргоЬаЫ1Ыек ш Е!8. 4.2. япаасиая 4.5.1 Ьар!асе Ятпоойнпд кар|а се е ьаз Р(|ч,) =— У 1.ар1асе ктоо|Л!п8 гпеге1у аг(г(к опе |о еасЬ соип| (Лепсе !ь а)|егпа|е па|пе а|Ы- опе ктоо|Л!п8), %псе йеге аге Р ячогг)к ш йе чосаЬи!агу апд еасЬ опе |чая шсгетеп|ед, |че а1ко пее|1 |о а|Цизг йе г(епопппасог |о га(се ш|о ассоши йе ех|га р оЬкегча|юпк. (ЖЬаг Ьаррепк |о оиг Р ча(иек !Г |че г(оп'г |псгеаке йе |)епопипа|ог?) Ааа-аае Опе я|пр)е ячау |о до ктоо|Л!п8 пи8Л| Ье улш |о га)ге оиг гпа|пх оГ Ь|8га|п соип|к, ЬеГоге ше поппи(!хе йеп| (п|о ргоЬаЬ~!Жея, апг) аг(г) 1 |о а11 йе соип|з. ТЬЬ а18оп|Лт ь са11ег! Еар1асе ктооГЛ!п8, ог Ьар1асе'к 1.аъч (Ь!г(кгопе, 1920; ЮоЛпкоп, 1932; ЯеГГгеук, 1948).
Ьар(асе ктоой!п8 |Геок по| рег(опп ше11 епои8Ыо Ье икег( ш тодегп )ч'-8гат пкх)е1к, Ьи| |че Ье8!и яч!|Л || Ьесаые Ь гп|пхйсек |папу о!' йе сопсерыЬа| гче кее !п ойег ктоой(п8 а18опйпь апг! а!ко рчек ы а ыери! Ьакейпе. 1.е|'к кгагг ис!й йе арр1|са|юп оГ Ьар1асе кшоой!п8 |о ши8га|п ргоЬаЬ!1!Век, КесаВ йа| йе ипктоойег( тахипшп 1йе!!Лоог! екИ|па|е оГ йе ит8гат ргоЬаЬ!1Лу оГ йе |чогг! и | ь Вк соип| с; поппа1!гег( Ьу йе |о|а1 пшпЬег оГ исог|! |о)геок )ч': Яес6оп 4.5. БпюогЫп8 99 с,+1 Рг.ар$асе(~ч!) Аг+ у $4.20) 1пкгеаг$ оГ сЬапрп8 Ьой йе пшпегагог апд г$епош)пагог, и ы сопчешепг го г$еяспЬе Ьокч а яшоойш8 а18опйгп аТТесгк гЬе пшпегасог, Ьу г$ейп)п8 ап аг$1ик$ег$ соип! с'. Т)6я аг$)иягег$ соипс ь еаяег со сошраге йгесс!у гч)й йе МЬЕ соипгк апг$ сап Ье гигпег$ $пго а ргоЬаЬ$10у !!!ге ап МЬЕ соипг Ьу поппа1!г)п8 Ьу Аг. То тейпе йы соипг, к!псе гче аге оп1у сЬапрп8 гЬе вппегагог $п ай !иоп го агЫ)п8 1 гче*1! а!ко пеед го пш!6р1у Ьу а поппа11аагюп уасгог,+,; $У с,' = (с;+1) Аг+ 1' чче сап почч гигп с,* шго а ргоЬаЬг10у Р; Ьу поппа1$а!п8 Ьу $9.
А ге!а!ей гчау го чгегч яшоой$п8 ь ая йясоип$$п8 (1огчепп8) коше поп-гаго соипгя гп огг$ег го 8ег йе ргоЬаЬг1ау шаяя йаг ипП Ье аяк18пег$ го йе лего соипь. ТЬшп $пкгеаг$ оу геуегггп8 го йе йксоипгег$ соипь с', кче пи818 г1еяспЬе а кшоой)п8 а!8опйш $п геппя оГ а ге!а6че 61ксоипг г$г, йе га6о оГ йе йксоипгег$ соипь го йе опрпа1 соипье с* ис— с )к$огч йаг кче Ьаче $Ье шгшбоп Хог йе ипг8гагп саяе, 1ег'к кпюой ош Вег$ге!еу Кеягаигапг Рго)есг Ь!8гагпя.
Е$8иге 4.5 кЬоччя йе адд-опе кшоойег$ соипь Тог йе Ьг8галь гп Е!8. 4.1. 1 кчап1 1о еа! сЫ пеке $1пп$1иисЬ зра$$$1 828 1 7 3 Т 7 6' '2: 1 Т 7,'.' '212: 3 43 .'.,'.1 1 83 2 ' 1 1 2 1 1 .1 ." ..':1 ИЩЩЯИ Аиг$-опе ипоойеи Ь|агааг соопгк Гог е$КЫ оГ гпе гчогак (онг оГ У = $446) $п йе Вег$ге)еу Кеягаигапг Рго)есс согрик о! 9332 кепгепсек.
Ргечгоик$у-гаго соипь аге $п рау. Е$8иге 4.6 кЬоччк йе агЫ-опе яшоогЬей ргоЬаЬг!п1ея 1ог йе Ьг8гапь ш Р!8. 4.2. Кеса!1 йаг поппа1 Ьг8гаш ргоЬаЬЙВек аге сошригед Ьу поппа11а)п8 еасЬ гочч о1 соипь Ьу йе ип$8гаш соипг: С!и'к-1гчк) к Рог агЫ-опе кшоогЬег$ Ь$раш соипь, ие пеег$ го аирпепг йе иш8гап1 соипг Ьу йе пшиЬег о1 гога! юогг$ гурек гп гЬе чосаЬи1агу У: г 6 кчап1 3 1о .3 еа! ' "1 с1ипеке 2 $Ьог$16 1ипсЬ 3 пг1 2 1 10 ! 609 2 7 5 687 3 3 1 17 1 1 ! 16 1 2 1: 1 1 1 100 СЬарсег 4. Ат-Сгашя С(ит~ — т тчд ) + 1 1.ар!асет~"!~" — |) ! С!тел — | ) + С ТЬия, еасЬ о1 йе ип18гаш соиптк 8!уев ш йе ргечюия яесбоп |Ы11 пеед со Ье аи8шептед Ьу Р = 1446.
ТЬе геки!с Ь йе япоойед Ь~8гаш ргоЬаЬ|1Ыек !п г18. 4.6. 1о еа1 с1ипеяе Вюд !ипсЬ ярепд тчаас 0.00025 0.0029 0.00026 0.0014 0.052 0.002 0.0011 0.00058 0.21 0,00042 0.00026 О.00062 0.00039 0.00056 0.00058 $ЩЩЩЯЯ Адд-ове япюойед Ьтагяп ргоЬаЬ|!Шея 1ог етапт от йе тчопь сой ог С' = |446) ш йе ВеКР согрвя о! 9332 тес|евсея. Ртеиоия1у-гего ргоЬаЬ|!Ыея ате т 8гау. 1с ь ойеп сопчешепс со гесопксптсс йе соипт тпаспх ко тче сап кее Ьои пшсЬ а япоо|Ь|п8 а18оптЫп Ьая сЬап8ед йе опрпа1 соипь. ТЬеке ад3иятед соипь сап Ье сошрисе|1 Ьу Ец. 4.24. Р18иге 4.7 я1ютчя сЬе гесопяи иссед соипск.
~С(тч„тв„)+ 1) х С(и„т) С(и'„т ) + Ст (4.24) ! |чап1 1о еа1 сЫ пеке йнк$ 1 ипсЬ я реп д 3.8 527 1.2 .0,39 1.9 . 0;63 :0.34: О.ЗФ 0.2 0.098 0.57 0.19 0.32 ' О;16 0.64 0.64 1.9 2.7 2.3 0.78 0,63 4.4 133 1 15 ..0.34; 8.2 02 0.098' 2,2 0,43,'0.43„: 0.38 0.19 0.19 0,16 0,16 |0.16 т итапс 10 еа1 сЫпеке )Вод 1ипсЬ аре)тд. 6.4 0.64 0.78 2.7 430 1.9 0.34 5.8 0.098 0.098 0,43 0,86 0.16 ' ' О.'16 ЩЩЩЩЩ А|Ы-опе гесопябсшет! соипь сот е!86с тчои!к !оС р = 1446) ш йе ВеКР согрия ос 9332 яепсепсея. Ргебоия!у-гего соипск агс ш кгау.
Хосе сЬат а|Ы-опе яшоойтп8 Ьая шаде а чету Ь|8 сЬап8е со |Ье соипск. С(тчапт то) сЬап8е|1 Сгош 608 со 238! %е сап кее |Ык тп ргоЬаЬ1!тту красе ая тче!1: Р(то~ъчапт) десгеаяея Сгош .66 ш йе ипяпоойес! саке со .26 !и йе япоойед саке. 1.ооЫп8 ас йе д!ксоипс сС (сЬе га1ю Ьепчееп петч апс! о1д соипся) яЬотчя ик Ьотч япЫп81у йе соипся Гог еасЬ ргебх тчогд Ьаче Ьееп гедисед; йе дсксоипс Кот йе Ь~8гатп итавт то ь .39, счЬ!!е йе д!ксоипс Гог Ссттиеяе тоод ь . 10, а Гас!от о1 10! ТЬе кЬатр сЬап8е тп соипь ап|1 ргоЬаЬ1!!!сея оссигя Ьесаике 1оо пшсЬ ргоЬаЬ|18у шакк ы пюче|1 со а)! |Ье гегоя.
%те сои!д пюче а Ь|с 1еяя итака Ьу а|Ыш8 а Сгасбопа1 соипс гайег сЬап 1 (адд-6 япоо|Ып8; (1.1дясопе, 1920; ХоЬпкоп, 1932; 1ейгеуя, тчапС пу еас сЫпеяе аоод 1ипсЬ пд 0,0015 0.0013 0.00078 0.00046 0,0012' 0.0063 0.0017 0.0012 0,00025 0.26 0.0013 0.0014 0.00062 0.0063 0.00056 0.0012 0.0025 0.00084 0.18 0.00062 0.00056 0,00058 0.64 , 238 3.1 1 0.098 6.9 0.19 0.32 0.00025 О.01|49 0.00078 0.0078 0.00062 0.00079 0,00056 0.00025 0.0025 0.0018 0.02 0.0012 0.00039 0.00056 0.00058 0.00075 0.00084 0.055 0.00046 0,00062 0.00039 0,00056 000058 5есг!оп 4.5. отпой!п8 101 1948)), Ьш |Ьыпе|Ьод геци!гек а те|Ьой (ог сЬоогбп8 д 6упаписаПу, геки!|к !и ап |п- арргорпа|е сПксоип| (ог тапу соипь, ап|1 тгпк ош |о 8!че соипь |ч!|Ь роог чапапсек. Рог йеке ап|1 о|Ьег геакопк (ба!е апд СЬигсЬ, 1994), |че'П пес|1 Ье||ег ктоой!п8 те|Ьобк гог А|-8гапь Иге йе опек |че кЬо|ч |и йе пех| кес|юп.
4.5.2 Соог!-Тг|ппд РЬсошйшд соотг пяк яшки~оп и,= х:соиь (я) =с (4.25) ТЬе М1.Е соши Гог Аг, ь с. ТЬе боод-Типп8 тшшоп ыо ек|ппа|е йе ргоЬаЬ|1пу оГ 6ип8к йа| оссиг с шпек |п йе |га!шп8 согры Ьу йе МЬЕ ргоЬаЬП)гу о( |Ып8к йа| оссиг с+ 1 |ппек |и йе со|рик. 5о йе боос1-Тиг!п8 ек|ппасе гер1асек йе МЬЕ соил| с !ог АГС |ч|й а ктоо|Ье6 соип| с* йас Ы а йпсбоп о1 АГ,.|.| | с'. = (с+ ! ) (4.26) чче сап ые Е|). 4.26 |о гер!асс йе М1.Е соипь Гог аП йе Ь|пк А|ь А|ь ап|1 ко оп.
1пкгеа6 о| игбп8 |Ык е|)иа|юп |Пгесбу |о ге-ек6та|е йе ктоойе6 соил| с* (ог Фш |че ые йе 1оПоилп8 ег)иаг!оп Гог йе ргоЬаЬ|П|у Р' (ог |Ып8к йас Ьа6 хего сопи! А|о, ог ъчЬаг чге пи8Ы саП йе т)кк(п8 така: А|| Р~г(й!п8к |ч!|Ь Ггег)иепсу хего |и |га|п|п8) =— Аг (4.27) Неге Аг| ь йе соип| о( цепь т Ь|п 1, йа| ь, йас |чеге кееп опсе !п сгйтп8, апй А| ыЬе |о|а1 пшпЬег о~ ||епыче Ьаче кееп !п |гат!п8. Ециаг!оп 4.27 |Ьы 8!чек йе ргоЬаЬ|!Пу йа| йе Аг+ 1к| Ы8гагп яче кее илП Ье опе йа| |че печег качч т ггшп!п8.
БЬо|ч!п8 йа| Ец. 4.27 1о11оччк 1гот Ег). 4.26 ь 1ей ак Ехегсье 4.8 1ог йе геадег. ТЬеге аге а пипйег ог" пшсЬ Ьеиег |Ьксоипбп8 а!8опйгпк |Ьа| аге оп1у кП8Ьс1у пюге сотр!ех йап асЫ-опе ктоой!п8. 1п й|к кес6оп |че !пггодисе опе о1 йет, (спокчп ак Соод-Тиг(пд ктоойт8.
ТЬе боойТипп8 а18опйт |чая Пгкг 6експЬед Ьу боод (1953), |чЬо сге|Пь Типп8 |ч!й йе оп8!па! Ыеа. ТЬе т|ш6оп оГ а пшпЬег ог" |Пксоип6п8 а18опйпь (боод-Типп8, ЪМВеп-ВеП 61ксоипгтд, апд Кпекег-Ь(еу япооЬЬ(п8) ыо ые йе соил| оГ й!п8к уои'че кееп олсе |о Ье!р ек|ппасе йе соил| о1 6ип8к уои'че печег яеел. А |чог6 ог А|-8гат (ог апу ечеп|) йа| оссшк опсе Ы са1!ед а к(пд!егоп, ог а Ьарах 1е8отепоп. ТЬе боойТиппд !п|ш|юп ыо ые йе (гег)иепсу ог" |Пп81есопк ак а ге-ек6гпа|е о1 йе !гециепсу оГ хего-соипг Ь~8гапь. Ье!'к ГоппаПхе йе а!8опбпп. ТЬе боойТипп8 а18опй|п ь Ьакед оп соп|ри6п8 А„йе пшпЬег о1 А|8гапь йа| оссш с 6|пек.
чче геГег |о йе пшиЬег о1А|8гатк йа| оссиг с |опек ак йе Хгег(иепсу оХ !гег(иепсу с. Бо арр1у!п8 йе ЬПеа |о япоо6ип8 йе )о|п| ргоЬаЬ|!||у о( Ь|8гапь, А|е ыЬе пшпЬег ог' Ь|8гап|я |ч!й соип| О, А|| йе пшпЬег о( Ь~8гапь плй соип| ! (к!п8!е|опк), апй ко оп. |че сап й!пЬ о( еасЬ о( йе л(, ак а Ьш йа| к|огек йе пшпЬег о( 6!|Тегепг А|-гагата йа| оссиг |и йе |га!п|п8 ке| ъч!|Ь йаг (гес)иепсу с. Моге ЕоппаПу: 102 СЬар«ег 4.