D. Jurafsky, J.H. Martin - Speech and Language Processing (796231), страница 47
Текст из файла (страница 47)
А Маг)точ сЬаш ь зрес(йед Ьу йе Го11ов!па сошропептя а зет оГ Ат к(а(ек а !тапа!Г(оп ргоЬаЫ11(у та(г!х Я, еасЬ а; гер-, гекепт!па йе ргоЬаЫ11(у оГ шоч(па Ггопт агате ! токтате ),к.т. 2 2.гатт; — '1 ч! а зреси1 ззаг! з(а(е апд епд (Йпа)) к(а(е йат аге пи аззостагед в)й оЬзегчадопз ЧО ЧР Р!доте 6.1 зЬовк йаг ве тертезепг йе зтатез (!пс!пд)пд зтатг апт1 епд зтатек) аз подез !п йе агарЬ, апд тЬе ттапядопз аз едаез Ьетвееп подек. А Мат)точ сЬатп ешЬод)ез ап ппроггапт азяппрдоп аЬош тЬеке ргоЬаЫ116ез. 1п а йгк(-огдег Маг(соч сЬаш, тЬе ртоЬаЬт1Ьу оГ а рагт!сп!ат агате дерепбз оп1у оп йе ргечюпз яате: ттякотИтт мамон тт зи Маг)гоч АкяипрЬоп: Р(т(т~дп. Ф-т) = Р(т)т!т)т-!) (6.1) (6.2) Ап а1тегпадче гергезептатюп йат 1з кошедшез пзед Гог Маг)юч сЬапз доезп*т Ь(ото дтат Ьесапзе еасЬ а, ехргеззез тЬе ргоЬаЬт!тту р(ду!т);), тЬе 1авз оГ РтоЬаЬт1- пу гецшге йат йе ча1пез оГ йе остап!па агск Ггош а а!чеп зтаге пиит ялп то 1; 176 СЬарсег 6.
Н)т)с)еп МаМоч кпсс Махппшп Еппору Мос)е1к ге!у оп а ыагс ог епс$ ксасе, )пксеас1 гергекепсспа йе нксг)Ьиссоп очет сшпа1 ксасек апс$ аееерс)па ксасек ехр! Ип1у: л=лс,ла,...,лд ап 1п!с)а) ргоЬаЫ!!су сИксг)Ьнс!оп очег ксасек. лт !к йе ргоЬаЬс1Ьу сЬас сЬе Маг1соч еЬып чч$11 кСыс ш агате т. Бенге ксасек 7' шау Ьаче л = О, шеыппа йас йеу еаппос Ье сшВа1 ыасек. Адко, 2 ";, л; = 1 ДА = СС)как...) а кег ДА С Д ос'1епа! аееерйщ к)аСек ТЬик, сЬе ргоЬаЬт1ау оК ыасе 1 Ье)па йе Ьгы ксасе сап Ье гергекепсес$ еЬЬег ак аос ог ак лс.
)к!осе йас Ьееаике еаеЬ л; ехргеккек йе ргоЬаЬ$!$су р$дт~БТАКТ), а)! йе тг ргоЬаЬ11$$$ек пшкс киш со 1: (6.3) т=! ВеГоге уои ао оп, ике йе кашр!е ргоЬаЬсВВек )п Еса. 6.2Ь со еошрше йе ргоЬаЬс! Ьу ос' еасЬ ос' йе 1о!1отчспа кес)иепеек: (6.4) Ьос Ьос Ьос Ьос (6.5) еоИЬоссоИЬос 'тчЬас ссоек йе йттегепее ш йеке ргоЬаЬсВВек се!1 уои аЬош а теа)- мотИ тчеайег сает епеог)етс ш Е)а. 6,2Ь? ЩЩЯЯЩ Апайег гергекепсааоп о! йе катпе Мы)оч сЬып сот тчеайег кЬомп сп рса. 6.!. !пктеатс ог" иксии а креста! кСал кгате члй аис сгапкссюп ртоЬаЬ$$)ссек, тче ике йе л чессог, вЬИЬ тертекепск йе ссскспписсоп очег ксагсспа ксасе ргоЬаЬт!шек.
ТЬе Ьаиге 1п $Ь) кЬовк катпр1е ргоЬ- аЬг1Жек. 6.2 ТЬе НкЫеп Магич Мос1е1 А Маг1соч еЬасп $к икеГп1 кчЬеп чче пеет) со сошрше а ргоЬаЬ$!)су сот а кес)пеппе оГ ечепск йас сче сап оЬкегче сп сЬе счогИ. 1п шапу еакек, Ьосчечег, йе ечепск ите ате ЯесПоп 6.2. ТЬе НЫПеп Маг(соч Мос1е1 177 Нчиее Маете~ тоне! Оьеп а кес)иепсе о( оЬкегчаПопк О, еасЬ оЬкегчаПоп ап !пседег сопе- кропгдпд со йе пшпЬег ос ссе сгеаиь еасеп оп а рчеп с1ау, Пдиге оис йе сопесс ЪссЫеп' кес(иепсе Д ог" счеайег спасек (Н ог С) счЬ!сЬ сасьес1 Хакоп со еас йе ке сгеаш. Еес'к Ьед!п чч!сЬ а копна! Пейшсюп о( а ЬнЫеп Маг1соч шос)е1, Госисдпд оп Ьочч П йггегк сгош а Маг)соч сЬасп. Ап НММ Ь крее!Пес( Ьу йе Годосч!пд сошропепьс а кег ЬС АГ агньск (Е ~ СХНХС.
"9)Ч А = апасг- ..а„с...а„„ а Сгапк!Ьоп ргоЬаЫПСу сна(гсх А, еасЬ а; гергекепбпд йе ргоЬаЬс! Пу од шоч!ид Сгогп ксасе ! сокьсех,к.с. 2,'," сост=,! сг! а кос!пенсе оГ Т оЬкегс аьоик, еасЬ опе с)гамп йош а чосаЬи!агу Сг = чс,ч~, ..пчч а кес(пенсе ог оЬкегчаСХои 1ПсеПЬоосск, а1ко саПес( еинкксоп ргоЬаЬсППек, еасЬ ехргекяпд йе ргоЬаЬППу оХ аи оЬжчас!ои ог Ьешд деи-, егасес( Хгош а к!асс с О = осок...ог а крес1а1 к(агС кСнСе апс( епсХ (Ппн!) к(нСе йаС аге пос некос!асесС всй оЬкегчадопк, содейег. ной напк16оп ргоЬаЫППек аосаос...ао, оы оС йе снап к!асс апсС а!гасе...
а„г нно йе епс) ксасе Ак сче посесс Гог Маг1соч сЬаспк, ал а1сегпаПче гергекепгадоп йаг с к коисегнпек инесс Сог НММк с)секи'С ге)у оп а кгагг ог епс) кСаге, !пкгеас( гергекепПпд йе гдкгпЬиПои очег сшПа! апсс ассерПпд насек ехр1ЫП!у. %е с!оп'с ике йе л посаПоп !п йск сехсЬоосс, Ьис уои сиау кее и ш йе 1ссегашге; !псегексес( ш шау пос Ье сдгесс!у оЬкегчайе сп йе иог1й Рог ехагпр1е, ш ран-ос- креесЬ садддпд (СЬарсег 5) сче ЙЫп'с оЬкегче рап-оГ-креесЬ садк ш сЬе счог!й; сче касч счогс(к апс( Ьас) Со !пХег йе сопесС Садк (гош йе счогс) кес)иепсе. 9(ге саП йе рап-о(- креесЬ садк ЬнЫеп Ьесаике йеу аге пос оЬкегчей ТЬе кагпе агсЫсесшге сошек ир сп креесЬ гесодпЖоп; сп сЬас саке не кее асосьПс ечепск !п йе счог1с( апс) Ьаче со !п(ег йе ргекепсе оГ "ЫсЫеп" счогс(к сЬас аге йе ипс(ег1 у!пд саика1 юигсе ог йе асоикс!ск.
А ЬЬЫеп Маг1соч шос(е! (НММ) а(!осчк ик со саПс аЬош Ьой оЬкегчеИ ечепь (П(се счогс(к йас счс кее сп йе нсрис) апс) Ь!гсгсеп ечепск (!Йе рагс-оу-креесЬ садк) йас сче йсп1с ог" ак саика1 гас!ига ш оиг ргоЬаЬПьсь шос(е!. То ехешрИу йеке шос)е1к, сче'П ике а сак1с сопсе!чесС ос Ьу Хаюп Еьпег (2002Ь). 1шаддпе йас уои аге а с1нпасо1оддкс !и йе уеаг 2799 нидушд йе Ыксогу ос д!оЬа! счаии!пд. Уои саппос Ппс( апу гесогс)к о! йе счеасЬег си Ва1йиоге, Магу1аий гог сЬе юннпег ос 2007, Ьис уои с1о Ппс( Хакоп Еьпег*к сдагу, счЫсЬ !Ьь Ьосч шапу Ые сгеаны Хакоп асс ечегу с(ау сЬас юпнпег. Оиг доа1 ь со сье !Пеке оЬкегчаПопк со екснпасе йе сеспрегаине ечегу с!ау.
9(се'П к!шрИу йЬ счеасЬег сак1с Ьу аккисйпд йеге аге оп1у ссчо Сс!ис)к о( с(аук: со!сс (С) апс) Ьос (Н). Бо йе Еьпег сак1с ь ак Ходосчк: 178 СЬаргег 6. НкЫеп МагЬоч апй Махппшп Ел!гору Мойе1я гг = всг,ага,...гсвг ап гпгйа1 ргоЬаЬППу сПя1НЬв1гоп очег я1а1ея. ггс а 1Ье ргоЬаЬг1Пу йас йе Маг!соч сЬшп вчП ясагг гп яга1е с. Коте ягагея г пгау Ьаче гг = О, тешвв8 йаг 1Ьеу саппос Ье гшйа1 х х"1тс =1 ДА = 1дх,9 „;.) а яес ДА с Д оХ 1е8а! вссерПвП я!а!еж А Пгяс-огйег ЫсЫеп Маг1соч пюйе1 гпягапйа1ея 1ччо я!трИу!и8 авяппрйопя. Е!гяс, ая сч!1Ь а Пгяс-огйег Маг1соч сЬа!п, йе ргоЬаЫ! ву оГ а рап)сп1аг ясасе с1ерепйя оп1у оп йе ргечювя я!асс; Магвоч Аяяптрг!опс Р(сП!91...9, 1) = Р(д,)д, с) (6.6) Бесился, йе ргоЬаЬсрйу оГ ап оп1рвг оЬяегчабоп о; йерепйв оп1у оп 1Ье яаге йаг ргойвсес! йе оЬяегчайоп дс алй пос оп апу ойег яагея ог апу ойег оЬяегчайопя: ОвгРв11пйеРевйепсе: Р(ос В ...с)С,...,дт,ос,,об,от) =Рсос)Ф) !67) Е18вге 6.3 вЬосчя а яатр1е НММ гог 1Ье Ые сгеат гая1с.
ТЬе ссчо ЬкЫеп ягагея (Н апс1 С) сопеяропй со Ьог апс1 со!й счеасЬег, апй йе оЬяегчасюпя (йгасчп Ггот йе а!рЬаЬег О = 11,2,3)) сопеяропй со йе пшпЬег о1 !се сгеапгя еагеп Ьу Уаяоп оп а Ьйчеп йау. Я~ЩИ А ЬгсЫеп Маг)соч гпойе! тог ге1айпц пшпЬегв оГ !се сгеагпв евсеи Ьу 1аяоп (йе обвегчайопя) со СЬе счеагЬег (Н ог С, йе ЬЫйеп чапатев). Рог йсв ехапср!е сче аге пос вяп8 ап епй-явсе, шясевй а1!очйп8 Ьой всыев 1 апй 2 со Ье а бпа) (ассерйп8) в!все. яворе нмм Васо леяюв !с)ос!се йас 1п йе НММ гп И8. 6.3, йеге ь а (поп-гего) ргоЬаЬг1Пу о1 сгапяйошп8 Ьеьчееп апу гсчо ясагея. ЯвсЬ ап НММ ь саПей а ГвПу совпес1ей ог егПой!с НММ. Богпешпея, Ьосчечег, сче Ьаче НММя ш счЫсЬ славу ос йе ггапясюпв Ьепчееп яасея Ьаче гего ргоЬаЬг!Пу.
Рог ехмпр!е, !и 1ей-1о-г!ПМ (а1яо саПес1 ВаЫя) НММя, йе яа1е !галя!юля ргосеей !гогп!ей со п8Ь1, ая яЬосчп ш р18. 6.4, 1п а Ва1с)в НММ. по 1гапясюпя 8о 1гот а Ы8Ьег-пшпЬегей яаге го а 1овсег-пшпЬегей шаге (ог, пюге асспгасе!у, апу !галя!юля Ггот а Ы8Ьег-пшпЬегей Ваге со а 1осчег-пптЬегей виве Ьаче хего ргоЬаЫПсу).
ВаЫя НММв аге 8еиегаПу овей со пюйе1 сегпрога1 ргосеяяея ! Йе яреесЬ; сче яЬосч тоге о1 йет 1и СЬаргег 9. Хосч 1Ьас все Ьаче веси йе я!гас!иге о1 ап НММ, сче Шгп го а18опйтя 1ог сопгрвс!п8 1Ып8я сйй 1Ьегп. Ап спйпепйа1 свсог)а! Ьу КаЬ)пег (1989), Ьавей оп свсопа)в Яессюп 6.3. $.!!се!!Ьоой Согпрспа6оп: ТЬе Еопчагй А1аопсЬтп 179 ЩЩЯЯЩ Тсчо 4-стасе Ьтййеп Магссоч тпос$е!к; а се!с-со-гсаЬс (Ва$сВ) НММ оп сЬе!еус апс$ а !ассу соппессей (егаойсс) НММ оп йе папс. 1п йе Васак пюс$ес, а)$ сгапасссопк пос ьЬотчп Ьаче сего ргоЬаЬтспу. Ьу Хас1с Еегииаоп !п йе 1960к, !пспх1исей йе Ыеа йас Ь!тЫеп Магссоч пюйе1а вЬои1й Ье сЬагассепхей Ьу СЬгее сипйапсепгас ргоЫепса: 'тче а1геас1у драит ап ехатр1е от" РгоЫетп 2 сп СЬарсег 5. 1п СЬе пехс йгее аесссопа тче тпсгойисе а1! йгее ргоЫепыпоге топпа1!у.
6.3 1.11се1йоос1 Согпрцсапоп: 'П)е Еогиагс1 А1дог1йгп Оиг йгя ргоЫетп са со согприсе йе !!!се!1Ьоой от" а рагбси1аг оЬаегчас!оп кетсиепсе. Рог ехапср1е, Ьйчеп йе НММ !и Рса. 6.2Ь, итЬас са сЬе ргоЬаЫ!Ьу ор сЬе аессиепсе 3 1 3? Моте топпас!у: Сопсриг!пи с.!!се!!Ьоойс бсчеп ап НММ Л = (А, В) апй ап оЬаегча6оп аессиепсе О, йесепптпе йе 1$$се11Ьоой Р(О~Л). Рог а Маг)соч сЬа!и, тчЬеге йе гестасе оЬаегчабопх аге йе катпе аа йе ЬнЫеп ечепьь тче сои!й сотприсе йе ргоЬаЬс!!су ог" 3 1 3 )иас Ьу Со11осчспа сЬе ксасек 1аЬе1ей 31 3 апй пш!сср1у!пи йе ргоЬаЬтйбеа а!опа йе агся Рог а ЬнЫеп Маг1соч пюйе1, сЬ)пах аге пос ко аппр!е. %е ъчапс со йесепптпе йе ргоЬаЬтрйу от" ап ссе-сгеатп оЬаегчабоп аессиепсе Исе 3 1 3, Ьсй ъче йоп*т $спотч счЬас сЬе ЫсЫеп ксасе аессиепсе са! $.ес'к яап тчссЬ а к!саЬс!у ягпр1ег яша6оп.
Варроне тче а1геайу $спетч йе счеайег апс1 итапсей со ргейсс Ьочч псисЬ ке сгеагп 1аиоп счои1й еас. ТЬта Н а иаеси1 рагс о! гпапу НММ саасся Рог а асчеп Ыййеп яасе аессиепсе (е.а., )тот Лот соИ), тче сап еая1у согпрспе сЬе оспрсп 11$ге11Ьоой ос'3 1 3. РгоЫепс 1 (1.!Ье!Йоой)с РгоЫегп 2 ($)есой!пп) с РгоЫепс 3 (Ееагп!пВ)с б!чеп ап НММ Л =, (А,В) апй ап оЬаегчжюп ае- циепсе О, йесегпипе йе 1$)се11Ьоой Рс О(Л). бп еп ап оЬаегча6оп ьессиепсе О апй ап НММ Л = (А, В), йксочег йе Ьевс ЫсЫеп яасе вес!пепси О. бпеп ап оЬаегчабоп зетсиепсе О апй йе ает ог Яагеа тп сЬе НММ, 1еагп йе НММ рагагпесегь А апс1 В.
Бесс!оп 6.3. 1.1)сеИЛоо6 Сотршабоп: ТЬе ропчат6 А1аопйтп 181 ЯДА ТЛе соптрша6оп от йе Лошс ргоЬаЬ!16у от йе йе-стеат ечепь 3 ! 3 апсл йе Ь!ттдеп ксасе зеттиепсе Ьот Ьот соЫ. Нотч йас ше Сспотч Ьош со сотрпсе сЬе )олпс ргоЬаЬлИсу о1' йе оЬкегча6опк тч!сЛ а раг6сп!аг Л!т)т)еп ксате зет)пепсе, сче сап сотпрше сЬе соса1 ргоЬаЬлИсу о! йе оЬзегча6опк )пкс Ьу коапп!па очег а!1 розяЫе Л166еп капе кециепсек: Р(0) =~л Р(О,Д) = ~~ Р(Оф)Р© (6.12) !2 0 Рог опт рагбсп1аг саке, ше троп!д япп очег йе есаЛс 3-ечепс кес)пепсек соЫ соЫ соЫ, соЫсоЫЬот, йас 1к, рог ап НММ сч!сЛ Ат Л166еп зсасек апд ап оЬкегча6оп кесрлепсе от" Т оЬкегча6опз, йеге аге Атг рокяЫе Л!66еп кет)репеек.
Рог геа1 Сазссз, ччЬеге л)т апд Т аге Ьой 1агае, !т1~ ск а чету !агре пшпЬег, зо ъче саппос сотпрше йе соса1 оЬкеп асюп И)теИЛоо6 Ьу сотсас!па а керагасе оЬкегчасюп И)сеИЛоод тот еасЬ ЫсЫеп ксасе кес)пепсе ап6 сЬеп кпштп!па йет. !пасем от" пяпа кпсЬ ап ехсгетпе!у ехропепба1 а1аопйюп, тче пке ап етИссепс 0(!1~Т) а!поп!Ля са)!ед йе тогтчагд а1доППпп. ТЬе тогчтаг6 а1Попйт ск а Сс!пй от" тсупаплсс ргодгапттпспд а1аопйтп, йас пь ап а)допсЛш йас паек а саЫе со к!осе !псеппейасе ча!пез аз Л Ьп!!6з слр йе ргоЬаЫИсу оТ йе оЬкегчабоп кесрлепсе. ТЛе согсчагд а!аопйтп соплршек йе оЬзегчасюп ргоЬ|ЬП)су Ьу зппптппа очег йе ргоЬа- ЬП!с)ек оГ аП рокяЫе ЬЫт1еп ксасе райк йас соп!д аепегасе йе оЬкеп абоп кеццепсе, Ьш сс тсоек ко етИс!епс!у Ьу ппр!ссП!у То!6!па еасЬ от" йезе райк што а япа1е Фогсчагд СгеППс Р)доге 6.7 зЛолчк ап ехатпр!е оГ йе Гопчаг6 сге! Ик лог сотрпс!па йе И)сеИЛоод ол 3 1 3 а!чеп йе Л!66еп яасе кесспепсе Ьот Ьот соЫ. ЕасЬ сеП оГ йе Гопчагй а!аопсЬш сге!Ик а,( !) гергекепсз йе ргоЬаЬППу от" Ье!па тп класс ! айег кее!па йе Иткс т оЬкегчасюпк, а!чеп йе апсошасоп Л.
ТЬе ча1ие ол еасЬ сеП а, ( !) !к сотртлтетт Ьу затппл!па счет йе ргоЬаЬл66ез от" ечегу рай йат сотл16 сеа6 пк со й!з сеП. раппа!!у, еасЬ сеП ехргезкез йе ГоПотчспа ргоЬаЬл1Пу: Гол~ай атзоптлчи а,(!) = Р(ос,ол...о„тут = ЯЛ) (6.13) Неге, сЬ = / теапк "сЬе ргоЬаЬт1пу сЬас йе тй ксасе сп йе кесрлепсе ол ксасек ск яасе !". %е сотпрпсе йтз ргоЬаЬл!Иу Ьу япптпспа счет йе ехсепяопк от" аП сЬе райк йас !еаза со йе сппепс сеп. Рот а ьбчеп зсасе т! ас сппе т, йе ча!ие а,( !) !к сотрпсетс а,(!) = ~~~ а, т(л)аПЬ (о,) (6.14) т=с Р(3 1 3) = Р(3 1 3, со!6 со!6 со!6) + Р(3 1 3, со!6 со!д Ьос) + Р(3 1 3, Ьос Ьос со!6) + ...