dsmts-1 (1015704), страница 2
Текст из файла (страница 2)
Гаврилов и И. К. Никитин#25 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUПриложения-подробностиинтересные слайды,которые не вошли в саму презентацию16 января 2012 г.: Е. C. Гаврилов и И. К. Никитин#26 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUМодель языкаВычисляется с помощью n-грамм слов.P(ω1 .
. . ωl ) =i=l+n−1∏P0 (ωi |ωi−1 . . . ωi−n+1 )i=0IP0 (ωm |ω1 . . . ωm−1 ) = Kn · P(ωm |ω1 . . . ωm−1 ) + . . . + K1 · P(ω1 ) + K0 ;IP(ω1 ) =IP(ωm |ω1 . . . ωm−1 ) =IKi — коэффициенты сглаживания Ki > Ki+1 ичастота (ω1 );|Θ|частота (ω1 . . . ωm−1 ωm );частота (ω1 . . . ωm−1 )i=n∑Ki = 1.0.i=016 января 2012 г.: Е. C. Гаврилов и И. К. Никитин#27 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUМодель языка (адаптивные модели)P(ω1 . . .
ωl ) =i=l+n−1∏P0 (ωi |ωi−1 . . . ωi−n+1 )i=0P0 можно вычислить иначе, используя адаптивный метод сглаживанияδ + частота (ω1 . . . ωm )) =P0 (ωm |ω1 . . . ωm−1 ) = ∑ (δ + частота (ω1j . . . ωmj )i=δ + частота (ω1 . . . ωm ))∑(частота (ω1j . . . ωmj )δ·V+iIV — количество всех n-грамм в используемом корпусе;Iδ = 1 — метод сглаживания Лапласа;Iδ 6= 1 ⇒ методы Гуда-Тьюринга, Катца, Кнезера-Нейя.16 января 2012 г.: Е.
C. Гаврилов и И. К. Никитин#28 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUВведем обозначенияIIΘe — «английский» текст (множество предложений);Θr — «русский» текст;IΠe — «английское» предложение (последовательностьслов);IIΠr — «русское» предложение;ωe — «английское» слово;Iωr — «русское» слово;16 января 2012 г.: Е. C.
Гаврилов и И. К. Никитин#29 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUМодель перевода IПусть P(Πe |Πr ) — вероятность некоторой строки (предложения) из e,при гипотезе перевода из r.∑P(Πe |Πr ) =P(Πe , a|Πr );aa — выравнивание между отдельными словами в паре предложений.Вероятность перевода:P(Πe , a|Πr ) =le∏εt(ωej |ωra(j) )(lr + 1)lej=1t — это вероятность слова оригинала в позиции j при соответствующемему слове перевода ωra(j) , определенном выравниванием a.16 января 2012 г.: Е.
C. Гаврилов и И. К. Никитин#30 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUМодель перевода IIP(Πe , a|Πr )P(a|Πe , Πr ) = ∑P(Πe , a|Πr )aИмея набор выравниваний с определенными вероятностями, мы можемподсчитать частоты каждой пары слов,counts(ωe |ωr )counts(ωe |ωr )t(ωe |ωr ) = ∑=;counts(ωe |ωr )total(ωr )ωeТребуется оценить вероятности лексического перевода t(ωe |ωr ) Ночтобы сделать это нужно вычислить a, которой у нас нет.16 января 2012 г.: Е.
C. Гаврилов и И. К. Никитин#31 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUМодель перевода IIIДля оценки параметров −→ EM-алгоритм (Витерби).Iинициализируем параметры модели (одинаковымизначениями, на первой итерации);Iоценим вероятности отсутствующей информации;Iоценим параметры модели на основании новой информации;Iперейдем к следующей итерации.16 января 2012 г.: Е. C. Гаврилов и И. К.
Никитин#32 6 36 | Статистический машинный переводБазовый-алгоритм(Θe , Θr )1 ∀ ωe ∈ Πe ∈ Θe :2∀ωr ∈ Πr ∈ Θr :3t(ωe |ωr ) ← u, u ∈ R;4 Инициализируем таблицу t(ωe |ωr ) одинаковыми значениями.5 пока не сойдется :6∀ ωe ∈ Πe ∈ Θe : Инициализируем остальные таблицы.7∀ωr ∈ Πr ∈ Θr :8counts(ωe |ωr ) ← 0; total(ωr ) ← 0;9∀ Πe , Πr ∈ Θe , Θr : Вычисляем нормализациию.10∀ ωe ∈ Π e :11stotal(ωe ) ← 0;12∀ ωr ∈ Π r :13stotal(ωe ) ← stotal(ωe ) + t(ωe |ωr );14∀ ωe ∈ Πe : Собираем подсчеты.15∀ ωr ∈ Π r :t(ωe |ωr )16counts(ωe |ωr ) ← counts(ωe |ωr ) +;stotal(ωe )t(ωe |ωr )17total(ωr ) ← total(ωr ) +;stotal(ωe )18∀ ωe ∈ Θe : Оцениваем вероятность.19∀ωr ∈ Θr :counts(ωe |ωr )20t(ωe |ωr ) ←;total(ωr )Введение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEU∃ Детали работы декодера IВ первом режиме работы на вход принимается исходный текст.Далее ищется ее наиболее вероятный эквивалент,последовательным разбиением фразы на n-граммы наибольшегоразмера (аналогично алгоритму системы перевода основаннойна примерах в приложении), и параллельным поиском их в базеданных.16 января 2012 г.: Е.
C. Гаврилов и И. К. Никитин#34 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEU∃ Детали работы декодера II− S 1ВН = 2Sηe∑ηei=1log2 P(ηe i )+ S 1Sωe∑ωej=1log2 P(ωr j |ωe j )I ηe — n-граммы высокого порядка найденные в созданном тексте;I Sηe — количество таких n-грамм;I P(ηe ) — вероятность n-грамм согласно языковой модели (вычисляется какуказано раннее);I ωe — n-граммы (слова) как результат перевода согласно модели перевода;I Sωe — количество таких n-грамм (слов);I P(ωr j |ωe j ) — вероятность перевода фразы ωe j на ωr j .Во втором режиме работы на вход принимается исходный текст (ИТ), переводнойтекст (ПТ) c предыдущей итерации и величина неопределенности (ВН).16 января 2012 г.: Е.
C. Гаврилов и И. К. Никитин#35 6 36 | Статистический машинный переводВведение Принципы Архитектура Оценка Перспективы +Модель языка Модель перевода Декодер BLEUBLEU — Bilingual Evaluation Understudy(BLEU = Bp · e{Bp =lc > lh ;1,e()l1− lhc,lc 6 lh .I Sc — множество кандидатов на перевод;I C — кандидат на перевод;I ηc — n-грамма кандидата на перевод;I lc — длинна кандидата перевода;I lh — длинна экспертного перевода(выполненного человеком);1I Wn =— вес;NI N = 4, n-грамность оценки.16 января 2012 г.: Е.
C. Гаврилов и И. К. НикитиниN∑n=1)Wn log(pn )∑ ∑pn =числосреза (ηc )∑ ∑число(ηc )C∈Sc ηc ∈CC∈Sc ηc ∈CСистемаПРС-СМП (1)ПРС-СМП (100)Moses (IBM 3)Moses (IBM 5)BLEU0.2430.2090.2010.173#36 6 36 | Статистический машинный перевод.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
