Слайды со всех лекций (1126919), страница 9
Текст из файла (страница 9)
wat nnat forat arrat vat gat .Перевод на основепараллельных корпусовПеревод с Центаврианского на Арктуранский [Knight, 1997]Перевести: farok crrrok hihok yorok clok kantok ok-yurp2 декабря 2011 г.1a. ok-voon ororok sprok .7a. lalok farok ororok lalok sprok izok enemok .1b. at-voon bichat dat .7b. wat jjat bichat wat dat vat eneat .2a. ok-drubel ok-voon anok plok sprok .8a. lalok brok anok plok nok .2b.
at-drubel at-voon pippat rrat dat .8b. iat lat pippat rrat nnat .3a. erok sprok izok hihok ghirok .9a. wiwok nok izok kantok ok-yurp .3b. totat dat arrat vat hilat .4a. ok-voon anok drok brok jok .9b. totat nnat quat oloat at-yurp .10a. lalok mok nok yorok ghirok clok .4b. at-voon krat pippat sat lat .5a. wiwok farok izok stok .10b. wat nnat gat mat bat hilat .11a. lalok nok crrrok hihok yorok zanzanok .5b. totat jjat quat cat .6a. lalok sprok izok jok stok .11b. wat nnat arrat mat zanzanat .12a. lalok rarok nok izok hihok mok .6b. wat dat krat quat cat .12b. wat nnat forat arrat vat gat .???Перевод на основепараллельных корпусовПеревод с Центаврианского на Арктуранский [Knight, 1997]Перевести: farok crrrok hihok yorok clok kantok ok-yurp2 декабря 2011 г.1a.
ok-voon ororok sprok .7a. lalok farok ororok lalok sprok izok enemok .1b. at-voon bichat dat .7b. wat jjat bichat wat dat vat eneat .2a. ok-drubel ok-voon anok plok sprok .8a. lalok brok anok plok nok .2b. at-drubel at-voon pippat rrat dat .8b. iat lat pippat rrat nnat .3a. erok sprok izok hihok ghirok .9a. wiwok nok izok kantok ok-yurp .3b. totat dat arrat vat hilat .4a. ok-voon anok drok brok jok .9b. totat nnat quat oloat at-yurp .10a. lalok mok nok yorok ghirok clok .4b.
at-voon krat pippat sat lat .5a. wiwok farok izok stok .10b. wat nnat gat mat bat hilat .11a. lalok nok crrrok hihok yorok zanzanok .5b. totat jjat quat cat .6a. lalok sprok izok jok stok .11b. wat nnat arrat mat zanzanat .12a. lalok rarok nok izok hihok mok .6b. wat dat krat quat cat .12b. wat nnat forat arrat vat gat .Перевод на основепараллельных корпусовПеревод с Центаврианского на Арктуранский [Knight, 1997]Перевести: farok crrrok hihok yorok clok kantok ok-yurp2 декабря 2011 г.1a. ok-voon ororok sprok .7a. lalok farok ororok lalok sprok izok enemok .1b. at-voon bichat dat .7b. wat jjat bichat wat dat vat eneat .2a. ok-drubel ok-voon anok plok sprok .8a. lalok brok anok plok nok .2b. at-drubel at-voon pippat rrat dat .8b. iat lat pippat rrat nnat .3a.
erok sprok izok hihok ghirok .9a. wiwok nok izok kantok ok-yurp .3b. totat dat arrat vat hilat .4a. ok-voon anok drok brok jok .9b. totat nnat quat oloat at-yurp .10a. lalok mok nok yorok ghirok clok .4b. at-voon krat pippat sat lat .5a. wiwok farok izok stok .10b. wat nnat gat mat bat hilat .11a. lalok nok crrrok hihok yorok zanzanok .5b. totat jjat quat cat .6a.
lalok sprok izok jok stok .11b. wat nnat arrat mat zanzanat .12a. lalok rarok nok izok hihok mok .6b. wat dat krat quat cat .12b. wat nnat forat arrat vat gat .методомисключенияПеревод на основепараллельных корпусовПеревод с Центаврианского на Арктуранский [Knight, 1997]Перевести: farok crrrok hihok yorok clok kantok ok-yurp2 декабря 2011 г.1a. ok-voon ororok sprok .7a. lalok farok ororok lalok sprok izok enemok .1b. at-voon bichat dat .7b. wat jjat bichat wat dat vat eneat .2a. ok-drubel ok-voon anok plok sprok .8a. lalok brok anok plok nok .2b. at-drubel at-voon pippat rrat dat .8b. iat lat pippat rrat nnat .3a. erok sprok izok hihok ghirok .9a.
wiwok nok izok kantok ok-yurp .3b. totat dat arrat vat hilat .4a. ok-voon anok drok brok jok .9b. totat nnat quat oloat at-yurp .10a. lalok mok nok yorok ghirok clok .4b. at-voon krat pippat sat lat .5a. wiwok farok izok stok .10b. wat nnat gat mat bat hilat .11a. lalok nok crrrok hihok yorok zanzanok .5b. totat jjat quat cat .6a. lalok sprok izok jok stok .11b. wat nnat arrat mat zanzanat .12a. lalok rarok nok izok hihok mok .6b. wat dat krat quat cat .12b. wat nnat forat arrat vat gat .Родственноеслово?Перевод на основепараллельных корпусовПеревод с Центаврианского на Арктуранский [Knight, 1997]Задание: упорядочить: {jjat, arrat, mat, bat, oloat, at-yurp}2 декабря 2011 г.1a.
ok-voon ororok sprok .7a. lalok farok ororok lalok sprok izok enemok .1b. at-voon bichat dat .7b. wat jjat bichat wat dat vat eneat .2a. ok-drubel ok-voon anok plok sprok .8a. lalok brok anok plok nok .2b. at-drubel at-voon pippat rrat dat .8b. iat lat pippat rrat nnat .3a. erok sprok izok hihok ghirok .9a. wiwok nok izok kantok ok-yurp .3b. totat dat arrat vat hilat .4a. ok-voon anok drok brok jok .9b. totat nnat quat oloat at-yurp .10a. lalok mok nok yorok ghirok clok .4b. at-voon krat pippat sat lat .5a. wiwok farok izok stok .10b. wat nnat gat mat bat hilat .11a.
lalok nok crrrok hihok yorok zanzanok .5b. totat jjat quat cat .6a. lalok sprok izok jok stok .11b. wat nnat arrat mat zanzanat .12a. lalok rarok nok izok hihok mok .6b. wat dat krat quat cat .12b. wat nnat forat arrat vat gat .Перевод на основепараллельных корпусовВ действительности это англо-испанский переводClients do not sell pharmaceuticals in Europe => Clientes no venden medicinas en Europa1a. Garcia and associates .1b. Garcia y asociados .7a. the clients and the associates are enemies .7b.
los clients y los asociados son enemigos .2a. Carlos Garcia has three associates .2b. Carlos Garcia tiene tres asociados .8a. the company has three groups .8b. la empresa tiene tres grupos .3a. his associates are not strong .3b. sus asociados no son fuertes .9a. its groups are in Europe .9b.
sus grupos estan en Europa .4a. Garcia has a company also .4b. Garcia tambien tiene una empresa .10a. the modern groups sell strong pharmaceuticals .10b. los grupos modernos venden medicinas fuertes .5a. its clients are angry .5b. sus clientes estan enfadados .11a. the groups do not sell zenzanine .11b. los grupos no venden zanzanina .6a. the associates are also angry .6b. los asociados tambien estan enfadados .12a. the small groups are not modern .12b. los grupos pequenos no son modernos .2 декабря 2011 г.Модель зашумленного канала!"#$%&'(()*+"("&728-,(-'1.',&-5'(3'• Лучший перевод– достоверность– плавностьThis is the housethat Jack built.Ê = arg max P (T |S)P (E)E∈English2 декабря 2011 г./0- ,-%, +-0-.)*1-20.-3& 456+.:.',1-&-;"'02<328-,()%:• Байесовская модельМодельперевода9"#$%&'((-'1.',&-5'(3'This is the housethat Jack built.Языковаямодель,'+-,'.=!)+->"< %-,'&? P(E) x@-,'&? 1'.'>-," P(F|E)Машинный перевод• Языковая модель–N-граммы–СКС грамматики• Модель перевода• Декодер2 декабря 2011 г.Модель перевода на основефраз• P(F|E)• Разбиваем E на фразы• Переводим каждую фразу из Е во фразуна другом языке, на основе вероятностиперевода• Находим наиболее вероятнуюпоследовательность фраз F2 декабря 2011 г.Вероятность перевода• Пусть есть параллельные тексты суразанием соответствия между фразами вE и F.• Тогда вероятность перевода можнооценить на основе метода максимальногоправдоподобияcount(f , e)φ(f , e) = !(f,e)f2 декабря 2011 г.Выравнивание слов• Сначала выравнивают слова• Вход: пары предложение-перевод–nous acceptons votre opinion.–we accept your view.2 декабря 2011 г.Выравнивание слов2 декабря 2011 г.Выравнивание один ко многим• Для простоты предположим что–слово из F соответствует одному слову в E–но слово из E может соответствоватьнескольким словам в F• Некоторые слова в F могутсоответствовать элементу NULL в E• Тогда выравнивание можно задаватьвектором0NULL123456Mary didn’t slap the green witch.Maria no dió una bofetada a la bruja verde.12 декабря 2011 г.23330465Модель IBM Model 1• Первая самая простая модельпредложенная в основополагающейстатье [Brown et.
al. 1993]• Предлагает простую генерирующуюмодель для получения F из E=e1, e2, …eI– Выбрать длину J предложения F=f1, f2, …fJ– Выбрать выравнивание A=a1, a2, …aJ–Получть F из E2 декабря 2011 г.Пример0NULL123456Mary didn’t slap the green witch.Maria no dió una bofetada a la bruja verde.12 декабря 2011 г.23330 465Подсчет P(F|E)• Предположим вероятность длиныпредложения в F равна P(J|E)• Предположим что все выравниванияравновероятны (их (I + 1)J)• Пусть t(fx,ey) вероятность перевода ey в fx• Определим P(F|E)2 декабря 2011 г.Декодирование• Цель: найти наиболее вероятноевыравнивание• Так как различные переводы для каждой позиции jнезависимы, максимум произведения достигаетсяпри максимуме каждого термина2 декабря 2011 г.Тренировка моделейвыравнивания• Если есть выравненный вручную корпус,то можно оценить параметры модели IBM1 через метод максимальногоправдоподобия• Часто такого корпуса нет.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
