Рассел С., Норвиг П. Искусственный интеллект. Современный подход (2-е изд., 2006) (1245267), страница 309
Текст из файла (страница 309)
Слову "Ьогпе" должна быть назначена фертильность 3, что приведет к его преобразованию в "Лоте Логпе Логпе". Тогда первое слово "Логпе" должно быть переведено как "а", второе как "!а" и третье как "гпа(зоп". Но с точки зрения этой модели перевода выражение "а 1а тайоп" должно иметь точно такую же вероятность, как "пта!зоп!а й" (в этом и состоит та часть данного подхода, которая может быть поставлена под сомнение.) Дело в том, что выбор того или иного варианта должен осуществляться на уровне языковой модели.
Может показаться, что было бы более целесообразным применение непосредственного перевода слова "Логпе" как выражения "а!а гпа(зоп" вместо использования косвенного варианта с преобразованием в "Логпе Лоте Лоте", но для этого потребовалось бы больше параметров и их было бы труднее получить из доступной совокупности текстов.
В последней части этой модели перевода предусмотрена перестановка слов в правильные позиции. Такая перестановка осуществляется с помощью модели смешений, в которой указано, как следует перемегцать слова из их первоначальных позиций в окончательные позиции. Например, при переводе "сЛ!еп Лап" как "Ьгоеп г(оя" слово "Ьгоч'и" получает смещение +г (оно сдвигается на одну позицию вправо), а слово "г(оя" получает смещение -1. На первый взгляд может показаться, что смещение должно быть зависимым от слова, например, такие прилагательные, как "Ьгочп", как правило, должны иметь положительное смещение, поскольку во французском языке прилагательные обычно стоят после существительных. Но разработчики модели 1ВМ Моде! 3 решили, что для реализации подхода, в котором смешения зависят от слова, потребуется слишком много параметров, поэтому смещение должно быть независимым от слова и зависимым только от положения внутри предложения, а также от длины предложений на обоих языках.
Это означает, что в этой модели осуществляется оценка следующих параметров: Р(ОЕгэее=о! Роэт стоп=р, епдьеп=т, Ргьепго) Таким образом, для определения смешения слова "Ьгояп" в выражении "Ьгочп г(оя" с помощью базы данных определяется значение Р(ОГгвес ! 1, 2, 2), что может, например, привести к получению значения +). с вероятностью 0,3 и 0 с вероятностью 0,7. Но такая модель смешений кажется еще более сомнительной, особенно тем, кто, например, пытался составить надпись из букв с магнитами на своем холодильнике и понял, что это намного сложнее, чем высказать то же самое с помощью Часть Ч11.
Общение, восприятие и осуществление действий 1132 обычной речи. Вскоре будет показано, что такое решение было принято разработчиками не потому, что оно основано на качественной модели языка, а в связи с тем, что обеспечивает эффективное использование имеющихся данных. Так или иначе модель смешения наглядно показывает, что модель перевода среднего качества может быть значительно улучшена с помощью высококачественной языковой модели для французского языка. Ниже приведен пример, показывающий все этапы перевода одного предложения. исходный французский текст: ье сььеп Ьгцп и' евс рав а11е а 1а щаьвоп Модель фертильности: 1 1 1 1 1 О 1 О О 1 трансформированный французский текст: Модель выбора слов; Модель смещений: Целевой английский текст: Ье сььеп Ьтад и ' езс ТЬе йод Ьгонп пое йтй О +1 -1 +1 -1 Тье Ьгонп йод йьй пое а11е щаьзоц до Ьоще О О до Ьоще Теперь нам известно, как рассчитать вероятность Р)Р) е) для любой пары предложений (французский, английский).
Но в действительности перед нами стоит задача, получив некоторое английское предложение, найти французское предложение, которое максимизирует эту вероятность. Для этого недостаточно просто перебирать предложения, поскольку если предположить, что количество слов во французском языке равно 10', то существует 10ьз предложений длины и, а также много вариантов каждого из этих предложений. И даже если будут рассматриваться только 10 наиболее часто встречающихся вариантов дословного перевода для каждого слова и учитываться лишь смешения 0 нли а1, все равно будет получено около 2""10" предложений, а это означает, что может быть выполнен их полный перевод при п=5, но не при п=10.
Поэтому вместо перебора необходимо осуществлять поиск наилучшего решения. Практика показала, что эффективным является поиск на основе алгоритма А*; см. 1545). ° Сегментация на предложения. Единицей перевода является предложение, поэтому нам потребуется разбить совокупность текстов на предложения. Надежным показателем конца предложения является точка, но в таком фрагменте Определение с помощью обучения вероятностей для машинного перевода Выше была кратко описана модель для Р)Р) Я), которая предусматривает применение четырех перечисленных ниже множеств параметров. ° Языковая модель.
Р)ыодс)„) ыогс),,) . ° модель фертильности. Р)Регсд11су=п) ыодсз) . ° Модель выбора слова. Р (ьуодс)з) молов) . ° Модель смеШения. Р1 Ог глеб= о ! роэ, 1 еп„2 еп,) . Но даже при использовании скромного словаря, состоящего из 1000 слов, для этой модели требуются миллионы параметров. Очевидно, что необходимо обеспечить определение этих параметров с помощью обучения на основе данных. Предположим, что единственными доступными данными является двуязычная совокупность текстов.
Ниже описан способ использования этих данных. Глава 23. Вероятностная обработка лингвистической информации 1133 текста, как "Г)г. 3. К. Бш)(Ь оГ Ког)ео Ог. агг(хег).", признаком конца предложения является только последняя точка.
Сегментация на предложения может быть выполнена с точностью около 98%. ОЦЕНКа ЯЗЫКОВОЙ МОДЕЛИ ДЛЯ фРаНЦУЗСКОГО ЯЗЫКа Р(МОХХ)г ~ МОХС),,) . РаССМатривая только французскую половину совокупности текстов, подсчитать частоты пар слов и выполнить выравнивание, чтобы получить оценку Р ( ыохс(, ! ьготс)„, ) . Например,можетбытьполученозначениер("еьййе) " ~ "гонг" ) =.02. Выравнивание предложений. Для каждого предложения в английской версии определить, какое предложение (предложения) соответствует ему во французской версии.
Обычно следуюшее предложение в английском тексте соответствует следуюшему предложению во французском тексте в форме согласования "один к одному", но иногда возникают другие варианты: одно предложение на одном из языков может быть разбито на два, что приводит к согласованию "два к одному", или может быть изменен на противоположный порядок следования двух предложений, а это приведет к согласованию "два к двум". Выравнивание предложений ("один к одному", "один к двум" или "два к двум" и т.д.) может быть обеспечено только на основании сравнения длины предложений с точностью в пределах от 90 до 99% с использованием одного из вариантов алгоритма сегментации Витерби (см, листинг 23.1).
С применением отметок, об)цих для обоих языков, таких как числа или имена собственные, а также слов, которые, как известно, имеют в двуязычном словаре однозначный перевод, можно добиться е)це лучшего выравнивания. Теперь можно приступить к оценке параметров модели перевода. Такую задачу можно решить, приняв довольно слабое начальное предположение, а затем постепенно его улучшая, как описано ниже. Оценка начальной модели фертильности Р(Рехгз22су=п~ аозт),) . Найдя французское предложение длины гп, которое выравнивается с английским предложением длины п, будем рассматривать его как св)шетельство того, что каждое французское слово имеет фертильность и/т.
Рассмотрим все свидетельства во всех предложениях, чтобы получить распределение вероятностей фертильности для каждого слова. Оценка начальной модели выбора слова Р(мохе),~ ггогт(,) . Рассмотрим все французские предложения, которые содержат, скажем, слова "Ьгвп". Слова, которые появляются наиболее часто в английских предложениях, выравниваемых с этими предложениями, являются наиболее вероятными буквальными переводами слова "Ьгцп".
Оценка начальной модели смешения Р((ЗЕЕвес=о!ров, 2еп„2еп,) . Теперь, после получения модели выбора слова, воспользуемся ею, чтобы получить оценку модели смеШения. Для каждого английского предложения длины и, которая выравнивается с французским предложением длины т, проанализировать каждое французское слово в предложении (в позиции 3) и каждое английское слово в предложении (в позиции т), которое является наиболее вероятным вариантом выбора для французского слова, и рассматривать его как свидетельство для вероятности Р(ОГгвег=з'-3 ~ з', п, т) . 1134 Часть Ч!1. Общение, восприятие и осуществление действий ° Усовершенствование всех оценок.
Воспользоваться алгоритмом ЕМ (ехресгайоп— гпах)гп12аг1оп — ожидание-максимизация), чтобы усовершенствовать оценки. Скрытой переменной является ск вектор выравнивания слов между парами предложений, выровненными по предложениям. Этот вектор указывает для каждого английского слова позицию соответствующего французского слова во французском предложении. Например, может быть получено следующее: Исходный франпувский текст: Ье сиьеп Ьгпп и' евс рав а11е а 1а таьвоп Целевой английский текст: тпе Ьгоип доя дьд пос до Ьоие Вектор выравнивания слав: 1 3 2 5 4 7 10 Вначале с использованием текуших оценок параметров создадим вектор выравнивания слов для каждой пары предложений.
Это позволит нам получать лучшие оценки. Модель фертильности оценивается путем подсчета того, сколько раз один из элементов вектора выравнивания слов указывает на несколько слов или на нулевое количество слов. После этого в модели выбора слов могут рассматриваться только те слова, которые выровнены друг с другом, а не все слова в предложения, тогда как в модели смешений может рассматриваться каждая позиция в предложении для определения того, насколько часто она смещается в соответствии с вектором выравнивания слов. К сожалению, точно не известно, каковым является правильное выравнивание, а количество вариантов выравнивания слишком велико для того, чтобы перебрать их все. Поэтому мы вынуждены осушествлять поиск выравниваний с высокой вероятностью и взвешивать их по их вероятностям, собирая свидетельства для новых оценок параметров.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
