diploma-1 (1015781), страница 8
Текст из файла (страница 8)
переводчик принята на 81-м пленарном заседанииMoses приняли на 81 полный встречиGoogle-переводчик принятой на 81-е пленарное заседаниеДанная система принята без голосования на 81 пленарном заседании в БрюсселеВсе правильно, заседании было в Брюсселе, но в исходном тексте этого не было. Однако не совсем корректно сравнивать системы, обученные наразных корпусах текстов. Потому мы будем использовать систему машинного перевода основанную на пакете Moses (декодировщик Moses и обучающаясистема GIZA++), обученную на том же самом входном корпусе, что и нашасистема.Для оценки качества перевода существует набор формальных метрик.• BLEU (Bilingual Evaluation Understudy);• METEOR (Metric for Evaluation of Translation with Explicit ORdering);• NIST (названа по имени университета National Institute of Standards andTechnology);• WER (Word error rate).Чаще всего системы машинного перевода оценивают по метрике BLEU:54• высокая корреляция с оценкой человека;• для оценки требуется готовый перевод тестовых предложений, выполненный профессиональным переводчиком.(BLEU = Bp · e{Bp =N∑)Wn log(pn )n=1∑ ∑1,l c > lh ;lhe(1− lc ) , lc 6 lh .иpn =числосреза (ηc )∑ ∑число(ηc )C∈Sc ηc ∈CC∈Sc ηc ∈C• Sc — множество кандидатов на перевод;• C — кандидат на перевод;• ηc — n-грамма кандидата на перевод;• lc — длинна кандидата перевода;• lh — длинна экспертного перевода (выполненного человеком);1• Wn =— вес, для метрик основанных на BLEU, но не эквивалентныхNей, может отличаться для каждого n, например NIST назначает большийвес более редким n-граммам;• N = 4, n-грамность оценки.Таким образом, BLEU есть взвешенное среднее числа совпадений nграмм (слов) кандидата и n-грамм в переводе эксперта.
Метрика являетсяинвариантом порядка n-грамм, важно наличие совпадений [34]. Чем вышезначение метрики BLEU, тем перевод хуже.Метрики NIST и METEOR основаны на BLEU, WER — на вычислениирасстояния Левенштейна.Для оценки перевода система мы использовали метрику BLEU. Для подсчета метрики было выделено 1024 предложений в качестве примеров экспертного перевода, и 1024 предложений было переведено рассматриваемойсистемой МП. Для этого набора предложений метрика BLEU = 0.243 для55единственной итерации работы декодера, и 0.209 для лучшего варианта из100 полученного в результате нескольких итераций. Система МП, построенная на основе пакета Moses, дает метрику BLEU = 0.209 для модели IBM 3 иBLEU = 0.173 для модели IBM 5.Таблица 1.4. Оценки перевода текстаСистемаBLEUТекущая (1) 0.243Текущая (100) 0.209Moses (IBM 3) 0.201Moses (IBM 5) 0.173Высокие значения метрики BLEU показывают, что система проявляет себя не в лучшем свете на тестовом корпусе, однако сам корпус весьма отличается отличается от тех для которых создана данная система.Существует целый ряд неформальных способов оценки систем машинного перевода.
Чаще всего используют технику «обратного перевода».• исходный отрывок переводят системой c языка L1 на язык L2 ;• полученный отрывок переводят в обраПритную сторону c языка L2 наязык L1 .• сравнивают два варианта отрывка на языке L1 и по их близости судят окачестве перевода.На наш взгляд такой метод оценки не является вполне корректным в случаестатистических систем.
Так как согласно уравнению Байеса, в итоге мы оцениваем только модель языка используемой системы. Более того при многократном применении «обратного перевода» к одному и тому же отрывку, снекоторой итерации перевод на L1 и на L2 перестанут меняться.561.6.2. ОЦЕНКА СКОРОСТИОЦЕНКА СКОРОСТИ ОБУЧЕНИЯНиже мы сравним скорости обучения и работы трех систем машинногоперевода. Для того чтобы показать разницу распределенных (многопоточных) и не распределенных систем эксперименты проводились на разных машинах. Для тестирования рассматриваемой системы было на каждой машинезапускались соответствующие приложения (читатель и обработчик), пропорционально числу ядер процессоров. Тестирование как и ранее проводилосьна смешанном корпусе описанном выше.Высокая скорость текущей (представленной в работе) системы во многом объясняется ее простотой.
Однако, для более крупных корпусов текста,скорость обучения может оказаться критичной.Оценка скорости обучения на одном и том же корпусе.Таблица 1.5. Оценка скорости обучения, процессор: Intel Core2 Duo, 1 ядро64 бит, ОП 4Гб, ФС: ext4Система Время, чТекущая (1)≈5Moses (GIZA++)≈ 25Chaski (MGIZA++)≈ 26Таблица 1.6. Оценка скорости обучения, процессор: Intel Xeon E5506, 8 ядер64 бит, ОП 10Гб, ФС:xfsСистема Время, чТекущая (1)≈1Moses (GIZA++)≈ 22Chaski (MGIZA++)≈357ОЦЕНКА СКОРОСТИ ПЕРЕВОДАСкорость перевода будем оценивать в микросекундах. Причем, скоростьзапуска декодера (Moses стартует в течение минуты на Intel Core2 Duo) ивремя на прочие накладные вычисления учитывать не будем.Таблица 1.7.
Оценка скорости перевода, процессор: Intel Core2 Duo, 1 ядро64 бит, ОП 4Гб, ФС: ext4СистемаВремя, µсТекущая (1)1132Текущая (100)7108124Moses (IBM 3) ≈ 10000000Moses (IBM 5) ≈ 30000000Таблица 1.8. Оценка скорости перевода, процессор: Intel Xeon E5506, 8 ядер64 бит, ОП 10Гб, ФС: xfsСистемаВремя, µсТекущая (1)1012Текущая (100)1119024Moses (IBM 3) ≈ 5000000Moses (IBM 5) ≈ 6000000Как можно заключить из приведенных тестов использование параллельных вычислений позволяет достичь значительного прироста производительности на этапе обучения системы машинного перевода.На этапе декодирования особенный рост наблюдать трудно. Это будетвесьма заметно на большом количестве одновременных запросов.582. ЭКОНОМИЧЕСКАЯ ЧАСТЬ592.1. ВВЕДЕНИЕПо мере того как расширяется информатизация современного общества,возрастает значение прикладной (вычислительной, компьютерной, инженерной) лингвистики, науки, находящейся на стыке глубоко человечной, гуманитарной науки лингвистики (языкознания), изучающей законы развития ипользования могучим средством мышления и коммуникации — языком, — икомпьютерного знания, с помощью которого машине передастся все большаячасть интеллектуального труда человека [44].В данной главе будет рассмотрена экономическая сторона вопроса.
Вначале будет построена сетевая модель работ над проектом и её графическоепредставление. Будут рассчитаны ранние и поздние сроки начала и завершения работ над проектом, найден критический путь и его продолжительность,вероятность завершения комплекса работ по проекту в срок. После этого будет рассчитана сумма расходов на разработку проекта. Будет подсчитана ценаразработанной системы, капитальные вложения, связанные с её внедрением,а также расходы, связанные с её эксплуатацией.2.2. ПОСТРОЕНИЕ СЕТЕВОЙ МОДЕЛИСложность и комплексность разработки и реализации описанного проекта, необходимость параллельного выполнения работ, зависимость началамногих работ от результатов других, значительно осложняют планированиеразработки.При наличии множества взаимосвязанных работ, наиболее удобными являются системы сетевого планирования и управления (СПУ).
Они основаннына применении сетевых моделей планируемых процессов, которые допускают использование современной вычислительной техники.Cетевые модели планируемых процессов позволяют быстро определитьпоследствия различных вариантов управляющих воздействий и находитьнаилучшие из них.СПУ дают возможность своевременно получать достоверную информацию о состоянии дел, о возникших задержках и возможностях ускорения хода работ, концентрируют внимание на «критических» работах, определяю-60щих продолжительность проведения разработки в целом, заставляют совершенствовать технологию и организацию работ, непосредственно влияющихна сроки проведения разработки, помогают составлять рациональные планыработ.2.2.1.
ПЕРЕЧЕНЬ РАБОТ И СОБЫТИЙСоставим полный перечень событий и работ сетевой модели. Каждая работа имеет определенную продолжительность. Однако не всегда заранее известно точное время выполнения работ, поэтому дадим продолжительностикаждой работы две вероятностные оценки:• минимальную (оптимистическую) — tmin ;• максимальную (пессимистическую) — tmax .Эти величины являются исходными для расчета ожидаемого времени выполнения работ: .tожидаемое =3 · tmin + 2 · tmax5Рассчитаем дисперсии работ по формуле:(2δ =tmax − tmin5)261Таблица 2.9.
Перечень работ и событий, tmin , tmax , tож измеряются в днях.№Наименование события0Начало работ1Завершение анализа исоставления планаКод работы0—11—21—31—41—5234Завершениеисследованиясуществующихсистем2—6Завершение изученияматематических основпостроениястатистических системмашинного перевода3—7Завершение изучениялингвистических основмашинного перевода4—93—84—85678Завершениеизучениявозможных вариaнтовхранения данныхЗавершение составлениятребований к системе наоснове аналоговЗавершение разработкичисленного алгоритма иструктру хранения данныхЗавершение разработкиалгоритма поиска ивыработки требований квыходным даннымНаименование работыАнализ проблемы и составление плана-графикаИсследование существующих статистических системмашинного переводаИзучение математическихоснов построения статистических систем машинного переводаИзучение лингвистическихоснов машинного переводаИзучение возможных варинтов хранения данных врамках задачи машинногопереводаСоставление требований иограничений системыРазработка численного алгоритма обучения системыРазработка алгоритма поиска верного варианта перевода на основе обученной моделиСоставление требований квходным данным численного алгоритмаСоставление требований квыходным данным алгоритма поискаtmintmaxtожδ2253.80.164106.41.44102014.04.07108.20.36343.40.04121.60.04575.80.16686.80.16121.60.04121.60.045—7Разработка структуры хранения данных232.40.046 — 10Разработка распределенной архитектуры343.40.047 — 10Разработка работающейобучающейся модели натестовых входных данных575.80.168 — 13Разработка работающегопоискового модуля натестовых входных данных697.20.3662Таблица 2.9 (продолжение).
Перечень работ и событий, tmin , tmax , tож измеряются в днях.tmintmaxtожδ2575.80.16Разработка распеределенной обучающейса системы242.80.1611 — 12Разработкаалгоритмовпредварительной обработки входных корпусовтекста121.40.0612 — 13Корректировка системы сучетом входных данных121.40.0613 — 14Тестирование приложенияв совокупности отладкавсей системы101512.01.014 — 15Прогон системы на реальных корпусах текста121.50.06№Наименование событияКод работы9Завершение составлениятребований к входнымданнымчисленногоалгоритма9 — 1110Окончание разработкираспределеннойархитектуры и и моделиобучающейся на тестовых входных данных10 — 1211Окончание подбора нужных корпусов текстов1213Окончаниеразработкираспеределеннойобучающейса системыи алгоритмов предварительнойобработкивходныхОкончание корректировки обучающейся системы и разработки работающего поискового модуля14Завершение отладки15Завершение работНаименование работыПодбор нужных корпусовтекстов (корпуса текста всееще остаются тестовыми,но составляются на основереальных данных)632.2.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
