diploma-2 (1015782), страница 8
Текст из файла (страница 8)
Метрика являетсяинвариантом порядка n-грамм, важно наличие совпадений [34]. Чем вышезначение метрики BLEU, тем перевод хуже.Метрики NIST и METEOR основаны на BLEU, WER — на вычислениирасстояния Левенштейна.Для оценки перевода система мы использовали метрику BLEU. Для подсчета метрики было выделено 1024 предложений в качестве примеров экспертного перевода, и 1024 предложений было переведено рассматриваемойсистемой МП.
Для этого набора предложений метрика BLEU = 0.243 для55единственной итерации работы декодера, и 0.209 для лучшего варианта из100 полученного в результате нескольких итераций. Система МП, построенная на основе пакета Moses, дает метрику BLEU = 0.209 для модели IBM 3 иBLEU = 0.173 для модели IBM 5.Таблица 1.4. Оценки перевода текстаСистемаBLEUТекущая (1) 0.243Текущая (100) 0.209Moses (IBM 3) 0.201Moses (IBM 5) 0.173Высокие значения метрики BLEU показывают, что система проявляет себя не в лучшем свете на тестовом корпусе, однако сам корпус весьма отличается отличается от тех для которых создана данная система.Существует целый ряд неформальных способов оценки систем машинного перевода. Чаще всего используют технику «обратного перевода».• исходный отрывок переводят системой c языка L1 на язык L2 ;• полученный отрывок переводят в обраПритную сторону c языка L2 наязык L1 .• сравнивают два варианта отрывка на языке L1 и по их близости судят окачестве перевода.На наш взгляд такой метод оценки не является вполне корректным в случаестатистических систем.
Так как согласно уравнению Байеса, в итоге мы оцениваем только модель языка используемой системы. Более того при многократном применении «обратного перевода» к одному и тому же отрывку, снекоторой итерации перевод на L1 и на L2 перестанут меняться.561.6.2. ОЦЕНКА СКОРОСТИОЦЕНКА СКОРОСТИ ОБУЧЕНИЯНиже мы сравним скорости обучения и работы трех систем машинногоперевода. Для того чтобы показать разницу распределенных (многопоточных) и не распределенных систем эксперименты проводились на разных машинах.
Для тестирования рассматриваемой системы было на каждой машинезапускались соответствующие приложения (читатель и обработчик), пропорционально числу ядер процессоров. Тестирование как и ранее проводилосьна смешанном корпусе описанном выше.Высокая скорость текущей (представленной в работе) системы во многом объясняется ее простотой.
Однако, для более крупных корпусов текста,скорость обучения может оказаться критичной.Оценка скорости обучения на одном и том же корпусе.Таблица 1.5. Оценка скорости обучения, процессор: Intel Core2 Duo, 1 ядро64 бит, ОП 4Гб, ФС: ext4Система Время, чТекущая (1)≈5Moses (GIZA++)≈ 25Chaski (MGIZA++)≈ 26Таблица 1.6. Оценка скорости обучения, процессор: Intel Xeon E5506, 8 ядер64 бит, ОП 10Гб, ФС:xfsСистема Время, чТекущая (1)≈1Moses (GIZA++)≈ 22Chaski (MGIZA++)≈357ОЦЕНКА СКОРОСТИ ПЕРЕВОДАСкорость перевода будем оценивать в микросекундах.
Причем, скоростьзапуска декодера (Moses стартует в течение минуты на Intel Core2 Duo) ивремя на прочие накладные вычисления учитывать не будем.Таблица 1.7. Оценка скорости перевода, процессор: Intel Core2 Duo, 1 ядро64 бит, ОП 4Гб, ФС: ext4СистемаВремя, µсТекущая (1)1132Текущая (100)7108124Moses (IBM 3) ≈ 10000000Moses (IBM 5) ≈ 30000000Таблица 1.8. Оценка скорости перевода, процессор: Intel Xeon E5506, 8 ядер64 бит, ОП 10Гб, ФС: xfsСистемаВремя, µсТекущая (1)1012Текущая (100)1119024Moses (IBM 3) ≈ 5000000Moses (IBM 5) ≈ 6000000Как можно заключить из приведенных тестов использование параллельных вычислений позволяет достичь значительного прироста производительности на этапе обучения системы машинного перевода.На этапе декодирования особенный рост наблюдать трудно.
Это будетвесьма заметно на большом количестве одновременных запросов.582. ЭКОНОМИЧЕСКАЯ ЧАСТЬ592.1. ВВЕДЕНИЕПо мере того как расширяется информатизация современного общества,возрастает значение прикладной (вычислительной, компьютерной, инженерной) лингвистики, науки, находящейся на стыке глубоко человечной, гуманитарной науки лингвистики (языкознания), изучающей законы развития ипользования могучим средством мышления и коммуникации — языком, — икомпьютерного знания, с помощью которого машине передастся все большаячасть интеллектуального труда человека [44].В данной главе будет рассмотрена экономическая сторона вопроса.
Вначале будет построена сетевая модель работ над проектом и её графическоепредставление. Будут рассчитаны ранние и поздние сроки начала и завершения работ над проектом, найден критический путь и его продолжительность,вероятность завершения комплекса работ по проекту в срок.
После этого будет рассчитана сумма расходов на разработку проекта. Будет подсчитана ценаразработанной системы, капитальные вложения, связанные с её внедрением,а также расходы, связанные с её эксплуатацией.2.2. ПОСТРОЕНИЕ СЕТЕВОЙ МОДЕЛИСложность и комплексность разработки и реализации описанного проекта, необходимость параллельного выполнения работ, зависимость началамногих работ от результатов других, значительно осложняют планированиеразработки.При наличии множества взаимосвязанных работ, наиболее удобными являются системы сетевого планирования и управления (СПУ). Они основанына применении сетевых моделей планируемых процессов, которые допускают использование современной вычислительной техники.Сетевые модели планируемых процессов позволяют быстро определитьпоследствия различных вариантов управляющих воздействий и находитьнаилучшие из них.СПУ дают возможность своевременно получать достоверную информацию о состоянии дел, о возникших задержках и возможностях ускорения хода работ, концентрируют внимание на «критических» работах, определяю-60щих продолжительность проведения разработки в целом, заставляют совершенствовать технологию и организацию работ, непосредственно влияющихна сроки проведения разработки, помогают составлять рациональные планыработ.2.2.1.
ПЕРЕЧЕНЬ РАБОТ И СОБЫТИЙСоставим полный перечень событий и работ сетевой модели. Каждая работа имеет определенную продолжительность. Однако не всегда заранее известно точное время выполнения работ, поэтому дадим продолжительностикаждой работы две вероятностные оценки:• минимальную (оптимистическую) — tmin ;• максимальную (пессимистическую) — tmax .Эти величины являются исходными для расчета ожидаемого времени выполнения работ: .tожидаемое =3 · tmin + 2 · tmax5Рассчитаем дисперсии работ по формуле:(2δ =tmax − tmin5)261Таблица 2.9. Перечень работ и событий, tmin , tmax , tож измеряются в днях.№Наименование события0Начало работ1Завершение анализаи составления планаКод работы0—11—21—31—41—5234Завершениеисследованиясуществующихсистем2—6Завершение изученияматематических основпостроениястатистических системмашинного перевода3—7Завершение изучениялингвистических основмашинного перевода4—93—84—85678Завершениеизучениявозможных вариaнтовхранения данныхЗавершение составлениятребований к системена основе аналоговЗавершение разработкичисленного алгоритмаи структру храненияданныхЗавершение разработки алгоритма поискаи выработки требованийк выходным даннымНаименование работыАнализ проблемы и составление плана-графикаИсследование существующих статистических системмашинного переводаИзучение математическихоснов построения статистических систем машинного переводаИзучение лингвистическихоснов машинного переводаИзучение возможных вариантов хранения данныхв рамках задачи машинного переводаСоставление требованийи ограничений системыРазработка численного алгоритма обучения системыРазработка алгоритма поиска верного варианта перевода на основе обученной моделиСоставлениетребований к входным даннымчисленного алгоритмаСоставление требованийк выходным даннымалгоритма поискаtmintmaxtожδ2253.80.164106.41.44102014.04.07108.20.36343.40.04121.60.04575.80.16686.80.16121.60.04121.60.045—7Разработка структуры хранения данных232.40.046 — 10Разработка распределенной архитектуры343.40.04575.80.16697.20.367 — 108 — 13Разработка работающейобучающейсямоделинатестовыхвходныхданныхРазработка работающего поискового модулянатестовыхвходныхданных62Таблица 2.9 (продолжение).
Перечень работ и событий, tmin , tmax , tож измеряются в днях.tmintmaxtожδ2575.80.16Разработка распеределенной обучающейся системы242.80.1611 — 12Разработкаалгоритмовпредварительной обработки входных корпусовтекста121.40.0612 — 13Корректировка системыс учетом входных данных121.40.0613 — 14Тестирование приложенияв совокупности отладкавсей системы101512.01.014 — 15Прогон системы на реальных корпусах текста121.50.06№Наименование событияКод работы9Завершение составлениятребований к входнымданнымчисленногоалгоритма9 — 1110Окончание разработкираспределенной архитектуры ии моделиобучающейся на тестовых входных данных10 — 1211Окончание подбора нужных корпусов текстов1213Окончаниеразработкираспеределеннойобучающейся системыи алгоритмов предварительнойобработкивходных данныхОкончание корректировки обучающейся системы и разработки работающего поискового модуля14Завершение отладки15Завершение работНаименование работыПодбор нужных корпусовтекстов (корпуса текста всееще остаются тестовыми,но составляются на основереальных данных)632.2.2.
ГРАФИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ СЕТЕВОЙМОДЕЛИ6.87.281312.0141.4151.414.003.8135.895.8111.41.68.23.446.452.81.675.83.412102.4621.6Рис. 2.13. Сетевой граф работ и критический путь.Построенный граф состоит из 15 событий (вершины графа). Дуги графа— работы. Каждая дуга графа подписана сверху соответствующей ей продолжительностью работ.Построенный граф удовлетворяет условию независимости событий i отсобытия j для все i > j. Выполнение этого условия очевидно, так как ниодна дуга не заканчивается в вершине с номером, меньшим, чем номер вершины из которой это дуга начиналась. Это позволяет корректно выполнятьдальнейшие расчеты.2.2.3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
