Диссертация (1101009), страница 16
Текст из файла (страница 16)
п.). В то же время у голоса «Юлия» наибольшийпроцент точных совпадений с практической транскрипцией, предлагаемой 104 О. Д. Черепановой (более 75 %). На качество озвучивания англоязычных вставоксинтезатором Ivona TTS в первую очередь влияет передача английской буквы «с»через русскую «ч» («блачк анд уйте» (black and white), «астропысичал»(astrophysical) и т. п.).
В синтезаторе iSpeech буква «h» передаётся всегда черезбукву «х», независимо от контекста («партнерсхип» – partnership).Для оценки статистической значимости различий в работе синтезаторовтакже был применен критерий хи-квадрат К. Пирсона (поскольку необходимобыло сравнить качественные показатели более двух систем). Число степенейсвободы равно 4. Значение критерия χ2 составляет 69,001. Критическое значение χ2при уровне значимости p < 0,01 составляет 13,277. Различия между синтезаторамив количестве ошибок при чтении английских слов (для явных ошибок)статистически значимы при уровне значимости р < 0,01, следовательно, выбранноеколичество тестовых предложений достаточно для выявления различий в работесинтезаторов.4.2.6 Оценка правильности определения места ударенияДля оценки правильности места словесного ударения были использованы дватекста: фонетически представительный текст из эксперимента в п.
4.1, а такженабор предложений, содержащих омографы как наиболее частые случаи ошибок вударении, (см. п. 4.2.6.1).По результатам анализа данных из эксперимента по влиянию различныхтипов ошибок можно сделать несколько выводов. Во-первых, аудиторы довольноточно отмечают наличие ошибок в месте ударения. Во-вторых, качествоопределения места ударения для тестируемых голосов различно (см.
таблицу 12ниже). Для голоса «Анна» (VitalVoice TTS) такая ошибка была всего одна – в слове«сЮжет», по-видимому, она связана с неудачным подбором звуковых единиц дляконкатенации, а не с ошибкой лингвистической обработки, что было проверено 105 синтезом тестового текста другим голосом того же синтезатора (Юлия), а такжеизменением контекста слова.
У голоса «Tatyana» (Ivona TTS) ошибок в ударениинесколько больше, а именно семь. Из них пять были допущены в словахомографах, также неправильно было прочитано слово «все» (как «всё»), что тожесвязано с проблемой омографии. Также следует отметить две ошибки с лишнимиударениями: «Вот тАк встреча!» и «рыба пО-бенгальски». Неправильно былипрочитаны также несколько слов с буквой «ё», написанные через «е» (подробнее вразделе по оценке транскрипции), возможно, с какими-то проблемами собработкой буквы «ё» связана и ошибка в слове «плЫвешь».
В слове «попрощЕ»ошибка в ударении, также как и у голоса «Анна», скорее всего, связана снеудачным подбором звукового элемента. Таким образом, проверка правильностиснятия омонимии для слов-омографов является одним из основных показателейкачества лингвистической обработки текста по определению места словесногоударения.Таблица 12. Ошибки различных синтезаторов в ударениях при чтениифонетически представительного текста (приведены неправильные ударения, в томчисле в омографах)ГолосАннаTatyanaСписок ошибочных словсЮжетсамОйгОрыгородАдрУжныплЫвешьгОдувидУПравильность определения места ударения в именах собственных в даннойдиссертационной работе не проверялась, так как выбор тестовых материалов втаком случае очень сильно зависит от конкретной ситуации использования 106 синтезатора речи.
Однако следует подчеркнуть, что, наряду с ошибками в словахомографах, ошибки чтения имён собственных являются наиболее частотными длявсех протестированных синтезаторов.4.2.6.1 Оценка правильности снятия омонимииДля эксперимента были выбраны 50 предложений из Национального корпусарусского языка [Национальный корпус русского языка], содержащих частотныеслова-омографы. Список предложений приводится в Приложении П.В тестовом тексте содержится 25 пар исходных омографов, по которымпроизводился поиск и дополнительно 11 омографов, также содержавшихся ввыбранных предложениях. В тех случаях, когда ошибки синтеза при чтениицифровых обозначений были связаны с неверной расшифровкой графическихсокращений или специальных символов (например, «%»), на вход синтезатораподавалось предложение с расшифрованными сокращениями и символами.Исследование проводилось с использованием демо-версий шести голосовразличных систем синтеза речи:1.
Katya (Nuance Vocalizer).2. Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Синтезатор Mary TTS (мужской голос)5. Alyona (Acapela Group).6. Женский голос синтезатора iSpeech.Результаты теста представлены в таблице 13. Подробный список ошибок попредложениям дается в Приложении Р. 107 Таблица 13. Процент ошибочного чтения слов-омографов различнымисинтезаторамиГолосKatyaNuanceЮлияVitalVoiceTatyanaIvonaПроцентошибок39,31,642,6Male Mary AlyonaTTSAcapela54,1FemaleiSpeech34,421,3Синтезатор VitalVoice допустил при выборе места ударения всего однуошибку, в то время как в синтезаторе Mary TTS имеется явная проблема с выборомместа ударения не только в словах-омографах, что, по всей видимости, связано смалым размером словаря.Дляоценкистатистическойзначимостиразличийвработеголосов/синтезаторов был применен критерий хи-квадрат К.
Пирсона (посколькусравнивались качественные показатели более двух систем). Число степенейсвободы равно 5. Значение критерия χ2 составляет 41,478. Критическое значение χ2при уровне значимости p < 0,01 равно 15,086. Различия между синтезаторами вколичестве ошибок при чтении омографов статистически значимы при уровнезначимости р < 0,01, следовательно, выбранное количество тестовых предложенийдостаточно для выявления различий в работе синтезаторов.Выводы. Общие результаты исследований, описанных в данном разделе,являютсявнекоторойстепениожидаемыми.Привыполнениизадачлингвистической обработки текста, связанных непосредственно с русским языком,лучшие показатели у системы синтеза VitalVoice TTS, разрабатываемой в России, впервую очередь для русского языка.
Однако при чтении иноязычных вставок испециальных символов самые хорошие результаты показывает синтезаторкомпании Acapela Group, что, по всей видимости, связано с тем, чтосоответствующие модули могли быть встроены в русскоязычный синтез из более 108 разработанных языков. Некоммерческий голос системы Mary TTS ожидаемопоказал самый плохой результат, не справившись с большинством задач. Средиостальных коммерческих систем показатели качества варьируются в зависимостиот конкретной задачи.4.3 Оценка фонетической обработкиВ данном разделе блоки просодической и фонетической обработкиобъединены в один, так как при исключительно аудитивной оценке интонациизвучащейсинтезированнойсоответствующихмодулейречибездоступаневозможнокрезультатампротестироватьработыправильностьинтонационной транскрипции независимо от результирующих физическиххарактеристик речи.4.3.1 Оценка сегментной транскрипцииДля русского языка, в котором для большей части слов соответствие «буква–фонема» может быть определено ограниченным набором правил чтения, можновыделить несколько зон потенциальных ошибок в сегментной транскрипции длясинтезаторов речи (не считая ошибок в определении места ударения):1.
Чтение слов с буквой «ё» через «е» (например, «нем» вместо «нём»).2. Смягчение согласных в заимствованных словах перед буквой «е» (например,«синтЕз»).3. Чтение безударных «о» и «э» как «а» или «и»/«ы» соответственно вопределённых контекстах и группах слов (например, «какаО»).4. Озвучивание непроизносимых согласных (например, «соЛнце», «чуВство»).5. Отсутствие ассимиляции по месту или способу образования согласных(например, «выеЗжаю»).6.
Ошибки, связанные с кратким или ошибочно долгим чтением двойныхсогласных (например, «класС»). 109 7. Неверное оглушение/озвончение согласных (например, оглушение предлоговперед словом с начальной буквой «в» – «беЗ ветки»)8. Иные ошибки (например, чтение окончаний прилагательных «-оГо» иличтение слов с этим сочетанием не в окончании через «ово», например, вслове «мноГо») и т. д.Для проверки правильности сегментной транскрипции из национальногокорпусарусскогоязыкабыливыбраны14предложений,содержащихпотенциально ошибочные слова. Одно предложение для контрастной проверкичтения двойных согласных было сконструировано вручную.
Полный списокпредложений приводится в Приложении С. Общая длительность звукозаписей длякаждого голоса составила около 2 минут речи.Исследование проводилось лично автором диссертации методом слуховогоанализа с использованием демо-версий шести голосов различных систем синтезаречи:1. Katya (Nuance Vocalizer).2. Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Синтезатор Mary TTS (мужской голос)5. Alyona (Acapela Group).6.
Женский голос синтезатора iSpeech.Результаты тестирования приведены в таблице 14. Всего при озвучиваниитестовых предложений было обнаружено 16 различных ошибок в транскрипции.Подробный список ошибок приводится в Приложении Т. 110 Таблица 14. Количество ошибок в сегментной транскрипции у различныхсинтезаторовГолос/СинтезаторКоличествоошибокKatyaNuanceЮлияVitalVoiceTatyanaIvona826Male Mary AlyonaTTSAcapela92FemaleiSpeech9Наиболее сложным случаем оказалось чтение слова «нестрого», котороебольшинство синтезаторов озвучили как «нестроВо». Также следует отметить, чтов синтезаторе Nuance Vocalizer существуют явные проблемы с чтением двойныхсогласных и буквы «ё», не обозначенной в тексте в явном виде.
СинтезаторомMary TTS был допущен ряд ошибок сверх ожидаемых (что может быть связано нетолько с ошибками в транскрипторе, но и с некачественной разметкой речевойбазы).Для оценки статистической значимости различий в работе синтезаторов былприменен критерий хи-квадрат К. Пирсона (поскольку необходимо было сравнитькачественные показатели более двух систем). Число степеней свободы равно 5.Значение критерия χ2 составляет 14,4.
Критическое значение χ2 при уровнезначимости p < 0,05 составляет 11,07. Различия между синтезаторами в количествеошибок в сегментной транскрипции статистически значимы при уровнезначимости р < 0,05, следовательно, выбранное количество тестовых предложенийдостаточно для выявления различий в работе синтезаторов.4.3.2 Оценка паузирования в синтезированной речиОценка правильности определения локализации пауз затруднена тем, что дляполучения корректных результатов требуется озвученный синтезаторами текстдостаточной длины, что трудновыполнимо при наличии лишь демо-версий, так какв них существует ограничение на количество символов (в большинстве 111 синтезаторов – не более 300 символов).
В озвученном двумя синтезированнымиголосами фонетически представительном тексте (см. п. 4.1) не было выявлено явноошибочных лишних или недостающих пауз. Следует отметить, что припроведении эксперимента по влиянию различных типов ошибок на оценкуестественности синтеза (см. п. 4.1), в некоторых предложениях несколькоаудиторов (не более четырёх) отметили наличие ошибок в паузировании (в этукатегорию входило не только наличие/отсутствие паузы, но также и её невернаядлительность). Рассмотрим случаи, где трое или более аудиторов отметилиошибки такого рода, подробнее.Для голоса «Анна» таких предложений с потенциальными ошибками впаузации было больше (далее в предложениях символ «//» обозначает паузы вчтении, сделанные обоими синтезаторами, /*T/ – только «Tatyana»):1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
