Диссертация (1101009), страница 15
Текст из файла (страница 15)
Список предложений приводится в Приложении Д.В тестовом тексте содержится 91 различная аббревиатура. При оценкеповторные аббревиатуры не учитывались, поскольку их расшифровка не зависелаот места в предложении. При этом в спорных случаях при не очень хорошемкачествесегментныхзвуковыхединицаббревиатурапрослушиваласьиоценивалась отдельно вне контекста. Если для конкретной аббревиатурыдопустимыми являются несколько вариантов прочтения, все они считалисьправильными.Исследование проводилось методом слухового анализа автором диссертациис использованием демо-версий пяти голосов различных систем синтеза речи: 98 1.
Katya (Nuance Vocalizer).2. Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Alyona (Acapela Group).5. Женский голос синтезатора iSpeech.Результаты теста представлены в Таблице 8. Подробный список ошибок попредложениям приводится в Приложении Е.Таблица 8.синтезаторамиПроцентошибочногочтенияаббревиатурразличнымиСинтезаторKatyaNuanceЮлияVitalVoiceTatyanaIvonaAlyonaAcapelaFemaleiSpeechПроцентошибок25,31,12217,626,4Здесь, как и в предыдущем тесте, лучший показатель у системы VitalVoice –практически стопроцентное правильное озвучивание аббревиатур (только однаошибка при чтении аббревиатуры «МИМО»).
В целом, задача озвучиванияинициальных аббревиатур оказалась более простой, чем расшифровка графическихсокращений с точкой, и максимальный процент ошибок составил чуть болеечетверти всех аббревиатур для синтезатора iSpeech.Для оценки статистической значимости различий в работе синтезаторов былприменен критерий хи-квадрат К. Пирсона (поскольку необходимо было сравнитькачественные показатели более двух систем).
Число степеней свободы равно 4.Значение критерия χ2 составляет 25,609. Критическое значение χ2 при уровнезначимости p < 0,01 составляет 13,277. Различия в количестве ошибок при чтенииграфических аббревиатур между синтезаторами статистически значимы приуровне значимости р < 0,01, следовательно, выбранное количество тестовых 99 предложений достаточно для выявления различий в работе синтезаторов причтении аббревиатур.4.2.3 Оценка чтения цифровых обозначенийДля эксперимента были выбраны 25 предложений из Национального корпусарусского языка [Национальный корпус русского языка], содержащих цифровыеобозначения (в том числе римские цифры, дроби, даты, обозначения времении т. д.).
Список предложений приводится в Приложении Ж.В тестовом тексте содержится 63 различных цифровых обозначения. Еслидля конкретного цифрового обозначения допустимыми являлись нескольковариантов прочтения, все они считались правильными. В тех случаях, когдаошибки синтеза при чтении цифровых обозначений были связаны с невернойрасшифровкой графических сокращений или специальных символов (например,«%»), на вход синтезатора подавалось предложение с расшифрованнымисокращениями и символами.Исследование проводилось с использованием демо-версий пяти голосовразличных систем синтеза речи:1.
Katya (Nuance Vocalizer).2. Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Alyona (Acapela Group).5. Женский голос синтезатора iSpeech.Результаты теста представлены в таблице 9. Подробный список ошибок попредложениям дается в Приложении И. 100 Таблица 9. Процент ошибочного чтения цифровых обозначений различнымисинтезаторамиСинтезаторKatyaNuanceЮлияVitalVoiceTatyanaIvonaAlyonaAcapelaFemaleiSpeechПроцентошибок38,117,536,538,141,3При расшифровке цифровых обозначений ни один синтезатор не смогправильно озвучить простые дроби («1/2», «1/3» и т. п.).
Также большинствосинтезаторов неправильно озвучивает время в формате чч.мм (как десятичнуюдробь), и при расшифровке не склоняются большие числа, записанные внестандартной форме («5 млн. 800 тысячам»).Для оценки статистической значимости различий в работе синтезаторовприменялся, как и в прочих случаях (см. выше) критерий хи-квадрат К. Пирсона(поскольку сравнивались качественные показатели более двух систем). Числостепеней свободы равно 4. Значение критерия χ2 составляет 10,229. Критическоезначение χ2 при уровне значимости p < 0,05 составляет 9,488.
Различия вколичестве ошибок между синтезаторами при чтении цифровых обозначенийстатистически значимы при уровне значимости р < 0,05, следовательно, выбранноеколичество тестовых предложений достаточно для выявления различий в работесинтезаторов при чтении аббревиатур.4.2.4 Оценка чтения специальных символовДля эксперимента были выбраны 10 предложений из Национального корпусарусского языка [Национальный корпус русского языка], содержащих специальныесимволы, 10 предложений были сконструированы вручную, а также взяты издругих интернет-источников.
Список предложений приводится в Приложении К. 101 В тестовом тексте содержится 21 специальный символ («+», «%», «&»и т. п.). При этом не учитывались как разные повторяющиеся символы в сходномконтексте. Если для конкретного символьного обозначения допустимыми являлисьнесколько вариантов прочтения, все считались правильными, в том числе пропусксимвола при чтении для таких символов как «/», «™» и «®».
Дополнительно длятестирования было взято одно предложение, содержащее сокращённые названияхимических элементов («Fe», «Mg» и т. п.), которое не было правильно озвученони одним из исследуемых синтезаторов речи.Исследование проводилось с использованием демо-версий пяти голосовразличных систем синтеза речи:1.
Katya (Nuance Vocalizer).2. Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Alyona (Acapela Group).5. Женский голос синтезатора iSpeech.Результаты теста представлены в таблице 10. Подробный список ошибок попредложениям приведен в Приложении Л.Таблица 10. Процент ошибочного чтения символьных обозначенийразличными синтезаторамиСинтезаторKatyaNuanceЮлияVitalVoiceTatyanaIvonaAlyonaAcapelaFemaleiSpeechПроцентошибок57,119,128,64,866,7Абсолютным лидером при чтении символьных обозначений стал синтезаторкомпании Acapela, не справившийся только с наиболее сложным предложением, 102 содержащим обозначение соотношения «в соотношении 1:1».
Это предложениебыло правильно озвучено программой Ivona TTS. Демо-версия синтезатора NuanceVocalizer целиком не читала предложения, содержащие символ «%». Вторымсложным случаем, озвученным только синтезатором Acapela, стало обозначениеразмера «406×40 мм».Для оценки статистической значимости различий в работе синтезаторов был,как и ранее, применен критерий хи-квадрат К. Пирсона (поскольку сравнивалиськачественные показатели более двух систем). Число степеней свободы равно 4.Значение критерия χ2 составляет в этом случае 24,873. Критическое значение χ2при уровне значимости p < 0,01 равно 13,277. Различия между синтезаторами вколичестве ошибок при чтении символьных обозначений статистически значимыпри уровне значимости р < 0,01, следовательно, выбранное количество тестовыхпредложений достаточно для выявления различий в работе синтезаторов.4.2.5 Оценка чтения иностранных слов на латиницеПодробная оценка правильности чтения иноязычных вставок не входит взадачи данного исследования.
Для получения представления о том, насколько сэтой задачей справляются различные русскоязычные селективные синтезаторы,был взят небольшой список английских слов, использованный О. Д. Черепановой вработе [Черепанова 2015: 46] при оценке качества синтеза англоязычных вставок.При проведении эксперимента учитывались два показателя:1. Процент точного соответствия практической англо-русской транскрипции,используемой в работе [Черепанова 2015].2.
Процент допустимого (с точки зрения автора диссертации) чтения таких слов,незначительно снижающего их восприятие (например, передача фонемы [w] через/у/ или изменение места ударения, соответствующее ударению в английском языке 103 для слова «Manchester»). Этот показатель также включал в себя и все точныесоответствия.Всего было озвучено 27 английских слов и словосочетаний следующимиголосами систем синтеза:1. Katya (Nuance Vocalizer).2.
Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Alyona (Acapela Group).5. Женский голос синтезатора iSpeech.Список слов с практической транскрипцией приводится в Приложении М.Результаты эксперимента приведены в таблице 11, подробные результаты – вПриложении Н.Таблица 11. Проценты ошибочного и неточного чтения англоязычныхвставок различными синтезаторамиСинтезаторПроцент явныхошибокПроцентнесоответствийKatyaNuanceЮлияVitalVoiceTatyanaIvonaAlyonaAcapelaFemaleiSpeech25,97,474,1085,244,422,292,666,788,9Наилучший результат по чтению английских слов показала система Acapela,слова, озвученные данной системой, звучали допустимо (см. выше) (основнымиотличиями от «идеальной» транскрипции было чтение [w] через /у/, изменениеместа ударения на соответствующее место ударения в английском языке, чтениеSamsung как «сэмсанг» и т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
