Диссертация (1101009), страница 14
Текст из файла (страница 14)
Для сравнения оценок естественности был использованстатистический анализ. Поскольку для измерения переменных используетсяпорядковая шкала и неизвестны параметры распределения исследуемой выборки,был применён U-критерий Манна-Уитни (его значение для сравниваемых оценокравно 34). Критическое значение U-критерия Манна-Уитни при заданнойчисленности сравниваемых групп составляет 30. 34 > 30, следовательно, различиясредних оценок данных синтезаторов статистически не значимы (р > 0,05).Частотностьошибокразноготипадлятестируемыхсинтезаторовразличается. При этом, несмотря на большую вариативность ответов испытуемых(см. ниже рис.
19) можно выделить определённые закономерности, касающиесявлияния ошибок разного типа на общую оценку естественности звучания.Подробные результаты приводятся в таблице 4. Для тех типов ошибок, которыевстречались в предложениях только одновременно с другими типами ошибок,данные о максимально возможных оценках не приводятся. Корреляцию ошибок ивлияние на оценку естественности звучания одновременно нескольких типовошибок следует исследовать отдельно.
Необходимо уточнить, что высокийпроцент ошибок восьмого типа («иное») для голоса Tatyana отмечалсяиспытуемыми с комментариями «акцент» в тех случаях, когда синтезированныйголос неверно произносил отдельные звуки (неправильное смягчение, неполнаяредукция безударных гласных и т. п.), что можно было бы отнести и к типу два(«неверное произнесение»). В будущих экспериментах описание этой категорииошибок должно быть уточнено.
91 Таблица 4. Максимально возможные оценки естественности речи приналичии ошибки определённого типаТип ошибкиУдарениеПроизнесениеИнтонацияПлавностьМакс. оценкаестественности3,54,04,43,9Наиболее частотными для обеих тестируемых систем оказались ошибки идефекты в интонации, однако следует отметить, что эта группа явно неоднородна:некоторые интонационные ошибки резко снижают оценку естественности фразы(единственная ошибка в интонации может снизить естественность до 3,2), а другиена нее практически не влияют. Это, скорее всего, связано с тем, что неточности вобработкеинтонациимогутбытьдвухтипов:неправильныйвыборинтонационного оформления фразы (например, повествовательная интонационнаямодельвместовопросительной)илидефекты,состоящиевнескольконеестественном движении ЧОТ.
По всей видимости, эти интонационныенеточности нужно оценивать отдельно. Подробнее (и для большего количествасравниваемых синтезаторов) этот вопрос рассматривается в разделе 4.3.3, гдеиспользуется двухуровневая система оценки естественности интонации. Ошибкидругих типов отмечались значительно реже и не более чем половинойиспытуемых.Вариативность ответов испытуемых оказалась довольно высокой (см.
рис.19), особенно это касалось ошибок, связанных с акустическим модулем и вариантаответа «Иное». Возможно, на оценку общего качества голоса в большой степенивлияет субъективное восприятие его приятности. 92 Рис. 19. Вариативность оценок аудиторов (процент предложений, вкоторых отмечены ошибки указанного типа) для разных синтезированныхголосов. Цветами показаны проценты ошибок, указанные каждымиспытуемымВысокую согласованность при определении типа ошибки испытуемыепоказали только для наиболее частых и явных ошибок (например, ошибок в местеударения).
Данные по ошибкам, отмеченным более чем половиной и более чемтремячетвертямисоответственно.испытуемых,Количествоприводятсяошибок,втаблицеотмеченных5всемиитаблице6испытуемымиодновременно, является незначительным. Следует упомянуть, что для голоса«Анна» большей частью испытуемых (более 75 процентов) отмечались толькоошибки в интонационном оформлении предложений, в то время как для голоса«Tatyana» большинством были отмечены также ошибки в словесном ударении ипроизнесении. 93 Таблица 5.
Данные по ошибкам, отмеченным большинством испытуемых дляголоса «Tatyana»Отметили Ударе- ПроизТемп/ Интона- Плав- Общ. кач.ПаузыИное Всегоошибку, %ние несениеритмцияность голосаБолее 5061023140Более 7542511Таблица 6. Данные по ошибкам, отмеченным большинством испытуемых дляголоса «Анна»Отметили Ударе- ПроизТемп/ Интона- Плав- Общ. кач.ПаузыИное Всегоошибку, %ние несениеритмцияность голосаБолее 501322430Более 7544Из проведенного теста можно сделать вывод, что ошибки в интонационномоформлении синтезированной речи являются главной проблемой современныхрусскоязычных селективных синтезаторов, что как раз может быть связано салгоритмом селективного синтеза речи, используемым в современных системах,когдаиззвуковогокорпусавыбираютсязвуковыеэлементы,неточносоответствующие требованиям к их просодическим характеристикам.
Такжеследует отметить, что тестируемые синтезаторы отличаются по качествулингвистической и акустической обработки, причём несколько больший вес имеютошибки, связанные с неправильной постановкой словесного ударения и невернойтранскрипцией.Некоторые возможные ошибки в синтезированной речи не были охваченыданным экспериментом. Для оценки пауз между предложениями нужендополнительный эксперимент. В описанный тест не была включена также оценкаслушающимивозможныхошибок,связанныхснеправильнымчтениемчислительных, записанных цифрами, аббревиатур, телефонов, неправильной 94 расшифровкой сокращений, неправильным делением на предложения и т.
п., тоесть ошибок, возникающих при работе модуля нормализации текста. Такиеошибки влияют не только на естественность, но и на понимание синтезированнойречи.4.2 Оценка лингвистической обработкиДля оценки лингвистической обработки в общем случае были выбранысинтезаторы, имеющие демо-версии без фоновой музыки (Acapela, iSpeech, IvonaTTS, Mary TTS, Nuance Vocalizer, VitalVoice TTS).
Оценка проводилась припомощи слухового анализа лично автором диссертации. Общая длительностьпротестированных звукозаписей на каждый синтезированный голос составилаоколо 40 минут.Следует отдельно отметить, что открытый для свободного использованиясинтезатор Mary TTS имеет несколько худшее качество, чем коммерческиепродукты, что касается и лингвистической обработки: не читаются цифры исимволы латиницы, инициальные аббревиатуры читаются как обычные слова.Поэтому для этого синтезатора данные по экспериментам приводятся только втестахнаправильностьчтенияомографовиправильностьсегментнойтранскрипции.
При составлении тестов предложения, содержащие анализируемыеслова или обозначения, в общем случае случайным образом выбирались изНационального корпуса русского языка [Национальный корпус русского языка].При оценке качества различных синтезаторов следует иметь возможностьизменять набор тестовых данных для того, чтобы исключить возможностьнастройкисинтезаторанаконкретныйограниченныйсписоктестовыхпредложений. 95 4.2.1 Оценка правильности выделения предложенийВ тестовом тексте из п. 4.1 при слуховом анализе не было обнаружено ниодной ошибки в выделении предложений обоими (Ivona TTS, VitalVoice TTS)синтезированными голосами. Большинство подобных ошибок возникает всложных случаях при чтении технических или новостных текстов, где встречаютсясокращения с точкой, или же в случаях неправильной трактовки специальныхсимволов (знак абзаца, перенос строки и т.
п.), а также при чтении коротких фразбез точки, начинающихся с новой строки. Поэтому в общем случае правильноеделение на предложения зависит от того, насколько хорошо исследуемыйсинтезатор справляется с расшифровкой графических сокращений с точкой (см.п. 4.2.2.1).4.2.2 Оценка чтения аббревиатурТест на чтение аббревиатур был разделён на две части. Это связано с тем,что чтение графических сокращений зависит от контекста, что необходимоучитывать при анализе результатов.4.2.2.1 Оценка расшифровки графических сокращенийДля эксперимента были выбраны 50 предложений из Национального корпусарусского языка [Национальный корпус русского языка], содержащие различныечастотныеграфическиесокращения.СписокпредложенийприводитсявПриложении В.В тестовом тексте содержится 87 сокращений.
При оценке повторныесокращения учитывались как различные ошибки, поскольку их расшифровказависит от места в предложении. Если для конкретного сокращения допустимымиявляются несколько вариантов прочтения, все они считались правильными.Ошибкой считалась неправильная форма расшифрованных слов. 96 Исследование проводилось с использованием демо-версий пяти голосовразличных систем синтеза речи:1. Katya (Nuance Vocalizer).2.
Юлия (VitalVoice TTS).3. Tatyana (Ivona TTS).4. Alyona (Acapela Group).5. Женский голос синтезатора iSpeech.Результаты теста представлены в таблице 7. Подробный список ошибок попредложениям дается в Приложении Г.Таблица 7. Процентразличными синтезаторамиошибочногочтенияграфическихсокращенийСинтезаторKatyaNuanceЮлияVitalVoiceTatyanaIvonaAlyonaAcapelaFemaleiSpeechПроцентошибок59,820,767,848,372,4Из полученных данных можно сделать вывод о том, что с чтениемсокращений полностью не справляется ни один из тестируемых синтезаторов.Наиболее хорошие результаты показала система VitalVoice (для которой русскийязык является основным разрабатываемым языком), также более половиныправильно озвученных сокращений у синтезатора компании Acapela.
Худшийрезультат у системы iSpeech, которая правильно озвучила только четвертьтестовых предложений. Практически все синтезаторы правильно озвучиваюттолькосамыечастотныесокращениятипа«и т. д.»,частосамословорасшифровывается правильно, но имеет неверную форму. Особо следует отметить,что у всех тестируемых синтезаторов были уникальные ошибки, что говорит о том,что они используют различные правила расшифровки сокращений. 97 Для оценки статистической значимости различий в работе синтезаторов идостаточности объёма тестового материала был применен критерий хи-квадратК.
Пирсона (поскольку необходимо было сравнить качественные показатели болеедвух систем). Исходными данными послужило количество ошибок, выделенныхдля каждого синтезированного голоса. Число степеней свободы равно 4. Значениекритерия χ2 составляет 59,691. Критическое значение χ2 при уровне значимостиp < 0,01 составляет 13,277. Различия между синтезаторами в количестве ошибокпри чтении графических сокращений статистически значимы при уровнезначимости р < 0,01, следовательно, выбранное количество тестовых предложенийдостаточно для выявления различий в работе синтезаторов.4.2.2.2 Оценка чтения инициальных аббревиатур, сложносокращённых слов исмешанных сокращенийДля эксперимента были выбраны 50 предложений из Национального корпусарусского языка [Национальный корпус русского языка], содержащих частотныеаббревиатуры(втомчислесложносокращённыесловаиинициальныеаббревиатуры на латинице).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
