Диссертация (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи), страница 20

Эта подсистемаотвечает за построение следующих составных частей системы распознавания речи:1. Глубокая нейронная сеть с узким горлом, используемая для построениявысокоуровневых признаков.2. Акустическая модель.3. Языковая модель.4. Словарь транскрипций.Подробному описанию процесса построения каждого из этих элементов была посвящена глава 3.116Рисунок 4.2 — Схема подсистемы обученияПри создании подсистемы обучения автором были реализованы следующиепрограммные средства:1. Набор скриптов на языке программирования Python, работающих в совокупности с инструментом сбора данных из сети Интернет, разработанным в ООО «ЦРТ» [9]. Скрипты были созданы таким образом, чтобыбрать с форумов только тексты сообщений участников обсуждения и незатрагивать служебную информацию, рекламу, имена и подписи участников обсуждения.2.

Набор скриптов на языке программирования Perl, осуществляющих автоматическую предобработку обучающих текстов (исправление частовстречающихся ошибок и опечаток, неправильного регистра и кодировки, удаление спецсимволов и знаков препинания), а также формированиечастотного словаря по обучающим текстам.1173. Программа для ЭВМ «Модуль обучения AM на основе DNN» (краткоеназвание NnetTraining), созданная на основе исходного кода инструмента Kaldi ASR [101] на языке программирования C++с использованиемобъектно-ориентированного подхода.

Данная программа поддерживаетследующие способы обучения глубоких нейронных сетей:– обновление параметров глубокой нейронной сети при помощиалгоритма ускоренного градиента Нестерова, описанного в разделе 1.3.2 (формула 1.41);– обучение с добавлением штрафа за отклонение параметров модели от значений инициализирующей глубокой нейронной сети,определяемой формулой 2.4;– обучение с уменьшением количества примеров, принадлежащихклассам из задаваемого списка, в обучающей выборке;– обучение с использованием алгоритма кадрового сглаживания,описанного в разделе 1.3.2 (формула 1.53).Программа предназначена для работы в операционных системах Linux.В состав программы также входит набор Bash-скриптов для различныхсценариев ее запуска.4.

Программное средство для обучения адаптированных при помощи iвекторов глубоких нейронных сетей. Включает в себя скрипт на языке программирования Perl, осуществляющий нормализацию i-векторовк нулевому среднему значению и единичной дисперсии, приложение наязыке программирования C++для добавления i-вектора к вектору признаков на каждом кадре, а также набор Bash-скриптов, обеспечивающихзапуск программного средства для обучения глубоких нейронных сетейс использованием утилиты для добавления i-векторов к вектору признаков.5. Приложение, написанное на языке программирования C++, осуществляющее добавление в глубокую нейронную сеть узкого слоя заданнойразмерности с линейной функцией активации согласно алгоритму, представленному в разделе 2.2.Программные средства, разработанные для обучения акустических моделей(пункты 3–5), позволили реализовать метод и алгоритм, предложенные в главе 2.118В целях ускорения обучения DNN-HMM акустических моделей использовались вычисления общего назначения на графических процессорах (Generalpurpose computing for graphics processing units, GPGPU), осуществляющиеся посредством технологии CUDA (Compute Unified Device Architecture) [142] компании Nvidia.

Использовались следующие графические ускорители:1. GeForce GTX TITAN X.2. GeForce GTX TITAN Black.3. GeForce GTX 770.4. GeForce GTX 970.4.1.2Подсистема распознавания речиРисунок 4.3 — Схема подсистемы распознавания речи119Схема подсистемы распознавания речи представлена на рисунке 4.3. Данная подсистема принимает на вход фонограмму в wav-контейнере, записаннуюс частотой дискретизации 8000 Гц, 16 бит на отсчет. Первым этапом обработки входного сигнала является выделение речевых сегментов при помощи детектора активности диктора (Voice Activity Detector, VAD). По выделенным речевым сегментам происходит вычисление i-векторов для каждого участка фонограммы, а также вычисление признаков для каждого кадра согласно конфигурации 11xfbank-3, которая была представлена в разделе 3.4.4. Построенный на каждом кадре вектор признаков и i-вектор, соответствующий участку фонограммы,которому принадлежит рассматриваемый кадр, объединяются в единый векторпризнаков.

По объединенным векторам признаков вычисляются векторы высокоуровневых признаков при помощи адаптированной с использованием i-векторовглубокой нейронной сети с узким горлом. Далее осуществляется декодирование,или поиск наиболее правдоподобной последовательности слов, соответствующейпоследовательности векторов высокоуровневых признаков для данной фонограммы.

При декодировании используются акустическая модель, языковая модель исловарь транскрипций слов, полученные в результате работы подсистемы обучения. Выдаваемая в процессе декодирования последовательность слов (лучшаягипотеза) записывается в выходной текстовый файл.В основе этой подсистемы лежит программное средство ASR SDK, разработанное в ООО «ЦРТ» [9] при участии автора. Программное средство реализованона языке программирования C++ с использованием объектно-ориентированногоподхода. Поддерживаются следующие операционные системы и архитектурыпроцессора:1.

MS Windows XP/7/8, x86.2. MS Windows XP/7/8, x64.3. Linux CentOS 5.1, x86.4. Linux CentOS 5.1, x64.Для компиляции программных кодов для операционных систем семействаWindows использовалась среда разработки MS Visual Studio 2012 [143]. Компиляция программных кодов для операционных систем семейства Linux осуществлялась с помощью компилятора GCC (GNU Compiler Collection) [144] версии 4.4.Сборка программного обеспечения осуществлялась посредством кроссплатформенной системы автоматической сборки CMake [145] версии 2.8. Для ускорения120выполнения вычислительных операций использовалась библиотека MKL (MathKernel Library) компании Intel® [146].

Программное средство также поддерживает ускорение выполнения вычислительных операций с использованием графических ускорителей при помощи технологии CUDA (Compute Unified DeviceArchitecture) [142] компании Nvidia.4.2 Оценка эффективности разработанной системы и сравнение ссуществующими системами слитного распознавания на русском языкеВ этом разделе проведена оценка качества и быстродействия разработаннойсистемы распознавания телефонной спонтанной речи.

Представлены результатысравнения по точности распознавания речи с различными системами слитногораспознавания на русском языке.4.2.1Методика тестированияПри оценке эффективности работы систем распознавания речи использовался общепринятый критерий качества, представленный в разделе 1.1 — процент неправильно распознанных слов (WER), определяемый по формуле 1.1.В качестве критерия быстродействия использовался real-time factor(RTF) — величина, определяемая как отношение времени Trec , затраченногона распознавание фонограмм, к суммарной длительности Twav распознаваемыхфонограмм.Trec,(4.1)RT F =TwavЗначение RTF менее единицы означает, что распознавание осуществляется быстрее, чем воспроизведение той же записи, что является требованием к скоростиработы системы во многих задачах.Использование многоядерных процессоров ЭВМ позволяет существенноулучшить быстродействие системы распознавания речи за счет осуществленияпараллельной обработки фонограмм в нескольких потоках.

Для оценки эффек-121тивности параллельной обработки в n потоков используется формулаSn =T1∗ 100%,nTn(4.2)где T1 — время, затраченное на обработку фонограмм в 1 поток, Tn — время, затраченное на обработку фонограмм в n потоков. При этом эффективность распараллеливания обычно оказывается менее 100% по причине одновременного доступа нескольких потоков к ресурсам ЭВМ (кэш-памяти, оперативной памяти,жесткому диску, шинам передачи данных).4.2.2Описание тестовых базДля оценки эффективности работы системы распознавания использовалисьследующие тестовые базы:– База STC-test-1 разговоров по IP-телефону в стерео-канале, состоящая из9 файлов суммарной длительностью 46 минут.– База STC-test-2 телефонных диалогов в стерео-канале, записанных всложных акустических условиях, состоящая из 100 файлов суммарнойдлительностью 1 час 31 минута.– База STC-test-3 телефонных диалогов в моно-канале, записанных в сложных акустических условиях, состоящая из 15 файлов суммарной длительностью 25 минут.– База STC-test-4 телефонных диалогов в моно-канале, записанных в сложных акустических условиях, состоящая из 86 файлов суммарной длительностью 2 часа 12 минут.– База STC-test-5 телефонных диалогов в стерео-канале, записанных всложных акустических условиях, состоящая из 54 файлов суммарнойдлительностью 3 часа 47 минут.1224.2.3 Пример работы построенной системы распознаванияПример работы построенной системы распознавания для фрагментов одного из файлов тестовой базы STC-test-1 представлен в таблице 4.1.Таблица 4.1Эталонный и распознанный тексты для фрагментов одного из файлов тестовойбазы STC-test-1Эталонный текстРаспознанный текстотдел продаж дапонятно отдашь даздравствуйте Сергей Петрович минутку аллоздравствуйте Сергей Петрович минутку аллосейчас секундочку трубочку ему передамсейчас секундочку трубочку передамдобрый день слушаю васдобрый день слушаю васда да Илья отличнода Илья отличноа кто хоть неясно пока но будет всеравно видно наверноеа кто хоть неясно пока но будет всеравно видно навернотак мне интересно кто там влезтак мне интересно кто там в лесвы мне отпишите в письме хорошовы мне пишите в письме хорошодавайте так я сейчас пока не готов ответитьдавайте так я сейчас пока не готов ответитьнапишите мне письмо расклады дайте дальше я посмотрю окейнапишите мне письмо расклады давайте дальше я посмотрю окейдоговорились угу все спасибо покадоговорились угу все спасибо пока1234.2.4 Сравнение с другими системами распознавания слитной русской речиЧтобы оценить эффективность разработанной в диссертации системы посравнению с существующими системами, было проведено сравнение по качествураспознавания русской телефонной спонтанной речи с системой-победителемконкурса ФПИ (апрель 2014).

Сравнение осуществлялось на тестовых базах STCtest-1, STC-test-2, STC-test-3, STC-test-4. По результатам сравнения, представленным в таблице 4.2, разработанная система оказалась лучше на 18,1–21,0% абсолютных и 34,7–45,3% относительных, в зависимости от базы, на которой осуществлялось сравнение.Таблица 4.2Сравнение разработанной системы с системой-победителем конкурса ФПИ натестовых базах STC-test-1, STC-test-2, STC-test-3, STC-test-4СистемаТестовая базаWER, %∆WER, %WERR, %победитель конкурса ФПИSTC-test-140,0——21,918,145,353,2——34,718,534,856,8——37,019,834,960,5——39,521,034,7разработанная системапобедитель конкурса ФПИSTC-test-2разработанная системапобедитель конкурса ФПИSTC-test-3разработанная системапобедитель конкурса ФПИразработанная системаSTC-test-4Помимо сравнения с системой-победителем конкурса, огранизованногоФондом Перспективных Исследований в апреле 2014 года, также было проведено сравнение по качеству распознавания разработанной системы со следующимисистемами распознавания слитной русской речи:1.

Cистема-А — локальное распознавание от российского производителя.2. Система-Б — локальное распознавание от зарубежного производителя.1243. Система-В — облачное распознавание на удаленном сервере от российского производителя.4. Система-Г — облачное распознавание на удаленном сервере от зарубежного производителя.Система-А и система-Б являются коммерческими продуктами и пользуются спросом на рынке систем распознавания речи. Система-В и система-Г используютсядля голосового поиска в сети Интернет, обеспечивая пословную точность распознавания в этой задаче около 85–90%. Сравнение осуществлялось на различныхтестовых базах в связи с ограниченным доступом к этим системам распознаванияречи.Сравнение с системой-А проводилось на тестовой базе STC-test-5. Результаты сравнения, приведенные в таблице 4.3, говорят о том, что разработанная система оказалась лучше системы-А на 21,3% абсолютных и 37,7% относительных.Таблица 4.3Сравнение разработанной системы с системой-А на тестовой базе STC-test-5СистемаТестовая базаWER, %∆WER, %WERR, %система-АSTC-test-556,5——35,221,337,7разработанная системаСравнение с системой-Б проводилось на тестовых базах STC-test-1 и STCtest-2.