Диссертация (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи), страница 20

PDF-файл Диссертация (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи), страница 20 Технические науки (48863): Диссертация - Аспирантура и докторантураДиссертация (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи) - PDF, страница 20 (48863) - СтудИзба2019-06-29СтудИзба

Описание файла

Файл "Диссертация" внутри архива находится в папке "Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи". PDF-файл из архива "Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи", который расположен в категории "". Всё это находится в предмете "технические науки" из Аспирантура и докторантура, которые можно найти в файловом архиве СПбГУ. Не смотря на прямую связь этого архива с СПбГУ, его также можно найти и в других разделах. , а ещё этот архив представляет собой кандидатскую диссертацию, поэтому ещё представлен в разделе всех диссертаций на соискание учёной степени кандидата технических наук.

Просмотр PDF-файла онлайн

Текст 20 страницы из PDF

Эта подсистемаотвечает за построение следующих составных частей системы распознавания речи:1. Глубокая нейронная сеть с узким горлом, используемая для построениявысокоуровневых признаков.2. Акустическая модель.3. Языковая модель.4. Словарь транскрипций.Подробному описанию процесса построения каждого из этих элементов была посвящена глава 3.116Рисунок 4.2 — Схема подсистемы обученияПри создании подсистемы обучения автором были реализованы следующиепрограммные средства:1. Набор скриптов на языке программирования Python, работающих в совокупности с инструментом сбора данных из сети Интернет, разработанным в ООО «ЦРТ» [9]. Скрипты были созданы таким образом, чтобыбрать с форумов только тексты сообщений участников обсуждения и незатрагивать служебную информацию, рекламу, имена и подписи участников обсуждения.2.

Набор скриптов на языке программирования Perl, осуществляющих автоматическую предобработку обучающих текстов (исправление частовстречающихся ошибок и опечаток, неправильного регистра и кодировки, удаление спецсимволов и знаков препинания), а также формированиечастотного словаря по обучающим текстам.1173. Программа для ЭВМ «Модуль обучения AM на основе DNN» (краткоеназвание NnetTraining), созданная на основе исходного кода инструмента Kaldi ASR [101] на языке программирования C++с использованиемобъектно-ориентированного подхода.

Данная программа поддерживаетследующие способы обучения глубоких нейронных сетей:– обновление параметров глубокой нейронной сети при помощиалгоритма ускоренного градиента Нестерова, описанного в разделе 1.3.2 (формула 1.41);– обучение с добавлением штрафа за отклонение параметров модели от значений инициализирующей глубокой нейронной сети,определяемой формулой 2.4;– обучение с уменьшением количества примеров, принадлежащихклассам из задаваемого списка, в обучающей выборке;– обучение с использованием алгоритма кадрового сглаживания,описанного в разделе 1.3.2 (формула 1.53).Программа предназначена для работы в операционных системах Linux.В состав программы также входит набор Bash-скриптов для различныхсценариев ее запуска.4.

Программное средство для обучения адаптированных при помощи iвекторов глубоких нейронных сетей. Включает в себя скрипт на языке программирования Perl, осуществляющий нормализацию i-векторовк нулевому среднему значению и единичной дисперсии, приложение наязыке программирования C++для добавления i-вектора к вектору признаков на каждом кадре, а также набор Bash-скриптов, обеспечивающихзапуск программного средства для обучения глубоких нейронных сетейс использованием утилиты для добавления i-векторов к вектору признаков.5. Приложение, написанное на языке программирования C++, осуществляющее добавление в глубокую нейронную сеть узкого слоя заданнойразмерности с линейной функцией активации согласно алгоритму, представленному в разделе 2.2.Программные средства, разработанные для обучения акустических моделей(пункты 3–5), позволили реализовать метод и алгоритм, предложенные в главе 2.118В целях ускорения обучения DNN-HMM акустических моделей использовались вычисления общего назначения на графических процессорах (Generalpurpose computing for graphics processing units, GPGPU), осуществляющиеся посредством технологии CUDA (Compute Unified Device Architecture) [142] компании Nvidia.

Использовались следующие графические ускорители:1. GeForce GTX TITAN X.2. GeForce GTX TITAN Black.3. GeForce GTX 770.4. GeForce GTX 970.4.1.2Подсистема распознавания речиРисунок 4.3 — Схема подсистемы распознавания речи119Схема подсистемы распознавания речи представлена на рисунке 4.3. Данная подсистема принимает на вход фонограмму в wav-контейнере, записаннуюс частотой дискретизации 8000 Гц, 16 бит на отсчет. Первым этапом обработки входного сигнала является выделение речевых сегментов при помощи детектора активности диктора (Voice Activity Detector, VAD). По выделенным речевым сегментам происходит вычисление i-векторов для каждого участка фонограммы, а также вычисление признаков для каждого кадра согласно конфигурации 11xfbank-3, которая была представлена в разделе 3.4.4. Построенный на каждом кадре вектор признаков и i-вектор, соответствующий участку фонограммы,которому принадлежит рассматриваемый кадр, объединяются в единый векторпризнаков.

По объединенным векторам признаков вычисляются векторы высокоуровневых признаков при помощи адаптированной с использованием i-векторовглубокой нейронной сети с узким горлом. Далее осуществляется декодирование,или поиск наиболее правдоподобной последовательности слов, соответствующейпоследовательности векторов высокоуровневых признаков для данной фонограммы.

При декодировании используются акустическая модель, языковая модель исловарь транскрипций слов, полученные в результате работы подсистемы обучения. Выдаваемая в процессе декодирования последовательность слов (лучшаягипотеза) записывается в выходной текстовый файл.В основе этой подсистемы лежит программное средство ASR SDK, разработанное в ООО «ЦРТ» [9] при участии автора. Программное средство реализованона языке программирования C++ с использованием объектно-ориентированногоподхода. Поддерживаются следующие операционные системы и архитектурыпроцессора:1.

MS Windows XP/7/8, x86.2. MS Windows XP/7/8, x64.3. Linux CentOS 5.1, x86.4. Linux CentOS 5.1, x64.Для компиляции программных кодов для операционных систем семействаWindows использовалась среда разработки MS Visual Studio 2012 [143]. Компиляция программных кодов для операционных систем семейства Linux осуществлялась с помощью компилятора GCC (GNU Compiler Collection) [144] версии 4.4.Сборка программного обеспечения осуществлялась посредством кроссплатформенной системы автоматической сборки CMake [145] версии 2.8. Для ускорения120выполнения вычислительных операций использовалась библиотека MKL (MathKernel Library) компании Intel® [146].

Программное средство также поддерживает ускорение выполнения вычислительных операций с использованием графических ускорителей при помощи технологии CUDA (Compute Unified DeviceArchitecture) [142] компании Nvidia.4.2 Оценка эффективности разработанной системы и сравнение ссуществующими системами слитного распознавания на русском языкеВ этом разделе проведена оценка качества и быстродействия разработаннойсистемы распознавания телефонной спонтанной речи.

Представлены результатысравнения по точности распознавания речи с различными системами слитногораспознавания на русском языке.4.2.1Методика тестированияПри оценке эффективности работы систем распознавания речи использовался общепринятый критерий качества, представленный в разделе 1.1 — процент неправильно распознанных слов (WER), определяемый по формуле 1.1.В качестве критерия быстродействия использовался real-time factor(RTF) — величина, определяемая как отношение времени Trec , затраченногона распознавание фонограмм, к суммарной длительности Twav распознаваемыхфонограмм.Trec,(4.1)RT F =TwavЗначение RTF менее единицы означает, что распознавание осуществляется быстрее, чем воспроизведение той же записи, что является требованием к скоростиработы системы во многих задачах.Использование многоядерных процессоров ЭВМ позволяет существенноулучшить быстродействие системы распознавания речи за счет осуществленияпараллельной обработки фонограмм в нескольких потоках.

Для оценки эффек-121тивности параллельной обработки в n потоков используется формулаSn =T1∗ 100%,nTn(4.2)где T1 — время, затраченное на обработку фонограмм в 1 поток, Tn — время, затраченное на обработку фонограмм в n потоков. При этом эффективность распараллеливания обычно оказывается менее 100% по причине одновременного доступа нескольких потоков к ресурсам ЭВМ (кэш-памяти, оперативной памяти,жесткому диску, шинам передачи данных).4.2.2Описание тестовых базДля оценки эффективности работы системы распознавания использовалисьследующие тестовые базы:– База STC-test-1 разговоров по IP-телефону в стерео-канале, состоящая из9 файлов суммарной длительностью 46 минут.– База STC-test-2 телефонных диалогов в стерео-канале, записанных всложных акустических условиях, состоящая из 100 файлов суммарнойдлительностью 1 час 31 минута.– База STC-test-3 телефонных диалогов в моно-канале, записанных в сложных акустических условиях, состоящая из 15 файлов суммарной длительностью 25 минут.– База STC-test-4 телефонных диалогов в моно-канале, записанных в сложных акустических условиях, состоящая из 86 файлов суммарной длительностью 2 часа 12 минут.– База STC-test-5 телефонных диалогов в стерео-канале, записанных всложных акустических условиях, состоящая из 54 файлов суммарнойдлительностью 3 часа 47 минут.1224.2.3 Пример работы построенной системы распознаванияПример работы построенной системы распознавания для фрагментов одного из файлов тестовой базы STC-test-1 представлен в таблице 4.1.Таблица 4.1Эталонный и распознанный тексты для фрагментов одного из файлов тестовойбазы STC-test-1Эталонный текстРаспознанный текстотдел продаж дапонятно отдашь даздравствуйте Сергей Петрович минутку аллоздравствуйте Сергей Петрович минутку аллосейчас секундочку трубочку ему передамсейчас секундочку трубочку передамдобрый день слушаю васдобрый день слушаю васда да Илья отличнода Илья отличноа кто хоть неясно пока но будет всеравно видно наверноеа кто хоть неясно пока но будет всеравно видно навернотак мне интересно кто там влезтак мне интересно кто там в лесвы мне отпишите в письме хорошовы мне пишите в письме хорошодавайте так я сейчас пока не готов ответитьдавайте так я сейчас пока не готов ответитьнапишите мне письмо расклады дайте дальше я посмотрю окейнапишите мне письмо расклады давайте дальше я посмотрю окейдоговорились угу все спасибо покадоговорились угу все спасибо пока1234.2.4 Сравнение с другими системами распознавания слитной русской речиЧтобы оценить эффективность разработанной в диссертации системы посравнению с существующими системами, было проведено сравнение по качествураспознавания русской телефонной спонтанной речи с системой-победителемконкурса ФПИ (апрель 2014).

Сравнение осуществлялось на тестовых базах STCtest-1, STC-test-2, STC-test-3, STC-test-4. По результатам сравнения, представленным в таблице 4.2, разработанная система оказалась лучше на 18,1–21,0% абсолютных и 34,7–45,3% относительных, в зависимости от базы, на которой осуществлялось сравнение.Таблица 4.2Сравнение разработанной системы с системой-победителем конкурса ФПИ натестовых базах STC-test-1, STC-test-2, STC-test-3, STC-test-4СистемаТестовая базаWER, %∆WER, %WERR, %победитель конкурса ФПИSTC-test-140,0——21,918,145,353,2——34,718,534,856,8——37,019,834,960,5——39,521,034,7разработанная системапобедитель конкурса ФПИSTC-test-2разработанная системапобедитель конкурса ФПИSTC-test-3разработанная системапобедитель конкурса ФПИразработанная системаSTC-test-4Помимо сравнения с системой-победителем конкурса, огранизованногоФондом Перспективных Исследований в апреле 2014 года, также было проведено сравнение по качеству распознавания разработанной системы со следующимисистемами распознавания слитной русской речи:1.

Cистема-А — локальное распознавание от российского производителя.2. Система-Б — локальное распознавание от зарубежного производителя.1243. Система-В — облачное распознавание на удаленном сервере от российского производителя.4. Система-Г — облачное распознавание на удаленном сервере от зарубежного производителя.Система-А и система-Б являются коммерческими продуктами и пользуются спросом на рынке систем распознавания речи. Система-В и система-Г используютсядля голосового поиска в сети Интернет, обеспечивая пословную точность распознавания в этой задаче около 85–90%. Сравнение осуществлялось на различныхтестовых базах в связи с ограниченным доступом к этим системам распознаванияречи.Сравнение с системой-А проводилось на тестовой базе STC-test-5. Результаты сравнения, приведенные в таблице 4.3, говорят о том, что разработанная система оказалась лучше системы-А на 21,3% абсолютных и 37,7% относительных.Таблица 4.3Сравнение разработанной системы с системой-А на тестовой базе STC-test-5СистемаТестовая базаWER, %∆WER, %WERR, %система-АSTC-test-556,5——35,221,337,7разработанная системаСравнение с системой-Б проводилось на тестовых базах STC-test-1 и STCtest-2.

Свежие статьи
Популярно сейчас
Зачем заказывать выполнение своего задания, если оно уже было выполнено много много раз? Его можно просто купить или даже скачать бесплатно на СтудИзбе. Найдите нужный учебный материал у нас!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
5288
Авторов
на СтудИзбе
417
Средний доход
с одного платного файла
Обучение Подробнее