Автореферат (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи), страница 2

Анализ современных методов распознавания спонтанной речи.2. Разработка методов, алгоритмов и программных средств распознаваниярусской телефонной спонтанной речи.3. Построение языковой модели, словаря транскрипций и акустической модели, входящих в состав системы распознавания русской телефоннойспонтанной речи.4. Оценка качества работы разработанной системы распознавания русскойтелефонной спонтанной речи, а также сравнение с российскими и зарубежными системами.Объект исследования.

Системы автоматического распознавания речи.Предмет исследования. Методы, алгоритмы и программные средстваавтоматического распознавания русской телефонной спонтанной речи.Используется широко распространенная в прикладных научных исследованиях методология: формулирование целей и задач, анализ состояния исследований и существующей литературы, разработка алгоритмических и программных решений, экспериментальная оценка эффективности разработанныхрешений, апробация и анализ результатов. Особое внимание следует уделитьметодологии проведения экспериментальной части исследования — она проводилась исключительно на естественном речевом материале, при этом тестовыевыборки ни по произнесениям, ни по составу дикторов не пересекались с обучающими данными. В качестве методов исследования используются методыцифровой обработки сигналов, теории вероятностей и математической статистики, машинного обучения, прикладной лингвистики, а также методы разработки программного обеспечения.Научная новизна.1.

Разработан метод построения информативных признаков, извлекаемых изглубокой нейронной сети с узким горлом, отличающийся применениемадаптации к диктору и акустическим условиям и позволяющий улучшитькачество акустических моделей для спонтанной речи.2. Разработан двухэтапный алгоритм инициализации обучения акустическихмоделей на основе глубоких нейронных сетей, отличающийся учетом количества неречевых примеров в обучающей выборке и обеспечивающийповышение точности распознавания спонтанной речи.63. Разработан метод построения системы распознавания русской телефоннойспонтанной речи, включающий в себя обучение языковых моделей, формирование словаря транскрипций и обучение акустических моделей с использованием разработанных метода и алгоритма.4.

Реализованы программные средства, входящие в состав системы распознавания русской телефонной спонтанной речи и позволяющие использоватьакустические модели, построенные с помощью представленных в диссертации методов и алгоритмов.Теоретическая и практическая значимость работы. Теоретическаязначимость данной работы заключается в улучшении существующих и разработке новых алгоритмов обучения акустических моделей на основе глубокихнейронных сетей для задачи распознавания речи, а также в разработке и экспериментальном исследовании нового метода извлечения информативных признаков, превосходящего использовавшиеся ранее.Практическая значимость диссертационного исследования заключаетсяв использовании разработанных алгоритмических и программных средств присоздании системы распознавания русской телефонной спонтанной речи, демонстрирующей достаточно высокие качество распознавания и быстродействиедля применения в таких практических задачах, как автоматическая отекстовкаархивов фонограмм, поиск ключевых слов в потоке слитной речи, кластеризация записей по тематикам.

Основные результаты, полученные в диссертации,внедрены:1. В состав ряда коммерческих продуктов компании ООО «ЦРТ»:АПК «Трал», ПО «VoiceNavigator», ПО «VoiceNavigator Web», ПО «Незабудка II».2. В компании ООО «ЦРТ» при выполнении научно-исследовательскихи опытно-конструкторских работ по теме «Разработка аппаратнопрограммного комплекса автоматической подготовки скрытых субтитров в реальном масштабе времени для внедрения на общероссийских обязательных общедоступных телеканалах в пределах утвержденных лимитов бюджетных обязательств» в рамках выполненияобязательств по Государственному контракту от 7 декабря 2012 г.№ 0173100007512000034_144316, а также при выполнении составной части проекта по теме «Модернизация речевого сервера для использованияв макете перспективной системы транскрибирования речи.

Разработкасистем тематического рубрицирования и дообучения к источнику речи»шифр «Лангет-Ц».3. В компании ООО «ЦРТ-инновации» при проведении прикладных научных исследований по теме «Разработка технологии преобразования русской речи в транскрипционное представление с метаданными для автоматического распознавания речевых команд в робототехнике и промышленности» в рамках Соглашения с Министерством образования и науки РФ№ 14.579.21.0057 от 23.09.2014 (ID проекта RFMEFI57914X0057), а так-7же прикладных научных исследований по теме «Разработка методов лингвистического и семантического анализа для интеллектуальной обработкитекстов, полученных в результате автоматического распознавания звучащей спонтанной русской речи» в рамках Соглашения с Министерствомобразования и науки РФ № 14.579.21.0008 от 5 июня 2014 г.

(ID проектаRFMEFI57914X0008).Основные положения, выносимые на защиту:1. Метод построения информативных признаков, извлекаемых из адаптированной к диктору и акустическим условиям глубокой нейронной сети сузким горлом.2. Двухэтапный алгоритм инициализации обучения акустических моделей наоснове глубоких нейронных сетей.3. Метод построения системы распознавания русской телефонной спонтанной речи.4. Программные средства, входящие в состав системы распознавания русской телефонной спонтанной речи.Степень достоверности и апробация результатов.

Достоверность иобоснованность результатов исследования обеспечивается корректным обоснованием постановок задач, точной формулировкой критериев, анализом состояния исследований в данной области, проведением большого количества экспериментов, а также успешным внедрением на практике. Результаты диссертации докладывались и обсуждались на следующих научнометодических конференциях: «15th Annual Conference of the International SpeechCommunication Association» (Сингапур, 2014), «16th International Conference onSpeech and Computer» (Нови Сад, Сербия, 2014), «17th International Conferenceon Speech and Computer» (Афины, Греция, 2015), «XLV научная и учебнометодическая конференция Университета ИТМО» (Санкт-Петербург, Россия,2016).Личный вклад автора.

Соискателем лично решены задачи диссертации.Разработаны методы и алгоритмы распознавания спонтанной речи, проведенаэкспериментальная оценка эффективности разработанных методов и алгоритмов. Разработаны программные средства, входящие в состав системы распознавания русской телефонной спонтанной речи.Публикация результатов. По теме диссертации опубликовано семь печатных работ. Статьи [1], [2] опубликованы в журналах из перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук,на соискание ученой степени доктора наук. Статьи [3–7] опубликованы в изданиях, индексируемых в международных реферативных базах Scopus или Webof Science.

В статье [3] соискателю принадлежит построение языковых моделей, проведение экспериментов по подбору параметров декодера и настройка быстродействия системы. В статье [4] соискателю принадлежит построениеязыковых моделей, построение акустической модели для распознавания рус-8ской телефонной спонтанной речи, а также получение базовых результатов поскорости и точности распознавания.

В статье [5] соискателю принадлежит построение языковой модели и настройка параметров декодера. В статье [6] соискателю принадлежит разработка метода построения признаков, извлекаемых изадаптированной к диктору и акустическим условиям глубокой нейронной сети,построение языковой модели, построение акустических моделей, проведениеэкспериментов по оценке эффективности разработанного метода. В статье [7]соискателю принадлежит построение акустической модели для автоматического распознавания казахской и русской речи.

Остальные результаты в статьях[3–7] принадлежат соавторам.Объем и структура работы. Диссертация состоит из введения, четырехглав и заключения. Полный объём диссертации составляет 148 страниц с 18рисунками и 32 таблицами. Список литературы содержит 146 наименований.Основное содержание работыВо введении обоснована актуальность исследования, проводимого врамках данной диссертационной работы, сформулированы цели и задачи исследования, показаны научная новизна и практическая значимость работы,представлены положения, выносимые на защиту.В первой главе приведен обзор современных методов автоматического распознавания речи. Рассмотрена типичная структура современной системыавтоматического распознавания речи, в состав которой входят модуль обработки сигнала и извлечения признаков, акустическая модель, языковая модель,словарь транскрипций и декодер.

Модуль обработки сигнала и извлечения признаков принимает на вход звуковой сигнал, осуществляет шумоочистку и извлекает векторы информативных признаков, которые в дальнейшем используются при акустическом моделировании. Акустическая модель описывает плотность распределения вероятностей акустических классов (например, фонем) назаданном участке речевого сигнала. Языковая модель описывает вероятностьпоявления слова в контексте других слов. Словарь транскрипций устанавливает связь между последовательностями акустических классов, описываемыхакустической моделью, и словами, описываемыми языковой моделью.

Наконец, декодер анализирует вероятности, генерируемые акустической и языковоймоделями, и выдает в качестве результата распознавания последовательностьслов ŵ, определяемую какŵ = arg max P(w|x) = arg maxwwP(x|w) P(w)= arg max P(x|w) P(w).wP(x)(1)Здесь максимум берется по всем возможным цепочкам слов w, x представляетсобой набор векторов признаков распознаваемого сигнала, P(w) — генериру-9емая языковой моделью вероятность цепочки слов w, а P(x|w) — вероятность,генерируемая акустической моделью.Далее в тексте главы проанализированы особенности разговорной русской речи и проведен анализ состояния исследований в области распознаваниядиктовочной и спонтанной речи на русском языке. Сделан вывод, что на настоящий момент существуют системы, успешно решающие задачу распознаваниядиктовочной русской речи, однако не разработано систем, эффективно распознающих спонтанную русскую речь.Вторая глава посвящена исследованию и разработке методов и алгоритмов построения информативных признаков при помощи глубоких нейронныхсетей (Deep Neural Networks, DNN), а также акустических моделей на основеDNN и скрытых марковских моделей (Hidden Markov Models, HMM).В начале главы приводится интерпретация DNN как составной модели, совмещающей каскад нелинейных преобразований входных признакови классификатор.