Диссертация (Методы, алгоритмы и программные средства распознавания русской телефонной спонтанной речи), страница 3

Результаты диссертации докладывались и обсуждались на следующих научно-методических конференциях: «15thAnnual Conference of the International Speech Communication Association» (Сингапур, 2014), «16th International Conference on Speech and Computer» (Нови Сад,Сербия, 2014), «17th International Conference on Speech and Computer» (Афины,Греция, 2015), «XLV научная и учебно-методическая конференция УниверситетаИТМО» (Санкт-Петербург, Россия, 2016).Личный вклад автора. Соискателем лично решены задачи диссертации.Разработаны методы и алгоритмы распознавания спонтанной речи, проведенаэкспериментальная оценка эффективности разработанных методов и алгоритмов.11Разработаны программные средства, входящие в состав системы распознаваниярусской телефонной спонтанной речи.Публикация результатов.

По теме диссертации опубликовано семь печатных работ. Статьи [16; 17] опубликованы в журналах из перечня российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора икандидата наук. Статьи [18–22] опубликованы в изданиях, индексируемых в реферативных базах Scopus или Web of Science. В статье [18] соискателю принадлежит построение языковых моделей, проведение экспериментов по подбору параметров декодера и настройка быстродействия системы. В статье [19] соискателюпринадлежит построение языковых моделей, построение акустической моделидля распознавания русской телефонной спонтанной речи, а также получение базовых результатов по скорости и точности распознавания. В статье [20] соискателю принадлежит построение языковой модели и настройка параметров декодера.В статье [21] соискателю принадлежит разработка метода построения признаков,извлекаемых из адаптированной к диктору и акустическим условиям глубокойнейронной сети, построение языковой модели, построение акустических моделей, проведение экспериментов по оценке эффективности разработанного метода.

В статье [22] соискателю принадлежит построение акустической модели дляавтоматического распознавания казахской и русской речи. Остальные результатыв статьях [18–22] принадлежат соавторам.Объем и структура работы. Диссертация состоит из введения, четырехглав и заключения. Полный объём диссертации составляет 148 страниц с 18 рисунками и 32 таблицами. Список литературы содержит 146 наименований.12Глава 1. Современные подходы к распознаванию слитной и спонтанной речиВ первой главе представлена структура современных систем распознавания речи. Описаны основные подходы к построению информационных признаков, акустическому и языковому моделированию, применяющиеся в этих системах, при этом особое внимание уделено акустическим моделям на основе глубоких нейронных сетей.

Рассмотрена эффективная методика обучения системы распознавания английской спонтанной речи. Проанализированы особенности разговорной русской речи, приведены основные результаты в распознавании слитнойи спонтанной речи на русском языке, а также сделан обзор существующих системраспознавания слитной русской речи.1.1Структура современных систем автоматического распознавания речиТипичная структура системы автоматического распознавания речи (Automatic Speech Recognition, ASR) представлена на рисунке 1.1 [23].Современные системы распознавания слитной речи состоят из следующихосновных компонентов: модуля обработки сигнала и извлечения признаков,акустической модели (АМ), языковой модели (ЯМ), словаря транскрипций идекодера. Модуль обработки сигнала и извлечения признаков принимает навход звуковой сигнал, осуществляет шумоочистку и извлекает векторы информационных признаков, которые в дальнейшем используются при акустическоммоделировании.

В большинстве современных систем распознавания речи этотмодуль производит преобразование сигнала из временной области в частотную.Акустическая модель описывает плотность распределения вероятностей акустических классов (например, фонем) на заданном участке речевого сигнала.Языковая модель описывает вероятность появления слова в контексте другихслов. Наконец, декодер анализирует вероятности, генерируемые акустической иязыковой моделями, и преобразует их в последовательность слов — результатраспознавания. Связь между последовательностями акустических классов, опи-13Рисунок 1.1 — Структура системы автоматического распознавания речисываемых акустической моделью, и словами, описываемыми языковой моделью,устанавливается посредством словаря транскрипций.Общепринятым критерием качества работы системы распознавания речиявляется пословная ошибка распознавания (Word Error Rate, WER), определяемаяпо формулеWER =S+I +DS+I +D· 100% =· 100%,NC +S+D(1.1)где N — количество слов в эталонном тексте, C — количество правильно распознанных слов, S, I, D — соответственно число замен, вставок и удалений врезультате распознавания.

Также часто используют связанную с WER величину,называемую пословной точностью распознавания (Word Accuracy) и определяемую какC −IWAcc = 100% − WER =· 100%.(1.2)NВ дальнейшем, говоря о качестве распознавания речи, будем иметь в виду значение WER. При сравнении оцениваемой системы с базовой системой подабсолютным и относительным улучшением качества распознавания будут пониматься абсолютное и относительное уменьшение WER, определяемые соответственно по формулам∆WER = WER1 − WER2(1.3)14иWERR =WER1 − WER2· 100%,WER1(1.4)где WER2 и WER1 — значения пословной ошибки распознавания для оцениваемой и базовой систем соответственно.1.2Обработка сигнала и извлечение информационных признаковОбщепринятым критерием оценки качества работы модуля обработки сигнала и извлечения признаков является точность распознавания речи.

Для обеспечения этого построенные информационные признаки должны содержать в себехарактерные особенности речевого сигнала. Одними из наиболее часто используемых в современных системах распознавания речи признаков являются Мелчастотные кепстральные коэффициенты (Mel-Frequency Cepstral Coefficients,MFCC) [24]. Алгоритм вычисления MFCC признаков состоит из следующих этапов [25]:1. Предыскажение (pre-emphasis)yt = xt − axt−1 ,(1.5)где xt — входной сигнал, yt — отфильтрованнный сигнал, a ∈ (0,9; 1) —коэффициент фильтрации (обычно берется равным 0,97).

Применяетсядля спектрального выравнивания сигнала (усиление высокочастотныхкомпонент и подавление низкочастотного дрейфа).2. Разбиение звукового сигнала на временные окна размером 15–30 мс, называемые кадрами, с постоянным шагом (обычно 10 мс). Последующиеэтапы выполняются для каждого кадра сигнала.3.

Дискретное преобразование ФурьеYk =T −1∑t=0)−2πikt ,wt yt expT(k = 0,1, . . . ,T /2,(1.6)где T — количество отсчетов на кадре, wt — весовая оконная функция, применяемая для уменьшения краевых эффектов, вызванных разби-15ением сигнала на кадры конечной длины. В задачах распознавания речиобычно используется окно Хэмминга(wthamm)2πt= 0,54 − 0,46 cos,T −1t = 0,1, .

. . ,T − 1.(1.7)4. Построение набора из M треугольных фильтров, равномерно расположенных на Мел-шкале (Mel-frequency filterbank). Преобразование частотв Мел-шкалу осуществляется по формуле)(f,B(f ) = 1125 ln 1 +700(1.8)обратно — по формуле)(()bB −1 (b) = 700 exp−1 .1125(1.9)Для m = 0,1, . . . ,M − 1 треугольный фильтр Hm (k) определяется формулой0,k < f (m − 1), k−f (m−1) , f (m − 1) ⩽ k ⩽ f (m),Hm (k) = f (m)−f (m−1)(1.10)f (m+1)−kf (m−1)−f (m) , f (m) ⩽ k ⩽ f (m + 1),0,k > f (m + 1).Здесь f (m−1), f (m) и f (m+1) — начало, середина и конец треугольногоокна m-го фильтра соответственно,()B(fhigh ) − B(flow )T −1B(flow ) + (m + 1),f (m) = BFsM +1(1.11)где flow и fhigh —нижняя и верхняя границы анализируемого частотногодиапазона, Fs — частота дискретизации сигнала.На рисунке 1.2 представлен пример построения 28 Мел-частотных треугольных фильтров для частотного диапазона 0–4000 Гц в соответствиис вышеприведенными формулами.16Рисунок 1.2 — Мел-частотные треугольные фильтры5.

Вычисление логарифмов энергии спектра для построенного набора треугольных фильтров (Mel-frequency filterbank log energies, FBANK)T /2∑Em = ln |Yk |2 Hm (k) ,m = 0,1, . . . ,M − 1,(1.12)k=06. Дискретное косинусное преобразование для вычисленных на предыдущем шаге логарифмов энергии)π(m + 1/2)ncn =Em cos,Mm=0M−1∑(n = 0,1, . . . ,M − 1.(1.13)В качестве итоговых MFCC признаков берутся первые несколько (обычно 13)компонент кепстрального вектора cn .Также в задачах распознавания речи нередко используются перцепционныекоэффициенты линейного предсказания (Perceptual Linear Prediction, PLP), предложенные в работе [26].Существует несколько техник для модификации построенных признаков:1. Для моделирования динамики речевого сигнала вектор признаков Cn дополняется векторами первых (delta) и вторых (delta-delta, acceleration)производных Dn и An∑LDn =l=1 l(Cn+l − Cn−l ),∑2 Ll=1 l2(1.14)∑LAn =l=1 l(Dn+l − Dn−l ),∑2 Ll=1 l2(1.15)17при этом обычно берется L = 2.2.

Линейный дискриминантный анализ (Linear Discriminant Analysis,LDA) [27] — матричное преобразование, направленное на максимизацию разделения между различными классами (например, классами фонем).3. Для снижения степени вариативности речевого сигнала используетсянормализация среднего кепстра (Cepstral Mean Normalization, CMN) идисперсии (Cepstral Mean and Variance Normalization, CMVN) [28; 29].4. Нормализация длины голосового тракта (Vocal Tract LengthNormalization, VTLN) [30] — применяется для снижения междикторской вариативности.1.3 Акустическое моделированиеВ этом разделе описаны основные подходы к акустическому моделированию, применяемые в современных системах автоматического распознавания речи.1.3.1Скрытые марковские модели и модели гауссовых смесейБольшинство современных систем автоматического распознавания речи используют скрытые марковские модели (Hidden Markov Models, HMM) для учетавременной вариативности речевого сигнала [31].

Скрытая марковская модель [32]задается:1. Числом N состояний в модели и множеством состоянийS = {S1 ,S2 , . . . ,SN }. Состояние модели в момент времени t обозначается qt .2. Множеством наблюдаемых значений, которые могут порождаться моделью. Наблюдение в момент времени t обозначается ot .183. Распределением вероятностейA = {aij }, i,j = 1,2, . . .