Автореферат (1137308), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

При этом параметры w, bоптимальной разделяющей полосы являются функциями только опорныхвекторов, то есть таких векторов, для которых yi (wT Xi + b) − 1 = 0.Поскольку в общем случае линейное разделение векторов может бытьневозможно, то для разделения имеющееся пространство преобразуют такимобразом, чтобы вектора классов после него стали линейно разделимыми.Пусть ϕ произвольное отображение пространства признаков в гильбертовопространство H. От отображения требуется, чтобы образы обучающихвекторов были линейно разделимы в H (оно называется пространствомвторичных признаков).Свойства симметричности и положительной полуопределённостифункции, называемой ядром, используются для получения преобразованияϕ. Показывается, что достаточно знать не само отображение ϕ, а только ядроK : X × X → R, вычисляющее скалярное произведение в H образов парывекторов признаков K(Xi , Xj ) = (ϕ(Xi ), ϕ(Xj )).В результате, обучение SVM представляет решение задачи квадратичногопрограммирования с линейными ограничениями:∑1(w, w) + Cp(ei ) → minw,b2i=1Nyi ((w, ϕ(Xi )) + b) ≥ 1 − ei ,ei ≥ 0,i = 1, .

. . , Nгде p(e) - неотрицательная, монотонно неубывающая функция, такая, что p(0) =0, а C > 0 и параметры ϕ определяются эмпирически. Для решения задачиидентификации языка в диссертации использовалось так называемое гауссовоядро K(X, Y ) = e−γ||X−Y || . На основании проведённого анализа разработаналгоритм оптимизации параметров функции распознавателя C и γ, имеющийследующий вид:Вход: Набор векторов {Xi }Ni=1Шаг 1. Для фиксированногоk представить обучающее множество X =∪k∩N{Xi }i=1 как X = j=1 Xj , Xi Xj = ⊘, ∀i ̸= j. Зафиксировать точностьрешения задачи ϵ.Шаг 2.

Выбрать начальное значение x0 = (C0 ; γ0 ) ∈ R2 и величину шага ∆0 .Шаг 3. Выполнять пока ||xk − xk+1 || > ϵПодшаг 1. Решить задачу обучения SVM при C = Ck , γ = γk и Xi ∈ X1 .11∑k1Подшаг 2. Определить функцию f (t) = k−1j=2 Ej (t), где Ej (t) =∑1Xi ∈Xj I{ỹXi (t) ̸= yXi }, где ỹXi (t) - предсказанная метка вектора Xi ,|Xj |yXi - его настоящая метка.Подшаг 3. Для ∀t ∈ Pk = {xk ± ∆k ei : i = 1, 2} вычислить f (t)Подшаг 4. Если ∃t̂ : f (t̂) < f (xk ) установить xk+1 = t̂, ∆k+1 = ∆k ;иначе xk+1 = xk , ∆k+1 = ∆2k .Выход: оптимальные значения параметров классификатора Ĉ, γ̂.К преимуществам указанного алгоритма можно отнести следующее• Не используются знания о градиенте функции, поскольку нет основанийсчитать, что эта функция будет дифференцируемой.• Задача решается в параллельных процессах, так как сама процедура,описанная в подшаге 2, может быть выполнена параллельно, посколькувычисление функции Ej (t) может выполняться для каждого j независимо и нетникаких зависимостей по данным.Наиболее часто используемые ядра, такие как полиномиальное K(X, Y ) =((X, Y ) + 1)d + c или гауссово K(X, Y ) = e−γ||X−Y || , применённые к задачеидентификации диктора дают низкую точность распознавания, так как непозволяют использовать полное высказывание.Для устранения этого недостатка был предложен метод, основанный нафункциональном преобразовании (Фишеровских ядрах), которые отображеютвсё озвученное диктором предложение целиком (полное высказывание) вединственную точку, что позволяет проводить их разделение.В основе разработанного метода лежит применение в качестве ядра функции,вычисленной с помощью апостериорных вероятностей наблюдений, которыеполучены из порождающей модели появления векторов, в качестве которыхмогут выступать либо Скрытые Марковские модели, либо гауссовские смеси.Теорема 2.2.

Пусть P (X|λ) апостериорная вероятность наблюдения X,полученная из модели λ. Зададим в пространстве всех возможных P (X|λ)скалярное произведение как UXT F −1 UX , где F = EX UX UXT - матрицаинформации Фишера и UX = ∇ ln P (X|λ) фишеровская функция потерь. ТогдафункцияK(Xi , Xj ) = UXT i F −1 UXj .является ядром.Вычисление преобразованных значений векторов происходит последующему алгоритму.Вход: Набор векторов {Xi }Ni=1 , оценки параметров порождающей модели θи параметра γ.Шаг 1. Для ∀i ∈ 1, .

. . , N вычислить UXi .∑TШаг 2. Получить оценку матрицы информации F̂ = N1 Ni=1 UXi UXi изпорождающей модели и вычислить обратную к ней.12Шаг 3. Для ∀i, j ∈ {1, . . . , N } вычислить K(Xi , Xj ) = UXT i F −1 UXj .Шаг 4. Вычислить K̂(Xi , Xj ) = eγK(Xi ,Xj )Выход: Значение ядра K̂(Xi , Xj ) на всех парах векторов Xi , XjДалее в главе рассмотрен способ построения дикторонезависимыхпризнаков речевого сигнала для применения в системах распознавания языка.В работе была использована Auditory Image Model (AIM), котораяразработана Р.

Петерсоном для моделирования человеческой психоакустики.Эта модель даёт на выходе нормализванный спектр сигнала, пример которогопредставлен на рис. 1.Рис. 1: Изображение огибающей спектра, полученного из модели AIM.Для моделирования огибающей спектра (AIM значений) в главе предложеноиспользование 4-х параметрического семейства распределений (расширенияГрам-Шарлье), вместо обычно используемой гауссовской смеси.Определение 2.2. Расширением Грам-Шарлье называется представлениеплотности распределения g случайной величины z в видеg(z) = pn (z)ψ(z),(1)где ψ(z) – плотность стандартного нормального распределения, а pn (z) выбранатаким образом, чтобы g(z) имела те же моменты, что и истинная плотность z.Конструирование функции pn (z) основано на полиномах Эрмита Hi , которыеобразуют ортогональный базис относительно скалярного произведения,порожденного математическим ожиданием, взятым по плотности стандартногонормального распределения.Представление (1) является необходимым для моделирования моментоввысокого порядка, которые важны для распознавании языка.Однако введённая функция не является в строгом смысле плотностьювероятности, так как может принимать отрицательные значения.Дляустранения этого использовалась следующее преобразование:∑(1 + ni=1 ci Hi (z))2g(z) = ψ(z),k13∑где k = 1 + ni=1 c2i i!, а ci - коэффициенты.Для моделирования огибающих полученного спектра с помощьюпредложенного семейства распределений необходимо получить оценки векторанеизвестных параметров θ = (c1 , .

. . , cn )T , для чего автором найдено решениеcледующей оптимизационной задачи:N1 ∑ℓ(z, θ) =ℓ̂(zi ) → max,θN i=1(2)f (θ) ≤ 0,∑∑где ℓ̂(zi ) = ln(ψ(zi )) + ln(1 + nj=1 cj Hj (zi ))2 − ln(1 + nj=1 c2j j!), θ - векторнеизвестных параметров, и f (θ) - функция ограничений, которая может бытьдобавлена для того, чтобы значения параметров удовлетворяли каким-либоаприорно заданным ограничениям (например, некоторые оценки должны бытьположительны). Пусть {χi }ni=1 - выборка из распределения, зависящего отпараметра θ ∈ Θ. Тогда оценка θ̂ называется состоятельной, еслиθ̂ → θ, по вероятности при n → ∞асимптотически нормальной с дисперсией σ 2 , если√n(θ̂ − θ) → Z, по распределению при n → ∞,где Z - нормальная случайная величина с дисперсией σ 2 и средним 0.Теорема 2.3.

Решение задачи (2) дает состоятельные и асимптотическинормальные оценки параметра θ.Для того, чтобы на практике получить значения параметров θ функции ℓ(zi )необходимо численно решить оптимизационную задачу (2).Существует множество методов численного решения задачи (2), которыеможно разделить на градиентные и безградиентые.В диссертациииспользовались две модификации алгоритма симуляции отжига сиспользованием параллельных вычислительных процессов для увеличенияскорости и качества работы алгоритма.Первая модификация алгоритма, являющаяся более вычислительнозатратной, приведена ниже. Суть модификации заключается в независимомстарте k процессов отжига из разных начальных точек.Вход: набор значений {zi }Ni=1Шаг 1. Сгенерировать k начальных значений параметров {θi }ki=1 .Шаг 2. К каждому значению θi применить алгоритм симуляции отжига,получив k финальных оценок {θ̂i }ki=1 .Шаг 3. Вычислить ℓ(z, θ̂i ) для каждого θ̂i , i = 1, .

. . , k.Шаг 4. θ̃ = maxi=1,...,k θ̂k .Выход: Оптимальное значение θ̃14При этом шаги 2-4 выполняются параллельно. Вторая модификациязаписывается следующим образом:Вход: набор значений {zi }Ni=1Шаг 1. Сгенерировать k начальных значений параметров {θi }ki=1 .Шаг 2. Вычислить ℓ(z, θ̂i ) для каждого θ̂i , i = 1, . . .

Характеристики

Список файлов диссертации