Лекция 7. Ядерные методы_ метод опорных векторов (1185284), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Предположим, что прогнозом величины Yявляются значения функции f (x).Сенько Олег Валентинович ()МОТП, лекция 630 / 35Метод опорных векторов. Регрессия.Задача снижения вариации функции f , формализуется как задачамаксимизации параметраδε =inf(| x0 − x00 |)(16)eC(x0 ,x00 )∈Xεгде ε - некоторый пороговый параметр;eεC = {(x0 , x00 ) ∈ Xe ×Xe || f (x0 ) − f (x00 ) |> 2ε}XПредположим, что регрессия является линейной, то естьf (x) = βxt + β0 . , где β = (β1 , . . . , βn ) - вектор регрессионыхкоэффициентов, β0 - параметр сдвига. Откуда следует, что| f (x0 ) − f (x00 ) |=| β(x0 − x00 )t |→Сенько Олег Валентинович ()МОТП, лекция 631 / 35Метод опорных векторо.

Регрессия.Очевидно, что минимум | x0 − x00 | достигается для пары векторов изeεC , для которойXсправедливо равенство | β(x0 − x00 )t |= 2ε;вектор (x0 − x00 ) совпадает по направлению с вектором β.В результате должно выполняться равенство| β | δε = 2ε,эквивалентное равенствуδε =2ε.|β|Наряду с требованиями максимизации параметра δε выдвигаетсятакже требование точности аппроксимации на обучающей выборке.Сенько Олег Валентинович ()МОТП, лекция 632 / 35Метод опорных векторо.

Регрессия.Отклонение прогнозирующей функции f (x) от значенийпрогнозируемой величины Y не должно превышать порогового2εпараметра ε . Отметим, что задача максимизации δε = |β|полностьюPn12эквивалентна задаче минимизации 2 i=1 βi .В результате мы переходим к задаче квадратичного программированияn1X 2βi → min2(17)i=1yj − β0 − βxtj ≤ εβ0 + βxtj − yj ≤ ε, 1, . . .

, mРешение задачи (17) может отсутствовать, если не будет найденвектор β , при котором справедливы ограничения (17).Сенько Олег Валентинович ()МОТП, лекция 633 / 35Метод опорных векторо. Регрессия.Поэтому от задачи (17) переходим к задаче, допускающейсуществование решений в произвольном случае:nmX1X 2βi + C(ξj1 + ξj2 ) → min2i=1(18)j=1yj − β0 − βxtj ≤ ε + ξj1β0 + βxtj − yj ≤ ε + ξj2 , j = 1, . . . , mгде (ξj1 , ξj2 ), j = 1, .

. . , m - неотрицательные коэффициенты, имеющиетот же самый смысл, что и аналогичные коэффициенты в задаче (9).Параметр C - неотрицательный штрафной коэффициент.Для решения задачи квадратичного программирования (18)используются методы, аналогичные тем, которые используются длярешения задачи квадратичного программирования (9), лежащей воснове процедуры обучения алгоритмов распознавания.Сенько Олег Валентинович ()МОТП, лекция 634 / 35Метод опорных векторо.

Регрессия.Подобно тому как вариант МОВ для решения задач распознаваниядопускает расширение на случаи с линейно неотделимыми классами ипринципиально позволяет строить нелинейные разделяющиеповерхности, вариант МОВ для решения задач регрессионного анализадопускает расширение на задачи, в которых присутствуютвыпадающие наблюдения, а также позволяет строить нелинейныепрогнозирующие функции.Сенько Олег Валентинович ()МОТП, лекция 635 / 35.

Характеристики

Список файлов лекций