Лекция 7 (2012 Лекции МОТП (Сенько)), страница 2

Достаточновосстановить взаимосвязь между скалярными произведениямиx(x)ttи (x) (x) . Одним из способов заданиявзаимосвязи является выбор такой ядровой функции K (x, x) :R nx  R,чтоK (x, x)  (x)t (x).(13)Метод опорных векторовНелинейная разделяющая поверхностьСуществование преобразования  , для котороговыполняется равенство (13) было показано для ядровыхфункцийK (x, x)  x(x)t   ,   0K (x, x)  (x(x)t   ) d ,   0| x  x |2K (x, x)  exp(),   022Где  , - вещественные неотрицательные параметры, аd - целочисленный параметр.Метод опорных векторовНелинейная разделяющая поверхностьСледовательно поиск коэффициентов задачиквадратичного программирования (12), соответствующихоптимальному преобразованию  может быть сведён к подборутаких параметров перечисленных выше ядровых функций, прикоторых достигается линейная разделимость.Поскольку в общем случае преобразование  являnется нелинейным, то прообразом в пространстве R x линейнойразделяющей гиперплоскости, существующей в пространствеRnyy, может оказаться нелинейная поверхность.Метод опорных векторовНелинейная разделяющая поверхностьДля большого числа прикладных задач линейная разделимостьявляется недостижимой.

Поэтому выбор ядровой функцииможет производиться из требования о минимальности числаошибок в смысле задачи квадратичного програмирования (8).На практике подбор ядровых функций и их параметровпроизводится исходя из требования достижения максимальнойобобщающей способности, которая оценивается с помощьюскользящего контроля или оценок на контрольной выборке.Метод опорных векторовРегрессияМетодика улучшения обобщающей способности, лежащая в основеМетода опорных векторов (МОВ) может быть распространена такжена задачи регрессии, то есть на задачи прогнозирования некоторойпеременной Y , принимающей значения из интервала вещественнойоси по значениями вещественных переменных X1 ,, X n .

Вместотребования максимизации величины «зазора» междураспознаваемыми классами для задач распознавания в случае задачрегрессии выдвигается требование минимизации вариациипрогнозирующей функции на области задания переменныхX: 1 ,, X n - .XМетод опорных векторовРегрессияУменьшение вариации прогнозирующей функции очевиднопозволяет снизить вариационную составляющую обобщённойошибки прогнозирования и уменьшить эффект переобучения.Задача снижения вариации прогнозируемой функции fформализуется как задача максимизации параметра inf(| x  x |), где( x,x )X cX c  {(x, x)  X  X | f ( x)  f ( x) | 2 }где  - пороговый параметр.Метод опорных векторовРегрессияПредположим, что регрессия является линейной, то естьf (x)  βx. t  0 , где β  ( 1, , n ) - вектор регрессионыхкоэффициентов,  0 - параметр сдвига.Откуда | f (x)  f (x) || β(x  x")t |Очевидно, что минимум | x  x "| достигается для пары векторов изX c , для которойа) | β(x  x ")t | 2Б)вектор (x  x ") совпадает по направлению с вектором β.2В результате мы получаем | β |    2 и    | β |Метод опорных векторовРегрессияНаряду с требованиями максимизации параметра  выдвигается также требование точности аппроксимации наобучающей выборке: отклонение прогнозирующей функцииf от значений прогнозируемой величины Y не должнопревышать порогового параметра.

Отметим, что задача2максимизации | β | полностью эквивалентна задаче1 n 2i .минимизации2 i 1Метод опорных векторовРегрессияВ результате мы переходим к задаче квадратичногопрограммирования12n2 i  mini 1y j  βxtj   0  (14)βxtj   0  y j  Для решения задачи квадратичного программирования (14) используются методы, аналогичные тем, которые используютсядля решения задачи квадратичного программирования (3), лежащей в основе процедуры обучения алгоритмовраспознавания.Метод опорных векторовРегрессияПодобно тому как вариант МОВ для решения задачраспознавания допускает расширение на случаи с линейнонеотделимыми классами и принципиально позволяет строитьнелинейные разделяющие поверхности, вариант МОВ длярешения задач регрессионного анализа допускаетрасширение на задачи, в которых присутствуютвыпадающие наблюдения, а также позволяет строитьнелинейные прогнозирующие функции..