Хайкин С. - Нейронные сети (778923), страница 91
Текст из файла (страница 91)
Описанная задача оптимизации функционала 7(»,~, г,', а, а',Т,')~) является прямой задачей регрессии. Для того чтобы сформулировать соответствующую двойственную задачу, подставим соотношения (6.56) — (6.58) в (6.55), получив, таким образом, следующий выпуклый функционал (после приведения подобных): 448 Глава 6. Машины опорных векторов Теперь можно сформулировать двойственную задачу нелинейной регрессии иа основе машины опорных векторов в следующем впде. Для данного множества примеров обучения ((х;, д,) ) ~ найти множители Лагранжа (а;)~ (а,)~ и максимизирующие целевую функцию Ф н фа„а',) = 2', а;(а; — а',-) — е 2', (а, + а',) а=1 1=1 н и —;К К(а, — п,нп, — п,)К(х„х,) 1=1з=1 при следующих ограничениях: н 1. 2 (а,— а',)=О, з=1 0(п*~С, з=1,2,...,Х, где С вЂ” константа, задаваемая пользователем.
Е(х, и) = зябях = ~~) (а, — а',)К(х, х,). 1=1 (6.60) Как е, так и С выбираются пользователем. В концептуальном смысле при выборе в и С возникают те же вопросы управления сложностью, что и при выборе параметра С в задаче классификации. Однако иа практике управление сложностью в задаче регрессии является более трудной задачей, и иа это есть свои причины. ° Параметры е и С должны настраиваться одновременно. ° По своей сути сама задача регрессии является более сложной, нежели задача классификации. Принципиальный подход к выбору е и С остается открьпой областью исследований.
Первое ограничение получается из оптимизации Лаграижиаиа по отношению к порогу 6 = зов для ~ре(х) = 1. Таким образом, вычислив оптимальные значения для а, и а',, можно использовать (6.56) для определения оптимального вектора весов зя для заданного отображения ф(х). Обратите внимание, что в решении задачи распознавания только иекоторые из коэффициентов разложения (6.56) имеют значения, отличные от нуля. В частности, точки данных, для которых а; ~ а;ч определяют опорные векторы машины. Два параметра, е и С, являются свободными и характеризуют ЧС-размерность аппроксимирующей функции 6.9.
Резюме и обсуждение 449 И наконец, как и в случае использования машины опорных векторов для распознавания, их применение в задачах нелинейной регрессии может быть реализовано в виде полнномиальной машины обучения, сети на основе радиальных базисных функций или двухслойного персептрона.
Ядра скалярных произведений для этих трех методов реализации были представлены в табл. 6.1. 6.9. Резюме и обсуждение Машины опорных векторов являются элегантным и устоявшимся методом обучения при создании сетей прямого распространения с единственным скрытым слоем нелинейных элементов. Этот метод соответствует принципу минимизации структурного риска, берущему свое начало в теории Ъ'С-размерности. Как следует из названия, основная идея создания этой машины состоит в выборе подмножества обучающих данных в качестве опорных векторов. Это подмножество представляет устойчивые свойства всей обучающей выборки. Частными случаями машины опорных векторов являются полиномиальная обучаемая машина, сеть на основе радиальных базисных функций и двухслойный персептрон.
Таким образом, несмотря на то, что эти методы реализуют совершенно различные представления встроенных статистических закономерностей, содержащихся в данных обучения, все они происходят от общих корней машины опорных векторов. В отличие от популярного алгоритма обратного распространения, алгоритм обучения с помощью опорных векторов работает только в пакетном режиме. Существует еще одно важное различие между этими двумя алгоритмами. Алгоритм обратного распространения минимизирует квадратичную функцию потерь, независимо от того, какова задача обучения. В отличие от него, алгоритм нахождения опорных векторов, применяемый для решения задачи распознавания, совершенно отличается от того, который используется в задаче нелинейной регрессии.
° В задаче распознавания алгоритм обучения на основе опорных векторов минимизирует количество обучающих примеров, которые попадают на границу разделения между положительными и отрицательными примерами. Это утверждение является истинным только асимптотическн, поскольку вместо функции индикатора 1 Д,. — 1) используются фиктивные переменныс с, Хотя этот критерий в точности и не соответствует минимизации вероятности ошибки классификации, он считается более предпочтительным, чем критерий минимизации среднеквадратической ошибки, на котором основан алгоритм обратного распространения.
° При выполнении задачи нелинейной регрессии алгоритм обучения на основе опорных векторов минимизирует а-нечувствительную функцию потерь, которая является расширением критерия средней абсолютной ошибки из минимаксной теории. В связи с эти алгоритм является более робастным. 4еО Глава 6. Машины опорных векторов Какой бы ии была задача обучения, машина опорных векторов реализует метод управления сложностью модели, ие зависящий от ее размерности.
В частности, в пространстве высокой размерности задача сложности модели решается за счет использования "штрафной" гиперплоскости, определенной в (скрытом) пространстве признаков и применяемой в качестве поверхности решения. Результатом становится хорошее качество обобщения. Концентрация внимания иа двойственной задаче для решения задачи условной оптимизации приводит к устранению "проклятия размерности".
Важной причиной использования двойственной задачи является устранение необходимости определения и вычисления параметров оптимальной гиперплоскости в пространстве данных более высокой размерности. Обычно обучение машины опорных векторов сводится к задаче квадратичного программироваиияз, что привлекательно по двум причинам. ° Процесс обучения гарантированно сходится к глобальному минимуму иа поверхности ошибки (ошибкой считается разность между желаемым откликом и фактическим выходом машины опорных векторов). ° Вычисления могут быть реализованы достаточно эффективно. Более того, при использовании подходящего ядра скалярного произведения машина опорных векторов автоматически вычисляет все важные параметры сети, относящиеся к выбору зшра. Например, в случае сети иа основе радиальных базисных функций ядро представляет собой гауссову функцию.
Для такого метода реализации юличество радиальных базисных функций, их центры, а также линейные веса и значения порогов вычисляются автоматически. В качестве центров радиальных базисных функций выступают опорные векторы, отбираемые согласно стратегии квадратичной оптимизации. Опорные векторы поддержки обычно составляют некоторое подмножество обучающей выборки. Таким образом, создание сети ВВР иа основе обучения машины опорных векторов можно рассматривать как частный случай стратегии строгой интерполяции, описанной в главе 5. Для решения задачи квадратичного программирования можно использовать некоторые юммерческие библиотеки, предназначенные для решения задач оптимизацинб. Однако эти библиотеки имеют ограниченное использование. Память, необходимая для решения задачи квадратичного программирования, растет пропорционально квадрату числа примеров обучения.
Следовательно, в реальных задачах, включающих обработку нескольких тысяч точек данных, задачу квадратичного программирования з В [95Ц рассматривается алгоритм линейного программи[ювания на основе нормы Ьг, а не ьз, которая используется в машинах векторной поддержки. Норма Ьг вектора весов м определяется как ![м~[ = ~. [ш,[, где шт — т-й элемент вектора и. Максимальная гранина классификании на основе нормы 1.г смешена в сторону гиперплоскостей, ориентированных по осям, т.е. в сторону векторов весов с малым числом ненулевых элементов.
ь Среди коммерческих библиотек, предназначенных для решения задач квадратичного программирования, можно выделить следующие: М[Н085.4 [764], ь880ь [358], 1.000 [1076], 1;1РОРТ и 500РТ [359]. 6.9. Резюме и обсуждение 461 нельзя решить с помощью простого использования коммерческой библиотеки. В ~807] предложен новаторский алгоритм декомпозиции, который разбивает задачу оптимизации на последовательность более мелких подзадач. В частности, этот алгоритм декомпозиции учитывает преимущества коэффициентов опорных векторов, которые активны по обе стороны границы классификации, определяемой при а, =0 и а, = С.
В ~807) отмечается, что данный алгоритм декомпозиции показал удовлетворительные результаты в приложениях, содержащих до ста тысяч точек данных. В терминах времени работы машины опорных векторов оказались более медленными по сравнению с другими типами сетей (в том числе по сравнению с многослойными персептронами, обучаемыми по алгоритму обратного распространения). Для такой медлительности имеются две причины. К Машина опорных векторов не обеспечивает управления количеством точек данных, выбираемых алгоритмом обучения в качестве опорных векторов. 2.
При создании обучаемой машины не учитываются априорные знания о предметной области. Кратко рассмотрим модификации машин опорных векторов, призванные обойти эти недостатки. Вопрос о том, как управлять выбором опорных векторов, является крайне сложным, особенно в случае неразделимости классифицируемых множеств и зашумленности данных обучения.
В общем случае попытки устранения известных ошибок из данных до начала обучения или удаления их из разложения после обучения не приводят к построению оптимальной гиперплоскости, поскольку для "штрафования" неразделимости нужны ошибки. В [806) исследовалась задача сокращения времени, затрачиваемого машиной опорных векторов на обучение решению задачи классификации. В ней были предложены два новаторских подхода к этой задаче.
° Сама машина опорных векторов использовалась как аппарат нелинейной регрессии для аппроксимации поверхности решений (разделяющей классы) при точности, задаваемой пользователем. ° Процедура обучения машины опорных векторов переформировалась для получения той же точной поверхности решений при меньшем количестве базисных функций. При первом подходе решение упрощается за счет его аппроксимации линейной комбинацией подмножества базисных функций.
Полученная машина является естественным расширением машины опорных векторов, создаваемой для аппроксимации функций. Это расширение строится для поиска минимума функционала стоимости 452 Глава 6. Машины опорных векторов следующего вида: где Р'( ) — аппроксимирующая функция; ту( ) — некоторый гладкий функционал; ~х~, — е-нечувствительная функция стоимости, определяемая как О , если (х! < е, ~х~, = ~х~ — В в остальных случаях. Такая а-нечувствительная функция стоимости обеспечивает робастность решения по отношению к исключениям и нечувствительность к ошибкам, не превышающим некоторого порога Е. Минимум этой функции стоимости Е(Г) имеет вид .Р'(х) = ~~ с,С(х,хт), т=т где С(, ) — ядро, зависящее от конкретного выбора гладкой функции т(т( ) и коэффициентов с„вычисляемых при решении задачи квадратичного программирования.
Решение обычно является разреженным (зрагзе). Это значит, что только небольшое число юэффициентов с, будет отличаться от нуля, а их количество зависит от параметра е. При втором подходе прямая задача переформулируется так„что она имеет ту же начальную структуру, что и исходная, но с одним отличием: в формулировку включается ядро скалярного произведения К(х, х'). Оба подхода призваны уменьшить сложность машины опорных векторов в задачах нелинейной регрессии. В заключение, возвращаясь к вопросу априорных знаний, заметим, что производительность обучаемой машины может быть существенно увеличена включением этих знаний в архитектуру машины [4).
В литературе рассматриваются два способа использования априорных знаний. ° В качестве дополнительного слагаемого в функции стоимости. Тогда обучаемая машина будет строить функцию с учетом априорных знаний. Именно зто происходит при использовании регуляризации. ° В качестве виртуальных примеров, генерируемых на основе обучающего множества. Тогда обучаемая машина сможет легко извлекать априорные знания из искусственно расширенного множества примеров. При втором подходе процесс обучения может сильно замедлиться в связи с корреляцией искусственных данных и увеличением размера обучающего множества. Однаю преимущество второго подхода состоит в том, что его легче реализовать для всех Задачи 453 типов априорных знаний и обучаемых машин.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
