Хайкин С. - Нейронные сети (778923), страница 58
Текст из файла (страница 58)
Этот двухэтапный процесс аппроксимации по своей философии аналогичен онлайновому подходу к аппроксимации кривых, поскольку нейроны работают в изолированных областях. Сплайн (зрйпе) является примером такой кусочной полиномиальной аппроксимации. В [1007] предложено дальнейшее обоснование использования двух скрытых слоев в контексте обратных задач ([пиегзе ргоо)еш). В частности, рассматривается следующая обратная задача. Дзв данной непрерывной вектор функции 1': Я вЂ” Яь~, компактного подмножества С С Ям, которое содержится в пространстве образов функции С и некоторого положительного в ) 0 требуется найти вектор-функцию <р: Я~ — Я удовлетворяющую условию (~у(Г(ц)) — нй ( е для любого и Е С.
288 Глава 4. Многослойный лерселтрон Эта задача относится к области обратной кинематики (гпчегяе Ыпешабсз) или динамики, где наблюдаемое состояние х(п) системы является функцией текущих действий п(п) и предыдущего состояния х(п — 1) системы х(п) = Г(х(п — 1), п(п)). Здесь предполагается, что функция Г является обратимой ([пчегбЬ[е), т.е. п(п) можно представить как функцию от х(п) для любого х(п — 1). Функция 1 описывает прямую кинематику, а функция гр — обратную. В контексте излагаемого материала необходимо построить такую функцию гр, которая может быть реализована многослойиым персептроиом.
В общем случае для решения обратной задачи кинематики функция гр должна быть разрывной. Интересно, что для решения таких обратных задачи одного скрытого слоя недостаточно, даже при использовании нейронной модели с разрывными активациоииыми функциями, а персептроиа с двумя скрытыми слоями вполне достаточно для любых возможных С, 1 и е (1007). 4.14.
Перекрестная проверка Сущность обучения методом обратного распространения заключается в кодироваиии отображения входа иа выход (представлеииого множеством маркированных примеров) в сииаптических весах и пороговых значениях многослойного персептроиа. Предполагается, что иа примерах из прошлого сеть будет обучена настолько хорошо, что сможет обобщить их иа будущее. С такой точки зрения процесс обучения обеспечивает настройку параметров сети для заданного множества данных. Более того, проблему настройки сети можно рассматривать как задачу выбора наилучшей модели из множества структур-"кандидатов" с учетом определенного критерия. Основой для решения такой задачи может стать стандартный статистический подход, получивший название перекрестной проверки (егозя-ча[Ыабоп)9 (1019), (1020).
В рамках этого подхода имеющиеся в наличии данные сначала случайным образом разбиваются иа обучающеемнажество ([та[в[ай зе1) и тестовое множество (!ез[ зег). Обучающее множество, в свою очередь, разбивается иа два следующих несвязанных подмиожества. ° Подмножество для от[енивания (езбп!абоп зпЬзе!), используемое для выбора модели. ° Проверочное подмножество (ча][дабоп зпЬзе!), используемое для тестирования модели.
История развития методологии "перекрестной проверки" описана в [1020]. Сама идея перекреспгых проверок витала в воздухе еще в ! 930-е годы, однако в виле технологии она оформилась лишь в 1900-1970-х годах. Важный вклад в развитие этого подхода внесли Стоун [1020] и Гессер [3411, которые одновременно и независимо друг ог друга представили эту методологию.
Стоун назвал ее "методом перекрестной проверки", а Гессер— **прогнозируемым методом повторного использования обучающей выборки" [ршт[1сйте змпр1е ганзе щебтой). 4.14. Перекрестная проверка 289 Идея этого подхода состоит в проверке качества модели на данных, отличных от использованных для параметрического оценивания. Таким образом, обучающее множество можно использовать для проверки эффективности различных моделей- "кандидатов", из которых необходимо выбрать лучшую. Однако существует некоторая вероятность того, что отобранная по параметрам эффективности модель окажется излишне переученной (очегбпед) на проверочном подмножестве. Чтобы предотвратить такую опасность, эффективность обобщения выбранной модели измеряется также на тестовом множестве, которое отличается от проверочного.
Перекрестные проверки особенно привлекательны, если требуется создать большую нейросеть, обладающую хорошей способностью к обобщению. Например, перекрестную проверку можно использовать для нахождения многослойного персептрона с оптимальным количеством скрытых нейронов.
Способ определения момента остановки процесса обучения описывается в следующих разделах. Выбор модели Идея выбора модели на основе перекрестной проверки аналогична методологии ми- нимизации структурного риска (см. главу 2). Рассмотрим следующую вложенную структуру классов булевых функций: Р, С Рз С... С Р~, и„— (Рь') = (Г(х,тк); яг Е %'ь), й = 1,2,..., п. (4.91) Ед(Е) Р(Р(х) ~ И) для х е Х Пусть имеется множество маркированных примеров обучения Другими словами, Й-й класс функций Рь охватывает семейство многослойных персептронов с одинаковой архитектурой и вектором весов тк, принадлежащим многомерному пространству весовых коэффициентов %'ы Функция-член этого класса, характеризуемая функцией (или гипотезой) Гь = Е(зк, х), и ЕЖы отображает входной вектор х в множество (О, 1), где х принадлежит входному пространству Х с некоторой неизвестной вероятностью Р.
Каждый многослойный персептрон в описанной структуре обучается по алгоритму обратного распространения, в соответствии с которым настраиваются параметры персептрона. Задача выбора модели состоит в выборе персептрона, имеющего наилучшее значение Иг, определяющее количество свободных параметров (т.е. синаптических весов и порогов). Более точно, зная желаемый скалярный отклик д = (О, 1) для входного сигналах, мы определим ошибку обобщения: 290 Глава 4.
Многослойный персептрон Требуется выбрать такую гипотезу Р(х, н), которая минимизирует ошибку обобщения вя(«') на всем множестве примеров обучения. В дальнейшем будем предполагать, что описанная соотношением (4.91) структура обладает следующим свойством: для любого размера обучающей выборки Х всегда найдется многослойный персептрон с достаточно большим количеством свободных параметров И' (Х), адекватно представляюший обучающее множество Т. Это всего лишь еще одна формулировка теоремы об универсальной аппроксимации из раздела 4.13.
Будем называть И«(Х) числом запоминания (брйпд пшпЬег). Значение величины И«(Х) состоит в том, что разумная процедура выбора модели должна найти такую гипотезу Г(х, ж), которая удовлетворяет условию И«< И' (Х). В противном случае сложность сети должна увеличиваться. Пусть параметр г, принадлежащий интервалу от нуля до единицы, определяет разбиение обучающего множества на подмножества оценивания и проверки. Пусть Т содержит Х примеров.
Тогда после разбиения (1 — г)М примеров будет принадлежать подмножеству оценивания, а «2т' примеров — проверочному подмножеству. Подмножество оценивания обозначим Т'. Оно используется для обучения вложенной последовательности многослойных персептронов, представленных гипотезами Г„ г з,..., Р„с нарастающей сложностью. Так как подмножество Т' состоит из (1 — г)Х примеров, будем рассматривать значения И«, не превышающие соответствующего числа сглаживания И«((1 — г)1Ч).
Используя результаты перекрестной проверки при выборе г,„= ппп (е",(Рь)), (4.92) где и соответствует И«„( И' ((1 — г)М), а е,"(Рь) — ошибка классификации, обеспечиваемая гипотезой Рь при тестировании на проверочном множестве Т", состоящем из «1Ч примеров. Ключевой вопрос состоит в том, как определить значение параметра г, задающего разбиение обучающего множества Т на подмножества оценивания Т' и проверки Т". В [549] при аналитическом исследовании этого вопроса с использованием ЧС-измерения и компьютерного моделирования были определены некоторые количественные свойства оптимального значения г. ° Если сложность целевой функции, определяющей желаемый отклик Ы в терминах входного вектора х, мала по сравнению с размером Ж обучающего множества, то эффективность перекрестной проверки мало зависит от выбора г. ° Если же целевая функция становится более сложной по сравнению с размером Ю обучающего множества, то выбор оптимального значения г оказывает существенное влияние на эффективность перекрестной проверки, причем это значение уменьшается.
4,14. Перекрестная проверка 291 ° Одно и то же фиксированное значение глочти оптимально подходит для широкого диапазона сложностей целевой функции. На основе результатов, полученных в (549), было получено фиксированное значение г = О, 2, при котором 80ть обучающего множества Т составляет подмножество оценивании, а остальные 20'Ь вЂ” проверочное подмножество. Ранее речь шла о последовательности вложенных многослойных персептронов возрастающей сложности. Для заданной размерности входного и выходного слоев такую последовательность из о = р + д полносвязных многослойных персептронов можно создать, например, следующим образом.
° Сформировать р многослойных персептронов с одним скрытым слоем возрастающего размера 6', < 6' «... 6'. ° Сгенерировать д многослойных персептронов с двумя скрытыми слоями, размер первого скрытого слоя которых фиксирован и составляет 6'„, а размер второго— возрастает 6" ,< 6~ <...
< 6,",. По мере перехода от одного многослойного персептрона к следующему увеличивается соответствующее количество свободных параметров чч'. Процедура выбора модели, основанная на перекрестной проверке, обеспечивает принципиальный подход к определению нужного количества скрытых нейронов многослойного персептрона. Несмотря на то что эта процедура была описана в контексте двоичной классификации, она применима и к другим приложениям многослойного персептрона. Метод обучения с ранним остановом Обычно обучение многослойного персептрона методом обратного распространения происходит поэтапно — переходя от более простых к более сложным функциям отображения. Это объясняется тем фактом, что при нормаяьных условиях среднеквадратическая ошибка уменьшается по мере увеличения количества эпох обучения: она начинается с довольно больших значений, стремительно уменьшается, а затем продолжает убывать все медленнее по мере продвижения сети к локальному минимуму на поверхности ошибок.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
