Хайкин С. - Нейронные сети (778923), страница 49
Текст из файла (страница 49)
Отсюда можно вывести еще один критерий сходимости. Критериеы сходимости алгоритма обратного распространенияявляется достаточно малая абсолютная интенсивность изменений среднеквадратической ошибки в течение эпохи. Интенсивность изменения среднеквадратической ошибки обычно считается достаточно малой, если она лежит в пределах от 0,1-1та за эпоху. Иногда используется уменьшенное значение — 0,01оуш К сожалению, этот критерий может привести к преждевременной остановке процесса обучения. Существует еще один полезный и теоретически подкрепленный критерий сходи- мости. После каждой итерации обучения сеть тестируется на эффективность обобщения. Процесс обучения останавливается, югда эффективность обобщения становится удовлетворительной или югда оказывается, что пик эффективности уже пройден.
В разделе 4.14 мы поговорим об этом более подробно. Вектор и' называется локальным минимумом функции Р, если в втой точке она достигает наименьшего значения в некоторой области, те, если сушествует такое значениев, 'по [!25) г (зч") < Р(н) для всех п, удовашшзряюцшх нераееншву [!и — зч'[~ < е. Веюор и' ншышшся аговиаьиым миикмумом функции Р, если в втой точке она достигает наименьшего значения на всей своей области определения, те.
если Р(м') < г (п) для всех и а и-, где и — размерность векгора ы. 4.4. Алгорипи обратного распространения а краткой форме 241 Х2 4222 х(ч х(~2 2 ам ма 4222 2 2 3 Рис. 4.7. Граф передачи сигнала для процесса обучения по методу обратного распространения. Верхняя часть графа — прямой проход, нижняя часть графа — обратный проход 4.4.
Алгоритм обратного распространения в краткой форме На рис. 4.1 представлена структурная схема многослойного персептрона. Соответствующий граф передачи сигнала в процессе обучения по методу обратного распространения, иллюстрирующий как прямую, так и обратную фазу вычислений, представлен на рис. 4.7 для случая Ь = 2 и где — — глт = тз =3. В верхней части графа передачи сигнала показан прямой проход, в нижней — обратный. Последний еще носит название графа чувслгвипгельносяги (зепят1т)ту йгар)2) для вычисления локальных градиентов в алгоритме обратного распространения [774]. Ранее мы упоминали, что последовательная корректировка весов является более предпочтительным режимом алгоритма обратного распространения для реализации в реальном времени.
В этом режиме алгоритм циклически обрабатывает примеры из обучающего множества 1',(х1п),221л)))„„следующим образом. 1. Инициализация (1шт1а11хат1оп). Предполагая отсутствие априорной информации, генерируем синаптические веса и пороговые значения с помощью датчика рав- 242 Глава 4. Мноюслойный лерселтрон номерно распределенных чисел со средним значением О. Дисперсия выбирается таким образом, чтобы стандартное отклонение индуцированного локального поля нейронов приходилось на линейную часть сигмоидальной функции активации (и не достигало области насыщения).
2. предъявление примеров обучения (ртезептайоп от" тта(шпк ехшпр1ез). В сеть подаются образы из обучающего множества (эпохи). Для каждого образа последовательно выполняются прямой и обратный проходы, описанные далее в пп. 3 и 4.
3. Прямой лроход (тоттчатд сошрптайоп). Пусть пример обучения представлен парой (х(п), й(п)), где х(п) — входной вектор, предъявляемый входному слою сенсорных узлов; й(п) — желаемый отклик, предоставляемый выходному слою нейронов для формирования сигнала ошибки. Вычисляем индуцированные локальные поля и функциональные сигналы сети, проходя по ней послойно в прямом направлении. Индуцированное локальное поле нейрона т' слоя 1 вычисляется по формуле и~ ~(п) = ~ ю~1,~(и)у1 ~(п), (4.44) э'=0 где у, (п) — выходной (функциональиый) сигнал нейрона(, расположенного в предыдущем слое 1 — 1, на итерации и; ю, (и) — синаптический вес связи нейрона т' слоя1с нейроном(слоя1 — 1.
Для( = О ус О(п) = +1, ахи) = Ь((и) — порог, применяемый к нейрону т' слоя 1. Если используется сигмоидальная функция, то выходной сигнал нейрона з слоя 1 выражается следующим образом: у, (и) = 6,(о (п)). Если нейрон з' находится в первом скрытом слое (т.е. 1 = 1), то у, (и) = кз(п), где хз(п) — ттй элемент входного вектора х(п).
Если нейрон т' находится в выходном слое (т.е. 1 = Ь, где Ь вЂ” глубина сети), то у, (и) = о,(п). Вычисляем сигнал ошибки е (п) = т( (и) — о,(п), (4.45) где т(3 (п) — тъй элемент вектора желаемого отклика й(п). 4.5. Задача ХОВ 243 4. Обратный нроход (Ьас)очагд сошрпгабоп). Вычисляем локальные градиенты узлов сети по следующей формуле: 1 е, (п)д,'(о (п)) для нейрона 7' выходного слоя 1, з ( ) ~ф'(о (п)) ~ б„ч0(п)аб (п) длянейрона з скрытого слоя 1, где штрих в функции ф',. ( ) обозначает дифференцирование по аргументу. Изменение синаптических весов слоя 1 сети выполняется в соответствии с обобщенным дельта-правилом ~Ю,~(п+ 1) = ш), (п) + а[в~, (п — 1)] + Обб ~(п)у~Р ~(п), (4.47) где т) — параметр скорости обучения; а — постоянная момента.
5. Итерации (йегабоп). Последовательно выполняем прямой и обратный проходы (согласно пп. 3, 4), предъявляя сети все примеры обучения нз эпохи, пока не будет досппиуг критерий останова. Примечание. Порядок представления примеров обучения может случайным образом меняться от эпохи к эпохе. Параметры момента и скорости обучения настраиваются (и обычно уменьшаются) по мере роста количества итераций. Объяснение этого факта будет приведено ниже. 4.5.
Задача ХОР В элементарном (однослойном) персептроне нег скрытых нейронов. Следовательно, он не может классифицировать входные образы, которые линейно-неразделимы. Однако нелинейно-разделимые области встречаются не так уж редко. Например, именно такая проблема возникает в известной задаче "исключающего ИЛИ" (ХОК вЂ” ехс1пз1че 011 ргоЫеш), которую можно рассматривать как частный случай более общей задачи классификации точек единичного гиперкуба (ппй ЬурегспЬе). Каждая точка этого куба принадлежит одному из двух классов — 0 или 1. Для частного случая задачи ХОК рассмотрим четыре угла единичного квадрата, которые соответствуют входным парам (О, 0), (О, 1), (1, 0) и (1, 1). Первая и четвертая пары принадлежат классу О, т.е.
ОЮО=Ои1Ю1=0, где знак Щ обозначает оператор булевой функции ХОВ. Входные образы (О, 0) и (1, 1) располагаются в противоположных углах единичного квадрата (ппй зцпаге), но генерируют одинаковый выходной сигнал, равный нулю. С другой стороны, пары (О, 1) и (1, О) также располагаются в противоположных углах квадрата, но принадлежат классу 1: 244 Глава 4. Многослойный персептрон ОЮ1= 1и 1®0= 1.
Очевидно, что при использовании всего одного нейрона с двумя входами граница решений в пространстве входов будет линейной. Для всех точек, расположенных по одну сторону этой линии, выход нейрона будет равен единице, а для остальных точек — нулю. Положение и ориентация этой линии в пространстве входов определяется сииаптическими весами, соединяющими нейрон с входными узлами, и порогом.
Имея две пары точек, расположенных в противоположных углах квадрата и относя- шихся к разным классам, мы, естественно, ие сможем построить прямую линию так, чтобы точки одного класса лежали по одну сторону от разделяющей поверхности. Другими словами, элементарный персептрои ие может решить задачу ХОК. Для решения этой задачи введем скрытый слой с двумя нейронами (рис. 4.8, а) 11058). Граф передачи сигнала этой сети показан иа рис. 4.8, б. При этом сделаем следующие допущения. ° Каждый из нейронов представлен моделью Мак-Каллока — Питца, в которой функцией активации является пороговая. ° Биты 0 и 1 представлены соответственно уровнями сигнала 0 и +1. Верхний нейрон (с меткой 1 в скрытом слое) характеризуется следующим образом: гсы —— гл1г — — +1, Ь1 — — — 3/2.
Наклон границы решений для этого скрытого нейрона равен — 1, что и показано иа рис. 4.9, а. Нижний нейрон (с меткой 2 в скрытом слое) обладает свойствами гсг1 = шгг = +1~ Ьг = 1/2. Ориентация и расположение границы решений для второго скрытою нейрона показаны иа рис. 4.9, б. Для выходного нейрона (обозначенного меткой 3 иа рис.
4.8, а) гсз1 = — 2, шзг = +1 Ь1 = 1/2. Функцией выходного нейрона является построение линейной комбинации границ решений, сформированных двумя скрытыми нейронами. Результат вычислений показан иа рис. 4.9, в. Нижний скрытый нейрон соединен возбуждающей (положительиой) связью с выходным нейроном, в то время как верхний скрытый нейрон — тормозящей (отрицательной). Если оба скрытых нейрона заторможены (что соответствует вход- 4.6.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
