IskusstvennyeNeironnyeSeti.TeoriyaIPraktika (В. В. Круглов, В. В. Борисов - Искуственные нейронные сети), страница 13

Сходимость рассмотренной процедуры устанавливается следующими теоремами

Теорема 2 1

Класс элементарных персептронов, для которых существует решение для любой задуманной классификации, не является пустым

Эта теорема утверждает, что для любой классификации обучающей выборки можно подобрать такой набор (из бесконечного набора) элементарных нейронов, в котором будет осуществлено разделение обучающей последовательности при помощи линейного решающего правила

Теорема 2 2

Если для некоторой классификации решение существует, то в процессе обучения персептрона с коррекцией ошибок, начинающегося с произвольного исходного состояния, это решение будет достигнуто в течение конечного промежутка времени

Смысл теоремы состоит в том, что если относительно задуманной классификации можно найти набор элементов, в котором существует решение, то в рамках этого набора оно будет достиг нуто за конечный промежуток времени

Интересную область исследований представляют много слойные персептроны и персептроны с перекрестными связями однако теория этих систем практически не разработана

2.3. Нейронные сети встречного распространения

Объединение разнотипных нейронных структур в единой ар хитектуре зачастую приводит к свойствам, которых нет у них пс отдельности Причем именно каскадные соединения нейронны> структур, специализирующихся на решении различных задач, по зволяют решить проблему комплексно

Нейронные сети встречного распространения, состоящие и входного слоя нейронов и слоев нейронов Кохонена и Гроссберга по своим характеристикам существенно превосходят возможности сетей с одним скрытым слоем нейронов Так, время их обучения задачам распознавания и кластеризации более, чем в сто раз меньше времени обучения аналогичным задачам сетей с обратным распространением ошибки Это может быть полезно в тех приложениях, где долгая обучающая процедура невозможна

58

У <

Спой 1 Спой 2

Входной Нейроны Нейроны

слой Кохонена Гросберга

Рис 2 7 Структура нейронной сети встречного распространения

Одними из определяющих характеристик сети встречного распространения являются ее хорошие способности к обобщению, позволяющие получать правильный выход даже при неполным или зашумленном входном векторе Это существенно для эффективного использования данной сети для распознавания и восстановления образов, а также для усиления сигналов

На рис 2 7 показана структура сети встречного распространения Нейроны входного слоя служат для передачи входных сигналов на все нейроны слоя Кохонена с соответствующими весовыми коэффициентами w,, Весовые коэффициенты входов нейронов j (] = 1 М) слоя Кохонена образуют соответствующие весовые векторы wj = (wij, , w2nj) для; = 1 М

Каждый нейрон слоя Кохонена соединен с каждым нейроном из слоя Гроссберга весами v]k Веса входов нейронов к {к = 1 2л) слоя Гроссберга образуют соответствующие весовые векторы vk = (Укь , vk2n)p,mk= 1 2п

Нейроны слоя Кохонена реализуют функцию порогового суммирования взвешенных входов Однако, в отличие от осталь-

59

ных слоев, нейрон слоя Кохонена с максимальным значением взвешенной суммы (на заданный входной вектор) является «победителем» На его выходе формируется уровень логической «1», на выходах остальных нейронов слоя - «О»

Нейроны же слоя Гроссберга на выходах выдают величины весов v,j, которые связывают их с нейроном-«победителем» из слоя Кохонена

Процесс обучения нейронной сети встречного распространения различен для слоев нейронов Кохонена и Гроссберга Рассмотрим вопросы, возникающие при обучении каждого из этих слоев

Перед обучением (самообучением) слоя Кохонена, протекающим без учителя, необходимо выполнить предварительную нормализацию входных {х\ , х*, , xм} ({у1, , у", , у1}) и весовых векторов {wb , wm}

Нормализация входных векторов осуществляется с целью их преобразования в единичные векторы с теми же направлениями перед предъявлением сети в соответствии со следующим выражением

*_________х,_______

д/Х? + + Х,+ Х2п

Нормализация же начальных случайных значений весовых векторов приближает их к окончательным значениям, сокращая тем самым время обучения Эти окончательные значения весовых векторов совпадают с нормализованными значениями входных векторов

При обучении слоя Кохонена на вход подается нормализованный входной вектор На выходе нейрона с максимальным значением взвешенной суммы формируется уровень логической «1»

При этом процесс обучения после выбора нейрона-«победителя» с весовым вектором, наиболее близким к входному вектору, состоит в дальнейшей подстройке (приближении) компонентов весового вектора выбранного нейрона к предъявленному входному вектору в соответствии с выражением w((m) = iv,(f)+;7(x*-w((f)), где w,(m), w,(t) - соответственно новое и предыдущее значения вектора весов выигравшего /-го нейрона-«победителя» для предъявленного входного вектора х* {к = 1 /v), rj - коэффициент скорости обучения

Каждый коэффициент из весового вектора нейрона-«побе-дителя» изменяется пропорционально разности между его вели-

60

чиной и величиной входа, к которому он присоединен Знак изменения минимизирует разность между весовым коэффициентом и его входом По мере обучения коэффициент /; постепенно уменьшается

В результате обучения нейрон-«победитель» будет активизироваться для совокупности ассоциированных с ним входных векторов, средняя величина которых совпадает с вектором весов этого нейрона

Однако существует ряд проблем обучения слоя Кохонена, от решения которых зависит эффективность использования нейронной сети встречного распространения в целом

Прежде всего, из-за того, что нормализованные входные векторы, как правило, неравномерно распределены по поверхности гиперсферы, большинство весовых векторов (изначально равномерно распределенных рандомизацией весов) будут значительно удалены от любого входного вектора Поэтому на выходах соответствующих им нейронов постоянно будет установлен уровень логического «О», и эти нейроны окажутся бесполезными С другой стороны, активных нейронов может оказаться недостаточно для эффективного разделения близкорасположенных входных векторов

Еще одна проблема заключается в сложности разделения на различные классы множеств сходных входных векторов в случае, если изначальная плотность весовых векторов в окрестности обучающих векторов будет недостаточной

Проблему может представлять также излишне высокая плотность весовых векторов вблизи несущественно различающихся входных векторов Что может привести к активизации нескольких нейронов слоя Кохонена, тек формированию ложных классов входных векторов

Решением перечисленных проблем является распределение весовых векторов в соответствии со сложностью входных векторов Существует несколько путей приближенного достижения этой цели, из которых наиболее популярны следующие четыре

1) Метод выпуклой комбинации (convex combination method) Первоначально всем весовым коэффициентам присваиваются

одинаковые значения м4п Каждый компонент входного вектора

модифицируется в соответствии с правилом х', = л х, + —Л- Сна-

4п

чала /7 мало, и длина всех входных векторов близка к векторам

61

весов Затем в процессе обучения rj постепенно увеличивается до единицы, что позволяет правильно разделить входные векторы

Недостатком данного метода является увеличение времени обучения из-за необходимости подстройки весовых коэффициентов к постоянно изменяющимся значениям входных векторов

2) Зашумление входных векторов Входные векторы подвергаются случайным изменениям, благодаря чему захватывается ближайший весовой вектор Этот метод более медленный, чем метод выпуклой комбинации

3) Изменение числа корректируемых нейронов На начальной стадии процесса обучения подстраиваются веса всех нейронов слоя, а не только нейрона-«победителя» Далее подстройка весов производится лишь для ближайших к выигравшему нейронах Число этих нейронов по мере обучения сокращается И в конце остается лишь один нейрон

4) Наделение нейронов «чувством справедливости» Если нейрон становится «победителем», то порог его срабатывания временно увеличивается Это дает возможность обучаться и дру гим нейронам

Назначением нейронов слоя Гроссберга является формирование требуемых выходных векторов после того, как нейроны слоя Кохонена разделили входные векторы на классы Фактически каждый нейрон слоя Гроссберга лишь выдает значение веса, который связывает этот нейрон с нейроном-«победителем» слоя Кохонена

В отличие от самообучающегося слоя Кохонена, слой Гроссберга обучается с учителем Различие же со стандартной обучающей процедурой заключается в том, что подстройке подвергаются только те веса нейронов слоя Гроссберга, которые соединены с ненулевым нейроном Кохонена Используется следующее правило