Многослойные нейронные сети

§ 4.4 Многослойные нейронные сети.

 4.4.1 Сети обратного распространения

Сети обратного распространения получили свое название из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, то есть в направлении противоположном направления сигнала. Нейронная сеть обратного направления состоит из нескольких слоев нейронов, причем каждый нейрон предыдущего слоя связан с каждым нейроном последующего слоя. Рассмотрим двухслойную нейронную сеть.

Матрицу весовых коэффициентов, соединяющие слои , а  — входы и первый слой. Пусть сеть обучается на выборке  задача — минимизация функции ошибки, которая находиться по методу наименьших квадратов.

Обучение сети производиться известным оптимизационным методов градиентного спуска, то есть на каждой итерации изменение веса производиться по формулам:

В качестве активационной функции обычно используется сигмаидальная функция. Производная:

Рекомендуемые материалы

 – значение выхода j – го нейрона первого слоя.

Алгоритм обучения сети обратного распространения:

Алгоритм обратного распространения ошибки опишем для многослойной сети, имеющей входной слой  l=0.

Несколько промежуточных (скрытых слоев  ) и выходной слой   l = L.

 l — нумерация слоев.

Будем считать, что каждый l слой содержит  нейронов. Таким образом, нейронная сеть имеет:

количество входов:

выходов: .

Алгоритм 4.3

Исходные данные: обучающая выборка, то есть последовательность пар векторов  для t=1,2,3..T, β — коэффициент скорости обучения, ε - параметр точности обучения,  -максимальное количество эпох.

Выход:  размером .

Шаг 0: Инициализация весовых коэффициентов.

Синаптическим весам датчиком случайных чисел присвоить малые величины из интервала (-1,1). t=1.

Шаг 1: Подать на вход сети обучающий вектор .

Шаг 2:Прямой ход

вычислить выходные сигналы j - ого нейрона в этом слое, следующим образом:

, где  - входные значения. И выходные сигналы сети:  

Шаг 3: Обратный ход (коррекция весовых коэффициентов).

Вычислить

Здесь же в циклах:

Шаг 4.  

4.4.3 Сети встречного распространения

Объединение разнотипных структур в один приводит к новым свойствам.

Нейронные сети встречного распространения - это гибридные сети, состоящие из входного слоя нейронов и слоев нейронов Кохенена и Гросберга. Эти сети по своим характеристикам существенно превосходят сети с однотипными нейронами (?).

Нейроны слоя Кохенна реализуют функцию порогового суммирования взвешенных входов, однако, в отличие от остальных слоев нейрон слоя Кохенна с максимальным значением взвешенной суммы на заданных входной вектор называется победителем, на его выходе формируется значение 1, а на выходах остальных - 0.

Слой Кохенна обучается без учителя на основе самоорганизации, т.е. самообучаемый слой. Число входов каждого нейрона этого слоя равно размерности вектора параметров объекта. А количество нейронов совпадает с требуемым числом классов на которые необходимое разбить объекты. Нейроны слоя Гросберга на выходе выдают величины весов , которые связывают с победителями нейронов Кохенана. В отличие от самообучающегося слоя Кохенена, слой Гросберга обучается с учителем.

Отличие от стандартной схемы обучения заключается в том, что подстройке подвергаются только те веса нейронов слоя Гросберга, которые соединены с ненулевым нейроном Кохенена.

Отличие сети встречного распространения заключается так же в особенностях функционирования. В соответствии с приведенной на рисунке структурой на вход сети подаются нормализованные единичные векторы u, y. А на выходе формируются их нормализованные аппроксимации с волнами. При обучении входные вектора подаются как на вход, так и на выход.

Реализуется свойства ассоциативной памяти, заключающееся в том, что предъявление на вход только вектора y или u при отсутствии другого приводит к порождению на выходе как , так и .

4.4.4 Обучение сети встречного распространения.

Нормализованный вектор — вектор единичной длины.

Перед обучением сети предварительно проводят нормировку векторов обучающей выборки.

 Если осуществить нормировку, а так же после каждого процесса осуществить нормировку каждого нейрона, то в качестве близости входных векторов и векторов нейронов можно рассматривать скалярное произведение  между ними .

  — строка матрицы W.

Наименьшим будет расстояние до того нейрона, у которого будет скалярное произведение с которым у входного вектора максимально.

Алгоритм 4.4

Входные данные: обучающая выборка :

- начальный коэффициент скорости обучения слоя К.

- коэффициент скорости обучения слоя Г.

Выход:

Шаг 0: Весовым коэффициентам  присвоить малые случайные значений и произвести единичную нормировку матриц W,V по строкам. t=1.

Шаг 1: Для вектора x^t вычислить скалярные произведения

Информация в лекции "5. Электронные информационные ресурсы" поможет Вам.

Шаг 2: Выбрать нейрон k 1<= k <= n с наибольшим скалярным произведением .

Шаг 3: установить выход , выходы всех остальным нейронов слоя Кохенена = 0

Шаг 4:

Шаг5:Подать выходной вектор слоя Кохеннан на слой Гросберга и скорректировать веса по формуле:

Шаг 6: Уменьшить значения и , и изменить .