Основные понятия нейронных сетей

§4.2 Основные понятия нейронных сетей

1.2.1 Классификация и свойства нейронных сетей

Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и  с внешней средой, с помощью связей, определяемых весовыми коэффициентами. В зависимости от функций, выполняемых нейронами в сети, можно выделить три их типа:

1. входные нейроны, на которые подается вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации.

2. выходные нейроны, выходные значения  которых представляют выходы нейронной сети, преобразования по ним осуществляются в соответствии с (4.1) и (4.2).

3. промежуточные нейроны, составляющие основу нейронных сетей, преобразования в которых выполняются также по выражениям (4.1), (4.2).

С точки зрения топологии можно выделить  3 основных типа нейронных сетей:

1. полносвязные

Рекомендуемые материалы

 (картинка).

Каждый нейрон связан с каждым другим нейроном. Каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов.

2. слоистые

(картинка).

Нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами, число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях.

3. слабосвязные или с локальными связями. Нейроны располагаются в узлах прямоугольной или гесксогональной решетки.

(картинка)

Каждый нейрон связан с 4 (окрестность Фон Неймана), 6 (окрестность Галея) или 8 (окрестность Мура) своими ближайшими соседями.

Простейшей нейронной сетью является однослойная нейронная сеть:

(картинка)

Вершины (круги слева) служат лишь для распределения входных сигналов, они не выполняют каких либо вычисления, поэтому они не могут считаться слоем.

Каждый элемент из множества входов соединен с каждым нейроном отдельной связью, которой приписан вес, а каждый нейрон выдает взвешенную сумму входов в сеть.

В биологических и искусственных сетях многие соединения могут отсутствовать.

Могут иметь место также соединения между выходами и входами элементов слоя.

Т.о., в однослойной сети вычисления m-мерного выходного вектора y сводится к матричному умножению (4.9), где W – матрица размера , u – m-мерный вектор входов.

Многослойные сети обладают, как правило, большими вычислительными возможностями, могут образовываться каскадами слоев, выход одного слоя является входом для другого слоя.

Пример 2-х слойной сети:

 (картинка)

Среди многослойных сетей выделяют следующие типы:

1. монотонные – частный случай слоистых сетей с дополнительными условиями на связи и нейроны, каждый слой кроме последнего выходного разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на возбуждающие и тормозящие. Для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала нейрона от параметров входных сигналов.

2. сети без обратных связей. Нейроны входного слоя получают входные сигналы, преобразуют их и передают их нейронам следующего слоя и так далее вплоть до выходного, который выдает сигналы для интерпретатора или пользователя.  

3. сети с обратными связями. Информация с последующих слоев может передаваться предыдущим.

Выбор структуры нейронной сети осуществляется в соответствии с особенностью и сложностью задачи.

12.11.2009

1.2.2 Обучение нейронных сетей

Все зависит от величин синоптических связей. Поэтому, когда задаются определенные структуры задачи, необходимо найти оптимальные коэффициенты. Сеть обучается, чтобы из некоторого множества входов давать требуемое, сообразное с ним множество выходов, каждое такое входное множество рассматривается, как вектор u (входное) и y (выходное) соответственно. Обучение осуществляется путем последственного предъявления входных векторов с одновременной подстройкой весовых коэффициентов по определенной процедуре. Различают алгоритмы обучения с учителем и без учителя:

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе обучающих пар. Для выхода мы имеет два вектора, целевой и тот, который мы вычислили.

Разность, которая характеризует ошибку сети, подается в сеть. И в зависимости от нее веса изменяются в зависимости от алгоритма обучения. Эти алгоритмы стремятся минимизировать эту ошибку.

Обучение без учителя не нуждается в целевом векторе для входов и следовательно не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов и обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, то есть чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс выделяет свойства обучаемого множества и группирует сходные вектора в классы.

1.2.3 Теорема Колмогорова

Рассмотрим двухслойную нейронную сеть с m входами и одним выходом.

Для определенности будем считать передаточные функции в первом слое сигмаидальными, а в выходном слое используется тождественная функция. (Взвешенная сумма векторов первого слоя и будет ответом в сети).

Подавая на вход любые числа  мы получим на выходе значение некоторой функции , которые и являются реакцией сети. Очевидно, что ответ зависит как от входного сигнала, так и от значения ее внутренних параметров, то есть весов нейронов. Точный вид функции:

В 1957 г Колмогоров доказал следующую теорему :  (4.1) Любая непрерывная функция F определенная на m-мерном единичном кубе может быть представлена в виде суммы 2m+1 суперпозиций, непрерывных и монотонных отображений единичных отрезков.

Где  — непрерывные функции, причем  не зависят от функции F. Эта теорема означает, что для реализации функции многих переменных достаточно операций суммирования и композиции функций одной переменной. Результаты в дальнейшем были переработаны в применении к нейронным сетям.

Информация в лекции "6. Развитие библиотековедения" поможет Вам.

Пусть  - любая непрерывная функция, определенная на ограниченном множестве, функция σ определена согласно 4.11 (см выше).

Теорема 4.2

приближают функции с погрешностью не более  на всей области определения.

В терминах теории нейронных сетей эта теорема формулируется так: Любую непрерывную функцию нескольких переменных можно с любой точностью реализовать с помощью двухслойной нейронной сети.