49261 (588635), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

Рис. 2. Неоднородный адаптивный сумматор

Рис. 1. Адаптивный сумматор.

Рис. 5. Формальный нейрон

Рис. 3. Нелинейный преобразова-тель сигнала.

Рис. 4. Точка ветвления

Нелинейный преобразователь сигнала изображен на рис. 3. Он получает скалярный входной сигнал x и переводит его в (x).

Точка ветвления служит для рассылки одного сигнала по нескольким адресам (рис. 4). Она получает скалярный входной сигнал x и передает его всем своим выходам.

Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе (рис. 5).

Линейная связь ‑ синапс ‑ отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент (рис. 6). Он умножает входной сигнал x на “вес синапса” .

Рис. 6. Синапс.

Итак, дано описание основных элементов, из которых составляются нейронные сети.

2.3. Основные архитектуры нейронных сетей

Как можно составлять эти сети? Строго говоря, как угодно, лишь бы входы получали какие-нибудь сигналы. Используются несколько стандартных архитектур, из которых путем вырезания лишнего или (реже) добавления строятся большинство используемых сетей.

Здесь и далее рассматриваются только нейронные сети, синхронно функционирующие в дискретные моменты времени: все нейроны срабатывают “разом”.

В семействе нейронных сетей можно выделить две базовых архитектуры – слоистые и полносвязные сети.

Рис. 7. Слоистая сеть

Слоистые сети: нейроны расположены в несколько слоев (рис. 7). Нейроны первого слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам второго слоя. Далее срабатывает второй слой и т.д. до k-го слоя, который выдает выходные сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал i-го слоя подается на вход всех нейронов i+1-го. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях. Стандартный способ подачи входных сигналов: все нейроны первого слоя получают каждый входной сигнал. Особое распространение получили трехслойные сети, в которых каждый слой имеет свое наименование: первый – входной, второй – скрытый, третий – выходной.

Полносвязные сети: каждый нейрон передает свой выходной сигнал остальным нейронам, включая самого себя. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сигналы подаются всем нейронам.

Элементы слоистых и полносвязных сетей могут выбираться по-разному. Существует, впрочем, стандартный выбор – нейрон с адаптивным неоднородным линейным сумматором на входе (рис. 5).

Для полносвязной сети входной сумматор нейрона фактически распадается на два: первый вычисляет линейную функцию от входных сигналов сети, второй – линейную функцию от выходных сигналов других нейронов, полученных на предыдущем шаге.

Функция активации нейронов (характеристическая функция) – нелинейный преобразователь, преобразующий выходной сигнал сумматора (см. рис. 5) – может быть одной и той же для всех нейронов сети. В этом случае сеть называют однородной (гомогенной). Если же зависит еще от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Если полносвязная сеть функционирует до получения ответа заданное число тактов k, то ее можно представить как частный случай k-слойной сети, все слои которой одинаковы и каждый из них соответствует такту функционирования полносвязной сети.

2.4. Обучение нейронных сетей как минимизация функции ошибки

Построение обучения как оптимизации дает универсальный метод создания нейронных сетей для решения задач. Если сформулировать требования к нейронной сети, как задачу минимизации некоторой функции - оценки, зависящей от части сигналов (входных, выходных, ...) и от параметров сети, то обучение можно рассматривать как оптимизацию и строить соответствующие алгоритмы, программное обеспечение и, наконец, устройства. Функция оценки обычно довольно просто (явно) зависит от части сигналов - входных и выходных, но ее зависимость от настраиваемых параметров сети может быть сложнее и включать как явные компоненты (слагаемые, сомножители,...), так и неявные - через сигналы (сигналы, очевидно, зависят от параметров, а функция оценки - от сигналов).

За пределами задач, в которых нейронные сети формируются по явным правилам (сети Хопфилда, проективные сети, минимизация аналитически заданных функций и т.п.) требования к нейронной сети обычно можно представить в форме минимизации функции оценки. Не следует путать такую постановку задачи и ее весьма частный случай - "обучение с учителем".

Если для решения задачи не удается явным образом сформировать сеть, то проблему обучения можно, как правило, сформулировать как задачу минимизации оценки. Осторожность предыдущей фразы ("как правило") связана с тем, что на самом деле неизвестны и никогда не будут известны все возможные задачи для нейронных сетей, и, быть может, где-то в неизвестности есть задачи, которые несводимы к минимизации оценки.

Минимизация оценки - сложная проблема: параметров астрономически много (для стандартных примеров, реализуемых на РС - от 100 до 1000000), адаптивный рельеф (график оценки как функции от подстраиваемых параметров) сложен, может содержать много локальных минимумов, извилистых оврагов и т.п.

Наконец, даже для того, чтобы воспользоваться простейшими методами гладкой оптимизации, нужно вычислять градиент функции оценки. В данном разделе описывается связь двойственного функционирования сетей - автоматов с преобразованием Лежандра и неопределенными множителями Лагранжа.

Переменные обратного функционирования появляются как вспомогательные при вычислении производных сложной функции. Переменные такого типа появляются не случайно. Они постоянно возникают в задачах оптимизации и являются множителями Лагранжа.

Для всех сетей автоматов, встречавшихся в предыдущих разделах, можно выделить три группы переменных:

внешние входные сигналы x_...,

переменные функционирования - значения на выходах всех элементов сети f_...,

переменные обучения a_...(многоточиями заменяются различные наборы индексов).

Объединим их в две группы - вычисляемые величины y_... - значения f_... и задаваемые - b_... (включая a_... и x_...). Упростим индексацию, перенумеровав f и b натуральными числами: f₁,...,f_N ; b₁ ,...,b_M .

Пусть функционирование системы задается набором из N уравнений

_i(y₁ ,...,y_N ,b₁ ,...,b_M)=0 (i=1,...,N). (1)

Для послойного вычисления сложных функций вычисляемые переменные - это значения вершин для всех слоев, кроме нулевого, задаваемые переменные - это значения вершин первого слоя (константы и значения переменных), а уравнения функционирования имеют простейший вид (4), для которого

Предполагается, что система уравнений (1) задает способ вычисления y_i .

Пусть имеется функция (лагранжиан) H(y₁ ,...,y_N ,b₁ ,...,b_M). Эта функция зависит от b и явно, и неявно - через переменные функционирования y. Если представить, что уравнения (1) разрешены относительно всех y (y=y(b)), то H можно представить как функцию от b:

H=H₁(b)=H(y₁(b),...,y_N(b),b). (2)

где b - вектор с компонентами b_i .

Для задачи обучения требуется найти производные D_i=H₁(b)/b_i . Непосредственно и явно это сделать трудно.

Поступим по-другому. Введем новые переменные ₁,...,_N (множители Лагранжа) и производящую функцию W:

В функции W аргументы y, b и - независимые переменные.

Уравнения (1) можно записать как

(3)

Заметим, что для тех y, b, которые удовлетворяют уравнениям (13), при любых

W(y,b,)H(y,b). (4)

Это означает, что для истинных значений переменных функционирования y при данных b функция W(y,b,) совпадает с исследуемой функцией H.

Попытаемся подобрать такую зависимость _i(b), чтобы, используя (4), получить для D_i=H₁(b)/b_i наиболее простые выражения . На многообразии решений (15)

Поэтому

(5)

Всюду различается функция H(y,b), где y и b - независимые переменные, и функция только от переменных b H(y(b),b), где y(b) определены из уравнений (13). Аналогичное различение принимается для функций W(y,b,) и W(y(b),b, (b)).

Произвол в определении (b) надо использовать наилучшим образом - все равно от него придется избавляться, доопределяя зависимости. Если выбрать такие , что слагаемые в первой сумме последней строки выражения (5) обратятся в нуль, то формула для D_i резко упростится. Положим поэтому

. (6)

Это - система уравнений для определения _k (k=1,...,N). Если определены согласно (6), то

Основную идею двойственного функционирования можно понять уже на простейшем примере. Рассмотрим вычисление производной сложной функции одного переменного. Пусть заданы функции одного переменного f₁(A) ,f₂(A) ,...,f_n(A) . Образуем из них сложную функцию

F(x)=f_n (f_n-1 (...(f₁ (x))...)). (1)

Можно представить вычисление F(x) как результат работы n автоматов, каждый из которых имеет один вход и выдает на выходе значение f_i (A), где A - входной сигнал (рис.8, а). Чтобы построить систему автоматов, вычисляющую F(x), надо дополнить исходные автоматы такими, которые вычисляют функции f_i(A), где A - входной сигнал (важно различать производную f_i по входному сигналу, то есть по аргументу функции f_i, и производную сложной функции f_i(A(x)) по x; f_i(A) ‑ производные по A).

Для вычисления F(x) потребуется еще цепочка из n-1 одинаковых автоматов, имеющих по два входа, по одному выходу и подающих на выход произведение входов. Тогда формулу производной сложной функции

можно реализовать с помощью сети автоматов, изображенной на рис. 8, б. Сначала по этой схеме вычисления идут слева направо: на входы f₁ и f₁' подаются значения x, после вычислений f₁(x) это число подается на входы f₂ и f₂' и т.д. В конце цепочки оказываются вычисленными все f_i (f_i-1 (...)) и f_i'(f_i-1 (...)).

Рис.8. Схематическое представление вычисления сложной

функции одного переменного и ее производных.

Можно представить вычисление любой сложной функции многих переменных, как движение по графу: в каждой его вершине производится вычисление простой функции (рис 9. а). Вычисление градиента представляется обратным движением (рис 9. б). Отсюда и термин: методы (алгоритмы) обратного распространения.

Рис. 9. Прохождение вершины в прямом (а) и обратном (б) направлении.

Предлагается рассматривать обучение нейронных сетей как задачу оптимизации. Это означает, что весь арсенал методов оптимизации может быть испытан для обучения.

Существует, однако, ряд специфических ограничений. Они связаны с огромной размерностью задачи обучения. Число параметров может достигать 10⁸ - и даже более. Уже в простейших программных имитаторах на персональных компьютерах подбирается 10³ - 10⁴ параметров.

Из-за высокой размерности возникает два требования к алгоритму:

Характеристики

Список файлов ВКР