62276 (Волновая резонансная теория), страница 3

Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обучающий вектор, он может изменить веса настолько, что потребуется полное переобучение сети.

Итак, основной целью данной работы является создание нейронной сети, являющейся одним из способов решения проблемы стабильности-пластичности.

Одним из результатов исследования этой проблемы является Адаптивная резонансная теория (APT) Гроссберга.

1. 2.2 Постановка задачи

2. 1. 2.2.1 Неформальная постановка задачи

Создание нейронной сети, которая:

• распознает входной сигнал, если была ему ранее обучена;

• в случае не распознавания входного сигнала, запоминает его;

• совершает эти действия с учетом проблемы стабильности-пластичности. Т.е. при подаче на вход сигнала схожего с одним из запомненных ранее, классифицирует его, как узнанный. Если входной сигнал сильно отличается от запомненных ранее, не уничтожая результаты предыдущего обучения, запоминает его.

Программную реализацию осуществить в среде Matlab.

1. 2.2.2 Формальная постановка задачи

Введем обозначения:

X – множество входных векторов

X – входной вектор

X = (x₁,..,x_r )

A_i – нейронный ансамбль

a_ij – j-й нейрон в i-ом ансамбле

M – множество обученных ансамблей нейронов

B – множество порогов

B – вектор порогов, соответствующий одному нейронному ансамблю

B_i = [b₁,..b_r]

b_i – порог одного нейрона

n – номер первого необученного ансамбля

I_i – выходной импульс i-го нейронного ансамбля

I = {0;1}

I_i = 1 , когда входной сигнал соответствует запомненному в i-м ансамбле образу, или обучен ему

c – командная переменная

c = {0;1}

T – время полного цикла, Т = Т₁ + Т₂

T₁ – время процесса распознавания

T₂ – время процесса обучения

Постановка задачи:

Создать нейронную сеть удовлетворяющую теореме:

T: X :

1. 2.3 Волновая Резонансная Теория

2. 1. 2.3.1 Описание ВPT

Сеть ВPT - это классификатор кривых. В качестве которых могут выступать звуковые кривые (кривые зависимости интенсивности от времени, спектр звука), синусоиды, и т.д.

Входной вектор является аппроксимацией классифицируемой кривой. Один из способов его получения – это дискретизация величины интенсивности по времени. Он классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть ВPT выражает в форме генерации единичного импульса одним из ансамблей распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если входной вектор мало отличается от какого-либо из ранее запомненных, то произойдет его распознавание, если хотя бы одна компонента входного вектора сильно (не допустимо) отличается от запомненного образа, то узнавания не произойдет. Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.

1. 2.3.2 Основные определения и Леммы

Опр1: n – номер 1-го необученного нейрона,

n₁ = 1;

при t = T₁

Опр2: c – командная переменная,

при t = T₁

Опр3: i-й ансамбль обучен :

X

Лемма 1 (об обучении):

Лемма 2 (о командном блоке): Пусть I_i = 1 (при t = T₁), => c = 0,

1. 2.3.3 Теорема о стабильности

Теорема (о стабильности): X :

1. 2.3.4 Доказательство

1. Существование:

X₁ : B₁ = X₁ => I₁ = 1 (из Леммы об обучении)

Ч.т.д.

1. Единственность:

От противного

Предположим

Из (1) по Л2 следует, что т.к. I_k = 1 , т.е. пункт (2) не возможен

Ч.т.д.

2.3.5 Архитектура ВPT

На рис. 8 показана схема сети ВPT, представленная в виде четырех функциональных модулей. Она включает Блок Управления, N фильтров, N ансамблей нейронов и Командный Модуль. Блок Управления и Командный Модуль обеспечивают управляющие функции, необходимые для обучения и классификации.

Рис. 8. Схема ВРТ

1. 2.3.6 Принцип работы

Блок управления (БУ) получает на вход вектор x и пропускает его в параллельно во все ансамбли. Вместе с сигналом БУ пропускает номер первого необученного ансамбля n, который при инициализации сети равен 1; и командную переменную c. В случае, если сигнал проходит впервые, т.е. идет его распознавание, командная переменная равна 0.

Перед каждым нейронным ансамблем установлен фильтр. Его функция заключается в том, чтобы не пропускать сигнал в еще не обученный ансамбль. Эта функция реализуется благодаря переменной n. В том случае, если n превышает номер ансамбля, сигнал пропускается и командная переменная обнуляется. В случае, если n равна номеру ансамбля, командная переменная проходит без изменений и входной сигнал пропускается. Если же n меньше номера ансамбля, не пропускается ни входной вектор, ни командная переменная.

В нейронном ансамбле проверяется величина командной переменной. Если она нулевая, то в каждом отдельном нейроне идет сравнение величины элемента входного вектора с ранее запомненной. Если же c=1, то происходит запоминание.

В процессе сравнения, как описывалось ранее, каждый элемент входного вектора проверяется на совпадение с ранее запомненным. Т.е. образ распознается только в случае резонанса входного и сигнала, которому был обучен ансамбль (рис.8).

Рис.9. Не резонанс.

После процесса сравнения мы получаем сигналы со всех ансамблей. В случае успешного распознавания или обучения, сигнал будет равен единице, в другом случае – нулю. В контрольном блоке идет проверка сигналов со всех ансамблей. Если с одного из них пришел положительный ответ, посылается сигнал об окончании процесса, если ответ нулевой, посылается команда о переходе к обучению.

Блок БУ при получении из контрольного блока команды об обучении, увеличивает номер n на единицу, устанавливает командную переменную в единицу и посылает повторный сигнал. В случае прихода с контрольного блока сигнала об успешном распознавании или обучении, процесс останавливается.

Одной из главных задач при создании нейронной сети является выбор модели нейрона, наиболее подходящей для решаемой сетью задачи. Для этого рассмотрим несколько наиболее известных из разработанных моделей.

1. 2.4 Адаптивная резонансная теория

Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов, в то же время предотвращая изменение ранее запомненных образов. Эта способность стимулировала большой интерес к APT, но многие исследователи нашли теорию трудной для понимания. Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания. Мы сконцентрируемся далее на общем описании APT; математически более подготовленные читатели смогут найти изобилие теории в литературе, список которой приведен в конце главы. Нашей целью является обеспечение достаточно конкретной информацией, чтобы читатель мог понять основные идеи и возможности, а также провести компьютерное моделирование с целью исследования характеристик этого важного вида сетей.

2. 2.4.1 АРХИТЕКТУРА APT

Адаптивная резонансная теория включает две парадигмы, каждая из которых определяется формой входных данных и способом их обработки. АРТ-1 разработана для обработки двоичных входных векторов, в то время как АРТ-2, более позднее обобщение АРТ-1, может классифицировать как двоичные, так и непрерывные векторы. В данной работе рассматривается только АРТ-1. Читателя, интересующегося АРТ-2, можно отослать к работе [3] для полного изучения этого важного направления. Для краткости АРТ-1 в дальнейшем будем обозначать как APT.

2. 2.4.2 Описание APT

Сеть APT представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выражает в форме возбуждения одного из нейронов распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор.

Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.

2. 2.4.3 Упрощенная архитектура APT

На рис. 9 показана упрощенная конфигурация сети APT, представленная в виде пяти функциональных модулей. Она включает два слоя нейронов, так называемых «слой сравнения» и «слой распознавания». Приемник 1, Приемник 2 и Сброс обеспечивают управляющие функции, необходимые для обучения и классификации.

Перед рассмотрением вопросов функционирования сети в целом необходимо рассмотреть отдельно функции модулей; далее обсуждаются функции каждого из них.

Слой сравнения. Слой сравнения получает двоичный входной вектор Х и первоначально пропускает его неизмененным для формирования выходного вектора C. На более поздней фазе в распознающем слое вырабатывается двоичный вектор R, модифицирующий вектор C, как описано ниже.

Каждый нейрон в слое сравнения (рис. 10) получает три двоичных входа (0 или I): (1) компонента х_i входного вектора X; (2) сигнал обратной связи R_i – взвешенная сумма выходов распознающего слоя; (3) вход от Приемника 1 (один и тот же сигнал подается на все нейроны этого слоя).

Рис. 9. Упрощенная сеть АРТ

Рис. 10. Упрощенный слой сравнения

Чтобы получить на выходе нейрона единичное значение, как минимум два из трех его входов должны равняться единице; в противном случае его выход будет нулевым. Таким образом реализуется правило двух третей, описанное в [З]. Первоначально выходной сигнал G1 Приемника 1 установлен в единицу, обеспечивая один из необходимых для возбуждения нейронов входов, а все компоненты вектора R установлены в 0; следовательно, в этот момент вектор C идентичен двоичному входному вектору X.