62276 (Волновая резонансная теория), страница 4

Слой распознавания. Слой распознавания осуществляет классификацию входных векторов. Каждый нейрон в слое распознавания имеет соответствующий вектор весов B_j Только один нейрон с весовым вектором, наиболее соответствующим входному вектору, возбуждается; все остальные нейроны заторможены.

Как показано на рис. 11, нейрон в распознающем •слое имеет, максимальную реакцию, если вектор C, являющийся выходом слоя сравнения, соответствует набору его весов, следовательно, веса представляют запомненный образ или экземпляр для категории входных векторов. Эти веса являются действительными числами, а не двоичными величинами. Двоичная версия этого образа также запоминается в соответствующем наборе весов слоя сравнения (рис. 10); этот набор состоит из весов связей, соединяющих определенные нейроны слоя распознавания, один вес на каждый нейрон слоя сравнения.

В процессе функционирования каждый нейрон слоя распознавания вычисляет свертку вектора собственных весов и входного вектора C. Нейрон, имеющий веса, наиболее близкие вектору C, будет иметь самый большой выход, тем самым выигрывая соревнование и одновременно затормаживая все остальные нейроны в слое.

Как показано на рис. 12, нейроны внутри слоя распознавания взаимно соединены в латерально-тормозящую сеть. В простейшем случае (единственном, рассмотренном в данной работе) предусматривается, что только один нейрон в слое возбуждается в каждый момент времени (т. е. только нейрон с наивысшим уровнем активации будет иметь единичный выход; все остальные нейроны будут иметь нулевой выход). Эта конкуренция реализуется введением связей с отрицательными весами l_ij с выхода каждого нейрона r_i на входы остальных нейронов. Таким образом, если нейрон имеет большой выход, он тормозит все остальные нейроны в слое. Кроме того, каждый нейрон имеет связь с положительным весом со своего выхода на свой собственный вход. Если нейрон имеет единичный выходной уровень, эта обратная связь стремится усилить и поддержать его.

Рис. 11. Упрощенный слой распознавания

Приемник 2. G2, выход Приемника 2, равен единице, если входной вектор X имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим ИЛИ от компонента вектора X.

Приемник 1. Как и сигнал G2, выходной сигнал G1 Приемника 1 равен 1, если хотя бы одна компонента двоичного входного вектора X равна единице; однако если хотя бы одна компонента вектора R равна единице, G1 устанавливается в нуль. Таблица, определяющая эти соотношения:

Рис. 12. Слой распознавания с латеральным торможением

Сброс. Модуль сброса измеряет сходство между векторами X и C. Если они отличаются сильнее, чем требует параметр сходства, вырабатывается сигнал сброса возбужденного нейрона в слое распознавания.

В процессе функционирования модуль сброса вычисляет сходство как отношение количества единиц в векторе C к их количеству в векторе C. Если это отношение ниже значения параметра сходства, вырабатывается сигнал сброса.

1. 2.4.4 Функционирование сети APT в процессе классификации

Процесс классификации в APT состоит из трех основных фаз: распознавание, сравнение и поиск.

Фаза распознавания. В начальный момент времени входной вектор отсутствует на входе сети; следовательно, все компоненты входного вектора X можно рассматривать как нулевые. Тем самым сигнал G2 устанавливается в 0 и, следовательно, в нуль устанавливаются выходы всех нейронов слоя распознавания. Поскольку все нейроны слоя распознавания начинают работу в одинаковом состоянии, они имеют равные шансы выиграть в последующей конкуренции.

Затем на вход сети подается входной вектор X, который должен быть классифицирован. Этот вектор должен иметь одну или более компонент, отличных от нуля, в результате чего и G1, и G2 становятся равными единице. Это «подкачивает» нейроны слоя сравнения, обеспечивая один из двух единичных входов, необходимых для возбуждения нейронов в соответствии с правилом двух третей, тем самым позволяя нейрону возбуждаться, если соответствующая компонента входного вектора X равна единице. Таким образом, в течение данной фазы вектор S в точности дублирует вектор X.

Далее для каждого нейрона в слое распознавания вычисляется свертка вектора его весов Вj и вектора C (рис. 11). Нейрон с максимальным значением свертки имеет веса, наилучшим образом соответствующие входному вектору. Он выигрывает конкуренцию и возбуждается, одновременно затормаживая все остальные нейроны этого слоя. Таким образом, единственная компонента r_j вектора R (рис. 10) становится равной единице, а все остальные компоненты становятся равными нулю.

В результате, сеть APT запоминает образы в весах нейронов слоя распознавания, один нейрон для каждой категории классификации. Нейрон слоя распознавания, веса которого наилучшим образом соответствуют входному вектору, возбуждается, его выход устанавливается в единичное значение, а выходы остальных нейронов этого слоя устанавливаются в нуль.

Фаза сравнения. Единственный возбужденный в слое распознавания нейрон возвращает единицу обратно в слой сравнения в виде своего выходного сигнала r_j. Эта единственная единица может быть визуально представлена в виде «веерного» выхода, подающегося через отдельную связь с весом t_ij на каждый нейрон в слое сравнения, обеспечивая каждый нейрон сигналом р_j, равным величинеt_ij (нулю или единице) (рис. 13).

Рис. 13. Путь сигнала отдельного возбужденного нейрона в слое распознавания

Алгоритмы инициализации и обучения построены таким образом, что каждый весовой вектор Т_j имеет двоичные значения весов; кроме того, каждый весовой вектор В_j представляет собой масштабированную версию соответствующего вектора Т_j. Это означает, что все компоненты P (вектора возбуждения слоя сравнения) также являются двоичными величинами.

Так как вектор R не является больше нулевым, сигнал G1 устанавливается в нуль. Таким образом, в соответствии с правилом двух третей, возбудиться могут только нейроны, получающие на входе одновременно единицы от входного вектора X и вектора P.

Другими словами, обратная связь от распознающего слоя действует таким образом, чтобы установить компоненты C в нуль в случае, если входной вектор не соответствует входному образу, т. е. если X и P не имеют совпадающих компонент.

Если имеются существенные различия между X и P (малое количество совпадающих компонент векторов), несколько нейронов на фазе сравнения будут возбуждаться и C будет содержать много нулей, . в то время как X содержит единицы. Это означает, что возвращенный вектор P не является искомым и возбужденные нейроны в слое распознавания должны быть заторможены. Это торможение производится блоком сброса (рис. 9), который сравнивает входной вектор X и вектор C и вырабатывает сигнал сброса, если степень сходства этих векторов меньше некоторого уровня. Влияние сигнала сброса заключается в установке выхода возбужденного нейрона в нуль, отключая его на время текущей классификации.

Фаза поиска. Если не выработан сигнал сброса, сходство является адекватным, и процесс классификации завершается. В противном случае другие запомненные образы должны быть исследованы с целью поиска лучшего соответствия. При этом торможение возбужденного нейрона в распознающем слое приводит к установке всех компонент вектора R в 0, G1 устанавливается в 1 и входной вектор X опять прикладывается в качестве C. В результате другой нейрон выигрывает соревнование в слое распознавания и другой запомненный образ P возвращается в слой сравнения. Если P не соответствует X, возбужденный нейрон в слое распознавания снова тормозится. Этот процесс повторяется до тех пор, пока не встретится одно из двух событий:

1. Найден запомненный образ, сходство которого с вектором X выше уровня параметра сходства, т. е. S>. Если это происходит, проводится обучающий цикл, в процессе которого модифицируются веса векторов T_j и B_j, связанных с возбужденным нейроном в слое распознавания.

2. Все запомненные образы проверены, определено, что они не соответствуют входному вектору, и все нейроны слоя распознавания заторможены. В этом случае предварительно не распределенный нейрон в распознающем слое выделяется этому образу и его весовые векторы B_j и T_j устанавливаются соответствующими новому входному образу.

Проблема производительности. Описанная сеть должна производить последовательный поиск среди всех запомненных образов. В аналоговых реализациях это будет происходить очень быстро; однако при моделировании на обычных цифровых компьютерах этот процесс может оказаться очень длительным. Если же сеть APT реализуется на параллельных процессорах, все свертки на распознающем уровне могут вычисляться одновременно. В этом случае поиск может быть очень быстрым.

Время, необходимое для стабилизации сети с латеральным торможением, может быть длительным при моделировании на последовательных цифровых компьютерах. Чтобы выбрать победителя в процессе латерального торможения, все нейроны в слое должны быть вовлечены в одновременные вычисления и передачу. Это может потребовать проведения большого объема вычислений перед достижением сходимости. Латеральные тормозящие сети, аналогичные используемым в неокогнитронах, могут существенно сократить это время.

2. 2.4.5 Теоремы APT

Наиболее важные теоремы, показывающие характеристики сетей APT:

1. После стабилизации процесса обучения предъявление одного из обучающих векторов (или вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска. Эта характеристика «прямого доступа» определяет быстрый доступ к предварительно изученным образам.

2. Процесс поиска является устойчивым. После определения выигравшего нейрона в сети не будет возбуждений других нейронов в результате изменения векторов выхода слоя сравнения С; только сигнал сброса может вызвать такие изменения.

3. Процесс обучения является устойчивым. Обучение не будет вызывать переключения с одного возбужденного нейрона слоя распознавания на другой.

4. Процесс обучения конечен. Любая последовательность произвольных входных векторов будет производить стабильный набор весов после конечного количества обучающих серий; повторяющиеся последовательности обучающих векторов не будут приводить к циклическому изменению весов.

1. 2.5 Выбор модели нейрона.

Рис. 14. (а) Схематическое изображение нейрона: 1 – тело клетки (сома), 2 – мембрана, 3 – дендриты, 4 – аксон, 5 – синаптическое окончание, (б) Ионные каналы в мембране нейрона: К, Na, Са – ионы калия, натрия, кальция, (в) Эквивалентная электрическая схема мембраны нейрона: G_Na, G_K, G_Ca,…— нелинейные ионные проводимости; R_m – сопротивление утечки; С_т – емкость мембраны; E_Na, E_K,…–равновесные потенциалы для соответствующих токов.

На рис. 14 схематически изображены нервная клетка и клеточная мембрана. Для построения адекватной динамической модели нейрона принципиально, что окружающая его мембрана нередко представляет собой эквипотенциальную поверхность. Поэтому, несмотря на вполне макроскопические размеры нейрона, при анализе его электрической активности (частота 4-60 Гц) нервную клетку можно рассматривать как сосредоточенную в пространстве систему. Другими словами, переменные, описывающие состояние нейрона (мембранный потенциал, концентрацию тех или иных ионов и т.д.), можно рассматривать как функции только времени. Другой важный вопрос связан со способом описания активности нейронов. Поскольку состояние нейрона определяется неравновесной диффузией различных заряженных ионов, для моделирования его активности, вообще говоря, следует использовать кинетическое описание. Однако, когда мы интересуемся нейроном как генератором низкочастотных электрических пульсаций, такое описание, очевидно, избыточно. Для построения соответствующей теории вполне достаточно уравнений для средних по времени t₀ << Т (Т — характерный период электрической активности нейрона) динамических переменных: мембранного потенциала и макроскопических ионных токов. При этом нейрон можно рассматривать как нелинейную электрическую цепь из RC-элементов. Источником энергии для работы этой диссипативной системы служат биохимические процессы, связанные со взаимодействием внутриклеточной и межклеточной сред.