Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 24
Текст из файла (страница 24)
(1с) = 0 согласно (4.396) обучение не происходит, т.е. и,. (/с+1) = и',. (1с). При у,. (й) = 1 алгоритм естественно приобретает вид (4,397) и (Ус + 1) = и . (/с) + т)(х(й) — и . (1с)) = (1 — х)) и . (й) + пхЯ), 147 т.е. вектор синаптических весов «подтягивается» ко входному образу на расстояние пропорциональное параметру шага т). Чем больше и, тем ближе и,.(1с+1) к х(1с) и при п=1 совпадает с ним.
Обычно в реальных задачах используется переменное значение т)(1с), определяемое в соответствии с условиями Дворецкого [1151. Можно также отметить, что в целях вычислительных удобств, вместо вектора х(й) чаще используют его нормированный аналог х(Й) !)х(Й))! (4.398) х,,мд Рис. 4.26 — Обучение входной звезды 4.7.3 Выходная звезда у,(/с) Угй) х(7с) у„, с7с) Рис. 4.27 — Выходная звезда Этот нейрон имеет скалярный вход и векторный выход и осуществляет преобразование 148 Своеобразным антиподом входной звезды является выходная звезда (ОиМаг), предназначенная для решения задач восстановления образов, схема которой приведена на рис.
4.27, 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ (4,399) У,. =У(илх), У' =1,2,...,т с функцией активации и, если — 1<иу <1, (4.400) ~Ус(и,) = 1, если 1<и,, — 1, если иу < — 1. Правило самообучения выходной звезды имеет вид (4.401) ьУ (Ус+ 1) = и'л(Ус)+тУ у,(Ус)х,(Ус) — йх,.
(Ус)и,,(Ус), анри п=а— (4.402) и л И + 1) = ~~~; (Ус ) + тУ х; Ю( у (Ус ) и'; И )) т.е. настройка синаптических весов происходит только в случае х,(й) Ф О. Здесь, как видно, в процессе самообучения синаптические веса «подтягиваются» к выходному вектору у(й) . В векторной форме правило самообучения имеет вид (4.403) и,(Ус+1) = и,.(Ус)+хУх,(Ус)(у(й) — и,(Ус)), где и,. (Ус) — У-тый столбец матрицы коэффициентов И'(Ус+1) (4.377).
4.7.4 Потенциальное правило обучения Амари ЕУ(Й) = — ()и,.)( — ь|l(и,, х(У)) (4,404) в качестве уровня активности используется конструкция (4.405) 149 Потенциальное правило обучения С. Амари 12371 по структуре достаточно близко к хэббовскому обучению и связано с минимизацией энергетической функции вида (4.383), основанной на так называемом внутреннем потенциале, определяющем уровень активности нейрона. Для энергетической функции приводящая к алгоритму минимизации в непрерывном времени (4.40б) где (4.407) Тогда несложно записать правило обучения (4.408) в непрерывном времени и (4.409) (4.410) в дискретном. На рис. 4.28 приведена схема самообучения с помощью правила Амари.
х,(Й х,(А У,Ж) Рис. 4.28 — Правило обучения Амари 150 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ 4.7.5 Правило обучения Оя Правило обучения, введенное 3. Оя [238, 239~, тесно связано с алгоритмами Хэбба и Амари и порождается минимизацией энергетической функции е,(~) =+(~)(, (4.411) где е,. (г) = х(г) — х,. (~) (4.412) — ошибка между входным сигналом х(~) и его оценкой х, (~) . Данное правило предназначено для обучения линейного ассоциатора т у =и =и~ х (4.413) при этом искомая оценка х,.
определяется выражением х =и' (4.414) Преобразуя (4.411) с учетом (4,414), получаем 2 Е,Я= — !)х — и',.у,.!) = — (х х — 2и'~ху, +и~и,.у,'.), (4.415) откуда следует 7„Е,.(~) =-ху,. + и,.у,. (4.416) ' = п(у х, — и, у . ) = и у (х, — и, у,.). ~Й (4.417) В дискретном времени алгоритм Оя имеет вид (4.418) и' " Ж + 1) и сЖ) +ЧЯ)У'Ж)(х~ Ж) ахи) У 'Ж)) и) Я+ ) = и'~(х)~т1ЮУ;(")ФИ и'зЖ)У~Ж)).
(4.419) 151 Наиболее широкое распространение данное правило получило для решения задач факторного анализа [240, 24Ц, когда из массивов эмпирических данных в реальном времени требуется выделять главные компоненты. х,.(»с) = х,.1®) — х,.(Й), х,.(/с) = — ~х(р), » /с 14.420) х,(Ус) — = О алгоритм выделения первой компоненты имеет вид < ,(»с+1) =»с,®+х?(1с)у,(й)(х®) — »»',Ж)у,(»с)), у,(Ус) = »с,' (Ус)х(й), и~,(0) ~ О, (4.421) обеспечивающий минимум критерию Е» = — ~~ (и ~ хор))~.
г4.422) х, (А-) Рис. 4.29 — Нейрон Оя 152 Для нахождения первой главной компоненты Оя предложил структуру, приведенную на рис. 4.29, в основе которой лежит адаптивный линейный ассоциатор и алгоритм самообучения (4.419). Для предварительно центрированных данных 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ цИ) = г (7с), т'Я) =схгЯ вЂ” 1)+)(х(lс)((, 0<сх < 1, (4.423) где а — параметр забывания, обеспечивающий компромисс между следящими и фильтрующими свойствами алгоритма (4.421). Можно показать также, что правило Оя обеспечивает нормирование вектора синаптических весов ~~и,(к)1 = 1, вектор и;(1с) является собственным вектором корреляционной матрицы входов, а выходной сигнал нейрона у,(1с) характеризуется максимально возможной дисперсией, т.е.
содержит максимум информации о входном сигнале х(1с) . Работа алгоритма (4.421) иллюстрируется рис. 4ЗО. Рис. 4.30 — Множество векторов и первая главная компонента 4.7.6 Нейроны для предварительной обработки информации В задачах обработки экспериментальных данных достаточно часто приходится вычислять основные выборочные статистические характеристики такие, как среднее, дисперсия, экстремальные значения в выборках. Для решения этих задач целесообразно ввести элементарные нейроноподобные структуры, позволяющие вычислять искомые характеристики в реальном времени без накопления последовательно поступающих данных.
Так вычисление среднего (4.424) 153 В [2421 была доказана сходимость алгоритма (4.421) в предположении, что шаг поиска г1(А) выбирается удовлетворяющим условиям Дворецкого. В частности целесообразно выбирать этот параметр в соответствии с выражением ~243, 244~ можно осуществлять с помощью рекуррентного соотношения х(7с+1) =х(Ус)+ (х(/с+1) — х(7с)), 1 1с+1 (4.425) схемная реализация которого приведена на рис. 4.31. х(1+1) х(/с+1) Рис.
4.31 — Нейрон для вычисления среднего Для расчета выборочной дисперсии (4.426) можно воспользоваться формулой о'(1с+1) = ст'(/с)+ ((х(/с+1) — х(/с+1))' — ст'(1с)) /с+1 (4.427) реализуемой схемой, приведенной на рис. 4.32. о,'(1с+1) х(1с+ 1) х()с+ 1) с снах(х,,х,1= х, — 0.5(1 — ямал(х, — х,))(х, — х,), ш1п(х,,х,) =х, — 05(1+яуп(х, — х,))(х, — х,) (4.428) и нейроноподобную структуру, показанную рис. 4.33. 154 Рис.
432 — Нейрон для вычисления дисперсии Сравнение двух чисел х, и х, можно проводить, используя выражения 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ шах(х,,ха) пп'п(х,,х, ) Рис. 4.33 — Нейрон для сравнения двух чисел При последовательной обработке временных рядов достаточно часто приходится определять их экстремальные значения, для чего можно воспользоваться модификацией (4.428) в виде х (Ус+1) = тах(х(/с+1),х (7с)) = х(1+1) — 0.5(1 — ядп(х(1+1) — х (/с))). (4 429) х,.
()с+1) = пил(х(1+1),х. ()с)1 = х(/с+ 1) — 0 5(1+ х(дп(х()с+1) — х,(й))). (х(А. + 1) — х,(1с)) и схемой, приведенной на рис 4.34. х (7с+1) х((с+ 1) х. ()с+ 1) Рис. 4,34 — Нейрон для выделения экстремальных значений временного ряда 155 Не представляет особого труда синтезировать подобные структуры для вычисления и других характеристик анализируемых сигналов. 4.7.7 Самоорганизация центров радиально-базисных нейронных сетей Р,.(М) =()х(1с) — с,.(1с)(), с'=1,2,...,Ь; (4.430) ) отыскивается центр с,(й) ближайший к текущему вектору х(й) такой, что Р,Я) = пнп Цх(й) — с,(lс)!),...,((х1й) — с„(1с)(1; (4,431) ) производится настройка центров согласно правилу с с,. (й + 1) = с,.
(/с) „1 < 1 < Ь, с,(1с+1) = с,(Й)+з1,(1с)(х(1с) — с,(Й)); (4.432) 156 В подразделе 4.4 был рассмотрен алгоритм обучения с учителем 14.230), позволяющий настраивать все параметры радиально-базисных ИНС. На практике обычно используются лишь алгоритмы настройки синаптических весов, линейно входящих в оператор преобразования, осуществляемого сетью, что позволяет применять оптимальные по быстродействию рекуррентные алгоритмы адаптивной идентификации. Для настройки же параметров центров обычно используется процедура их самоорганизации, в основе которой лежат алгоритмы кластеризации, разбивающие все множество входных данных на группы однородные в некотором смысле.
Наиболее широкое распространение получила процедура кластеризации известная как «алгоритм й -средних» 19, 271, идея которой состоит в том, чтобы размещать центры в местах, где входные данные сконцентрированы наиболее плотно, т.е. образуют своего рода кластеры. Алгоритм находит множество центров этих кластеров, связывая каждый центр с одним из Ь узлов сети. В процессе самоорганизации данные разбиваются таким образом, чтобы все точки обучающей выборки принадлежали кластеру с ближайшим к текущему наблюдению центром. Начальные положения центров с, (О), ~' = 1,2,..., Ь обычно задаются случайным образом, а их перенастройка-самоорганизация происходит по мере поступления обучающей выборки. Работа алгоритма й-средних при этом происходит следующим образом: пусть в Й-й момент времени имеется Ь центров с,(Й) и входной вектор х11с)' вычисляются расстояния между каждым центром и входным вектором 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ производится настройка параметра шага, например, с помощью соотношения [9Ц п,.(1+1) = г), (й) 1+1п1 ---- где пй( ° ) — целая часть числа.
Далее производится настройка синаптических весов всех узлов сети с помощью любого из алгоритмов, рассмотренных в подразделе 4.3. Именно сочетание самоорганизации центров и обучение с учителем синаптических весов обеспечивает высокую эффективность радиально-базисных нейронных сетей [9, 27, 91, 236~. 4.7.8 Конкурентное обучение Особым видом самообучения является так называемое конкурентное обучение, когда все нейроны сети «соревнуются» между собой за право быть активным, реализуя принцип «победитель получает все» (ж1ппег 1айез аП), ведущий к тому, что в сети может активироваться только один нейрон, Именно эта особенность конкурентного обучения обеспечила ему широкое использование в задачах классификации и кластеризации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
