neironne_seti_i_neirokompjuter (1085713), страница 14
Текст из файла (страница 14)
Обратим внимание, чтодля каждого города x, расположенного на i-й позиции, определяетсярасстояние distxy до его последователя y на позиции i+1 и егопредшественника y на позиции i–1.При такой энергетической функции необходимо определить весаwxi, yi, причем вес wxi, yi отражает силу соединения нейрона xi и нейрона yj.2.6. ART-сети2.6.1. ОпределениеСети ART (Adaptive Resonance Theory) образуют класс различныхнейронных сетей, предложенных Карпентером и Гроссбергом (Бостонскийуниверситет) в период 1987-1991 гг. [12].На практике данные, используемые для обучения или самообучениясети, часто нестабильны. Например, если на вход обычной нейронной сети спрямыми связями, обучаемую с помощью алгоритма с обратнымраспространением ошибки (Backpropagation), подать образ такого класса,который не был представлен в обучающей последовательности или вомножестве образов, подлежащих автоматической классификации иликластеризации (при самообучении сети, unsupervised learning).Здесь мы сталкиваемся с двумя противоречивыми требованиями илисвойствами нейронной сети.
С одной стороны очень важно, чтобы она быласпособна выявлять (обнаруживать) образы новых классов, ранее непредставленных сети. Это свойство пластичности. С другой же стороныизученные классы образов должны сохраняться – свойство устойчивостинейронных сетей. Эти два свойства – пластичности и стабильности визвестной мере противоречивы – дилемма пластичности-стабильности.
СетиART и были разработаны для разрешения этой дилеммы, а именно:76PDF created with pdfFactory trial version www.pdffactory.comустановление новых ассоциаций (классов) нейронной сетью без забываниястарых ассоциаций (классов). Семейство ART-сетей включает:§ ART-1: для бинарных входных векторов, когда признакираспознаваемых образов принимают два значения 1 или 0;§ ART-2: расширение ART-1-сетей на непрерывные входные векторы;§ ART-2a: оптимальная версия ART-2-сетей, отличающаяся повышеннойскоростью сходимости;§ ART-3: моделирование временных и химических процессов(биологических механизмов) на базе ART-2;§ ARTMAP: комбинация двух ART-сетей (например, ART-1 и ART-2);§ FuzzyART: гибридная сеть, объединяющая нечеткую логику (FuzzyLogik) и ART сети.2.6.2. Архитектура сети ART-1Принцип работы ART-сетей сравнительно прост. При вводе значенийпризнаков некоторого образа ART-1-сеть пытается сопоставить емунекоторый класс из числа уже изученных.
Если такой класс удается найти,то производится сравнительно небольшая модификацияпрототипа(стереотипа, типичного представителя) этого класса для того, чтобы онхорошо отображал и новый образ. Классификация образа на этомзаканчивается.Если же такой класс найти не удается, то образуется (вводится) новыйкласс. При этом предъявленный образ несколько модифицируется ииспользуется затем в качестве прототипа (стереотипа, типичногопредставителя) для нового класса. При этом уже изученные классы неизменяются.На рис. 2.13 показаны основные компоненты ART-1-сетей:§ слой сравнения (Comparison Layer);§ слой распознавания (Recognition Layer);§ весовые матрицы;§ коэффициенты усиления (ключи) и Reset.Обратим внимание, что обе весовые матрицы Wij и Wji отличаютсяобозначениями индексов: индекс i относится к элементу (входу) слоясравнения F1, а индекс j – к нейрону (классу) слоя распознавания F2.2.6.3.
Слой сравнения и слой распознаванияСлой сравнения (Comparison Layer) осуществляет сравнение выходаслоя распознавания с текущим входом (входным образом). Для этоговходной вектор I (Input) преобразуется сначала в вектор S, который затемпередается на весовую матрицу действительных чисел (Bottom-up Matrix).В начале расчета коэффициент усиления (Gain) g1 равен 1. На выходеслоя распознавания рассчитывается так называемый ожидаемый вектор Vили типичный представитель (прототип, стереотип) для класса образов, к77PDF created with pdfFactory trial version www.pdffactory.comкоторому отнесен вектор S. В процессе обучения (точнее самообучения) сетивектор S определяется на основе правила [12]:(2.69)ì1, если I i vi Ú I i g1 Ú vi g1 = 1,si = íî0, в противном случаеили:§ i-я компонента вектора S принимает значение 1, если, по крайней мере,две из трех следующих переменных приняли значение 1;§ коэффициент усиления g1 (для всех нейронов одинаков);§ i-я компонента Ii входного вектора I;§ i-я компонента vi ожидаемого вектора V (взвешенная сумма выходовслоя распознавания).Это правило кратко можно обозначить «2 из 3».Рис.
2.13. Основные компоненты ART-1-сетей78PDF created with pdfFactory trial version www.pdffactory.comПример 2.4. Функционирование слоев сравнения и распознаванияслучае, когда коэффициент усиления g1 равен нулювДано (g1=0):I=1010101010V=11100010001010001000Результат:S=Пример 2.5. Функционирование слоев сравнения и распознаванияслучае, когда коэффициент усиления g1 равен 1вДано (g1=1):I=1010101010V=11100010001110101010Результат:S=Определим вектор S при предъявлении сети первого образа, когдаожидаемый вектор нулевой: V = (0, 0, …, 0).Пример 2.6. Функционирование слоев сравнения и распознаванияслучае, когда ожидаемый вектор V нулевойвДано (g1=1):I=1010101010V=000000000079PDF created with pdfFactory trial version www.pdffactory.comРезультат:S=1010101010т.
е. вектор S на первом шаге обучения сети совпадает с входным вектором:S = I.На рис. 2.14 представлена часть ART-1-сети с четырьмя нейронами вслое сравнения и тремя нейронами в слое распознавания.Слой распознавания сопоставляет каждому входному векторусоответствующий класс. Если для входного вектора не удается найтидостаточно близкий класс из числа уже выявленных, то открывается(образуется) новый класс.Класс, представляемый j-м нейроном слоя распознавания и наиболееблизкий к входному вектору I или вектору S, определяется так:t j maxmüì= max k ít k = SWk = å s i w ik ýi =1þ ,î(2.70)где SWk – скалярное произведение векторов S и Wk.
При этом сработаетнейрон j слоя распознавания, действительный весовой векторWj = (w1j, w2j,…, wmj)которого имеет наибольшее сходство с вектором S. Компоненты вектора Uна выходе слоя распознавания определяются при этом так:ì1, если _ t j = SW j = maxuj = íî0, в _ противном _ случае ,(2.71)т.е. uj = 1, если скалярное произведение весового вектораWj=(w1j, w2j, …, wmj) и вектора S=(s1, s2, …, sm) максимально.2.6.4. Весовые матрицы и коэффициенты усиленияВ ART-1-сетях используются две весовые матрицы:§ действительная матрица Wij (Bottom-up Matrix) служит для расчетастепени сходства в фазе распознавания;§ бинарная матрица Wji (Top-down Matrix) предназначена дляперепроверки степени корректности классификации входного образа спомощью матрицы Wij (Bottom-up Matrix).80PDF created with pdfFactory trial version www.pdffactory.comРис.
2.14. Фрагмент ART-1-сети с четырьмя нейронамив слое сравнения и тремя нейронами в слое распознаванияВ ART-1-сетях используются два коэффициента усиления (Gain) g1 иg2. Строго они не выполняют функции усиления, а используются лишь вкачестве ключей для синхронизации работы нейронной сети.g1 принимает значение 1, если по меньшей мере одна составляющаявхода I имеет значение 1 и одновременно ни один нейрон слояраспознавания не находится в состоянии 1:81PDF created with pdfFactory trial version www.pdffactory.comg 1 = ( I 1 Ú I 2 Ú ...
Ú I m ) Ù Ø(u1 Ú u 2 Ú ... Ú u m ) .(2.72)g2 реализует логическое «ИЛИ» для входного вектора; g2=1, если, поменьшей мере, одна составляющая входного вектора равна 1:g 2 = ( I 1 Ú I 2 Ú ... Ú I m ) .(2.73)Для актуального нейрона («победителя») слоя распознавания resetсоставляющая равна 1 (то есть функция Reset активируется), если различиевходного вектора I и вектора S превышает некоторый порог (параметртолерантности).2.6.5. Принцип работыВ ART-1-сетях различают следующие пять фаз внутренней обработкиинформации.1.
Инициализация сети: в начале инициализируются обе весовыематрицы (Bottom-up Matrix и Top-down Matrix), а также параметртолерантности.2. Распознавание (Recognition): на этой фазе для входного вектора I илидля вектора S, определенного на основе вектора I, определяетсянаиболее близкий класс.3. Сравнение (Comparison): ожидаемый вектор V сравнивается совходным вектором I или вектором S. При слишком малом совпадениивекторов V и S осуществляется повторное распознавание.4. Поиск (Search): производится поиск альтернативного класса или жепри необходимости открывается новый класс.5. Адаптация весов (Training): на этой стадии осуществляетсямодификация обеих весовых матриц.Рассмотрим приведенные фазы более подробно.Инициализация. Пусть i = 1, 2, …, m – индекс нейронов слоясравнения, а j = 1, 2, …, n – индекс нейронов слоя распознавания.
Веса wijматрицы W (Bottom-up Matrix) сначала устанавливаются небольшими всоответствии с неравенствомwij <LL -1+ m(2.74)для всех нейронов i слоя сравнения и нейронов j слоя распознавания, где m –число составляющих входного вектора I, L – постоянная (L > 1, типичноезначение L=2). При выборе весов wij слишком большими все входныевектора отображаются на один нейрон слоя распознавания.82PDF created with pdfFactory trial version www.pdffactory.comВсе веса бинарной матрицы (Top-down matrix) W вначалеустанавливаются единицами: wji=1 для всех j слоя распознавания и слоясравнения.Параметр толерантности (сходства, Vigilance) p выбирается между 0 и1 ( p Î [0;1] ) – в зависимости от желаемой степени совпадения.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
