Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 14
Текст из файла (страница 14)
В случае рассматриваемого ниже быстрого обучения входной вектор устанавливается на входе сети на достаточно длительный интервал времени, что позволяет весовым коэффициентам ии приблизиться к своим окончательным значениям. Процесс быстрого обучения описывается алгебраическими уравнениями. Другим отличием быстрого обучения от медленного является то, что компоненты весовых коэффициентов Ук принимают бинарные значения, в отличие от непрерывного диапазона значений.
В ходе обучения входные векторы последовательно подаются на входы сети, и весовые векторы Иг„изменяются таким образом, чтобы сходные векторы активизировали соответствующие нейроны слоя распознавания. Веса вычисляются по следующему правилу; Ну, и'и = Н вЂ” 1+ ~у где у; — рй компонент вектора У; к — номер возбудившегося нейрона в слое распознавания. Компоненты вектора весов У„, связанные с новым запоминаемым образом, изменяются таким образом, что И„= у; для всех г Распознавание. В исходном положении на выходе схемы ИЛИ 2 установлен уровень нуля, обнуляющий выходы всех нейронов распознающего слоя.
Затем на вход сети подается ненулевой вектор Х, устанавливающий уровень единицы на выходе схемы ИЛИ 2. Таким образом, обеспечивается прохождение входного вектора Х на выходы нейронов слоя сравнения беэ изменений, т. е. У = Х. Далее для каждого к-го нейрона слоя распознавания вычисляется свертка его весового вектора уУ„с вектором У. Выход нейРона с максимальным значением свертки, т. е.
наиболее «близкого» к входному вектору, переходит в активное (единичное) состоя- ние, т е, <резонируетгн тормозя остальные нейроны этого слоя, которые установятся в нуль. Сравнение. Единица с выхода к-го возбужденного нейрона распознающего слоя подается на каждый рй нейрон в слое сравнения со своим весом, устанавливая на входах г, нейронов слоя сравнения уровень либо нуля, либо единицы. Обратная связь от ненулевого вектора й устанавливает выход схемы ИЛИ 1 в нуль. И теперь в слое сравнения могут возбудиться лишь те нейроны, на входах которых соответствующие компоненты х,и г,одновременно равны единице Другими словами, целью обратной связи от нейронов слоя распознавания является установка компонентов выходного вектора У в нуль в случае, если входной вектор Х не соответствует хранимому образу, т, е если векторы Х и 2 не имеют совпадающих компонентов.
Процедура определения сходства, осуществляемая схемой определения сходства векторов, заключается в определении отношения (Я) числа единиц в векторах У и Х, где вектор У на этапе распознавания представляет собой логическое произведение входного вектора Х и вектора к', который равен весовому вектору ИГ< выигравшего нейрона При существенном отличии векторов Х и к выходной вектор У будет содержать много нулей в компонентах, где вектор Х содержит единицы.
Это означает, что установленный вектор Е не является искомым, и возбужденный нейрон в слое распознавания должен быть заторможен схемой определения сходства векторов. Процедура торможения заключается в установке в нуль выхода возбужденного нейрона в процессе текущей классификации.
Поиск. В случае совпадения или удовлетворения условий близости векторов Х и У процесс классификации завершается. Признаком этого является отсутствие на выходе схемы определения сходства векторов сигнала торможения (сброса) возбужденного в текущем цикле классификации нейрона слоя распознавания. В противном случае осуществляется поиск среди других запомненных образов для определения наиболее близкого к входному. При торможении возбужденного нейрона вектор й обнуляется, на выходе схемы ИЛИ 1 устанавливается уровень единицы, и вновь подготавливается прохождение входного вектора Х на выходы нейронов слоя сравнения без изменений У = Х. В результате этой установки в слое распознавания возбуждается другой нейрон, и другой запомненный образ 2 поступает на нейроны слоя сравнения.
В случае несоответствия к и Х, возбужденный нейрон в слое распознавания опять тормозится. 76 Процесс повторяется до тех пор, пока не будет найден запомненный образ, степень близости с которым у вектора Х не меньше заданной. В этом случае осуществляется цикп дополнитепьного обучения с целью модификации весовых векторов к-го возбужденного нейрона слоя распознавания: уУ, и У„. Если определено, что ни один из запомненных векторов не соответствует входному, то вводится новый (К+1)-й нейрон в распознающем слое и его весовые векторы ИГ„и К, устанавпиваются в соответствии с новым входным вектором.
Так как изначально все веса этого нейрона установлены в единичное значение, то выработанный в слое сравнения вектор У будет идентичен входному вектору Х, и отношение Я будет равно единице, удовлетворяя заданной степени сходства. С целью ускорения процесса поиска вычисление сверток входного вектора с весовыми векторами ИГ„ и определение сходства с запомненными образами может быть осуществлено параллельно Характвриспшки АРТ-сетей: ° быстрый доступ к предваритепьно запомненным образам, обусповленный тем, что после стабилизации процесса обучения предъявление одного из обучающих векторов (ипи вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска; ° устойчивость процесса поиска, так как после возбуждения одного нейрона не будет возбуждений других нейронов в распознающем слое без сигнала с выхода схемы определения сходства векторов; ° конечность процесса обучения, обусловленная стабильным набором весов; повторяющиеся последовательности обучающих векторов не будут приводить к циклическому изменению весов.
В заключение отметим, что АРТ-сети организованы по принципу подобия с биологическими прототипами, а процессы, происходящие в них, подобно механизмам мозга, позволяют решить проблему стабильности-пластичности. Недостатком АРТ-сетей является недостаточная надежность сохранения информации. Так, в случае «потери» одного образа разрушается вся память. 2.7.
Когнитрон Способы определения сходства и различия образов, правипа распознавания, используемые компьютерными системами, за- 77 бластль нейрона 2-го слоя бласлть севан нейрона 3-го слоя Рис 2 12 Структура котиитроиа 78 висят от особенностей их организации и функционирования, а также от выбора методов, адекватных решаемым задачам. Переход при создании перспективных технических систем к биологическим адаптивным моделям восприятия и распознавания, которые характеризуются самоорганизацией в результате воздействия окружающей среды, обусловлен поразительной способностью человека к решению сложных задач.
К. Фукушима (К. Еихиз(типа) в 1975 году разработал когнитрон — гипотетическую модель биологической системы восприятия и распознавания, инвариантную к поворотам, перемещениям, изменениям масштабов образов Возможности когнитрона к адаптивному распознаванию образов стимулировали, в свою очередь, исследования механизмов мозга Когнитрон (рис. 2.12) организован подобно зрительной коре мозга человека, состоящей нескольких слоев нейронов.
Несмотря на то, что слои организованы однотипно, каждый из них, подобно отдельным слоям зрительной коры, реализует различные уровни обобщения. Например, если входной слой нейронов распознает лишь простые образы (линии) и их ориентацию, то последующие слои способны к все более сложному обобщению, качество которого не зависит от положений распознаваемых образов. Нейрон из последующего слоя связан с ограниченным набоом нейронов предыдущего. Подобное правило организации при переходе от слоя к слою позволяет каждому нейрону выходного лоя реагировать на все входное поле при наличии ограниченного количества слоев нейронов. Однако при незначительном фиксированном размере области связи нейронов требуется большое число промежуточных слоев для перекрытия входного поля выходными нейронами.
Количество требуемых слоев может быть уменьшено за счет расширения области связи в последующих слоях. Результатом такого расширения может явиться значительное перекрытие областей связи, приводящее к одинаковой реакции нейронов выходного слоя. Для решения этой проблемы может быть увеличен размер области конкуренции, из которой на поданный входной образ активизируется только один нейрон выходного слоя, а влияние малой разницы в реакциях нейронов усиливается. В качестве альтернативного варианта органиэации межслойных взаимосвязей в когнитроне с целью предоставления каждому нейрону выходного слоя возможности реагировать на полное входное поле при наличии ограниченного количества слоев, области связи нейронов могут быть сформированы с учетом вероятностного распределения синаптических связей нейронов.
Каждый слой когнитрона (рис. 2.13) содержит два типа нейронов возбуждающие и тормозящие. Возбуждающие нейроны одного слоя стремятся вызвать активизацию соединенного с ними нейрона следующего слоя. Тормозящие нейроны нейтрализуют это возбуждение Возбуждение нейрона определяется значением нелинейной функции активации от взвешенной суммы его возбуждающих и тормозящих входов. Каждый возбуждаемый нейрон последующего слоя связан с ограниченным числом возбуждающих нейронов предыдущего слоя (из области его связи), что согласуется с анатомическими представлениями о зрительной коре головного мозга Аналогично, в предыдущем слое существуют тормозящие нейроны, соответствующие тем же областям связи.
Возбуждающое нейроны. Значение выхода возбуждающего нейрона определяется отношением взвешенных сумм возбуждающих и тормозящих входов. 1~-~а,и, Ха~ш ХЬ>к! у' = Р 1+оп!к, 1+~Ь и ! ! 79 Слой 1 и Слой 2 „! Гормоэяоээй Возбужденны~ О- 1~1~ ! ~-- Рис 2 13 Взаимосвязь слоев когнитрона /Ч', при Ч' > О, ~0, при ФсО, нимает следующее значение: 80 где а, — вес г'-го возбуждающего входа; и, — выход Рго возбуждаю- щего нейрона предыдущего слоя; Ь, — вес ого тормозящего входа; г~, — выход /-го тормозящего нейрона предыдущего слоя, веса име- ют только положительные значения 1+ Ха,и, При выполнении условия ' >1, выход нейрона при1+Х1з,~г, г Ха,и, — ХЬту! в ~ ! 1+ КЬгу! ! Если ~Ь, д! «1, то значение у' может быть аппроксимиро- ! вано у' = Еа,и, — ХЬ, ут, что соответствует функции линейного / ! порогового элемента с нулевым порогом.
Особенностью когнитрона является то, его весовые коэффициенты могут только возрастать в процессе обучения. Причем этот рост не ограничен. Однако условием ограничения значения у' является одинаковый диапазон изменения значений возбуждающих и тормозящих входов. Ха,и, ув= ' -1, при ~а,и,»1 и ~;Ь к»1. ХЬ! у! ! ! ! В этом случае ~а, и, = вЧ' и ~Ь, д! = оЧ', где а о- констан/ ты, Ч' — диапазон изменения значений возбуждающих и тормозящих входов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
