neironne_seti_i_neirokompjuter (1085713), страница 15
Текст из файла (страница 15)
Небольшоезначение p (близкое к 0) «не обращает внимания» на большие различияобразов внутри одного класса. При выборе p=1 требуется абсолютное(точное) совпадение между входом и прототипом (стереотипом) классаобразов.Распознавание. В начале процесса обучения (самообучения) сетивходной вектор нулевой: I = (0, 0,…, 0). Соответственно коэффициентусиления g2=0. В результате все нейроны слоя распознавания отключены.Следствием этого является нулевой вектор V (Top-down Vector).При подаче на вход сети ненулевого входного вектора I коэффициентыусиления (ключи) принимают значения: g1=1 и g2=1. Это приводит ксрабатыванию по правилу “2 из 3” тех нейронов слоя сравнения, входыкоторых Ii=1.
В результате формируется вектор S, который сначала являетсяточной копией вектора I. Затем для каждого j слоя распознаваниявычисляется скалярное произведение весового вектора Wj и вектора S:tj = netj = Wj S .Скалярное произведение является мерой сходства между векторамиWj и S. Нейрон j – «победитель» – с максимальным значением скалярногопроизведения «выигрывает» сравнение («соревнование») и возбуждается(срабатывает), все же остальные нейроны не срабатывают.Из (2.55) следует, что при этом лишь j-я составляющая вектора U (входдля Top-down матрицы) принимает значение 1. Все же остальныесоставляющие – нули.Фаза сравнения. Единственный нейрон j–«победитель» слояраспознавания, весовой вектор которого наиболее близок к входномувектору, выдает единицу (1).
Эта единица распространяется через бинарныевеса wji матрицы Top-down. Остальные же нейроны слоя распознаваниявыдают нули. В результате каждый нейрон i слоя сравнения получаетбинарный сигнал vi, равный значению wji (1 или 0):vi =å u j w jij ÎRe cog= w Ji .(2.75)83PDF created with pdfFactory trial version www.pdffactory.comТак как входной вектор I не нулевой и j-й нейрон слоя распознаваниянаходится в состоянии 1, то из (2.72) следует g1=0, ибо только однакомпонента в фазе распознавания установлена в 1.После этого рассчитывается новое значение для S.
Этот расчетсводится по существу к покомпонентному сравнению векторов V и I. Есливекторы V и I различаются в некоторой составляющей, то соответствующиесоставляющие вектора S считаются равными 0, т. е. S = V Ù I = WJ Ù I.Пример 2.7. Принцип работы ART-1-сети в фазе сравнения ираспознавания в случае, когда ожидаемый вектор V нулевойДано: вектор U, т. е. входной образ отнесен к третьему классу (j=3):U=001000и бинарная матрица (Top-down Matrix) W111110101110101010101011111111011111Результат:V3 =101010Затем определяется степень сходства (Similarity) между бинарнымивекторами I и S для Reset-компоненты:sim =SI=Wj Ù II(2.76)³p .84PDF created with pdfFactory trial version www.pdffactory.comФункция Reset запускается при невыполнении этого неравенства, аSименно приI< p .
Значение параметра сходства р выбирается между 0 и 1:значение р=1 требует полного совпадения, а при р=0 совершенно различныеобразы отображаются в один класс.Или иначе: при выборе большого значения p образуется большеклассов образов; при выборе же небольших значений p входные образыразделяются на меньшее число классов (кластеров).
Обычно значение pвыбирается между 0,7 и 0,95: p Î [0,7; 0,95]Пример 2.8. Определение степени сходства между бинарнымивекторами I и S для Reset-компоненты (sim = 1)Дано:Wj=0111010I=010101033Результат: sim = = 1 .Пример 2.9. Определение степени сходства между бинарнымивекторами I и S для Reset-компоненты (sim = 0,75)Дано:Wj=0101010I=0111010Результат: sim =3= 0,75 .4Если степень сходства выше установленного порога толерантности(степени сходства) sim > p, то вход I считается опознанным. В противномслучае включается функция Reset, и классификация начинается заново.Поиск. При включении (активации) функции Reset (т.е. принедостаточной степени сходства векторов I и S) вектор U обнуляется85PDF created with pdfFactory trial version www.pdffactory.com(устанавливается нулевой вектор U={0,0,...,0}), что является условием старта(запуска) процедуры классификации.
При этом вектор S полагается равнымвектору I: S=I, и классифицируется непосредственно входной образ,отображаемый вектором I. Процесс классификации опять-таки включаетраспознавание, и сравнение и продолжается до тех пор, пока не будетвыявлен класс, обеспечивающий достаточную степень сходстваисключающий запуск функции Reset. В противном случае, когда такой классвыявить не удается, в слое распознавания открывается новый класс.Весовые векторы матрицы Bottom-up рассчитываются так, чтобыобеспечить максимальное значение скалярного произведения для входа I.Адаптация весов. В ART-сетях различают два типа обучения(тренинга): медленное обучение или медленный тренинг (Slow Training) ибыстрое обучение или быстрый тренинг (Fast Training).
При медленномобучении входные векторы настолько кратковременно подаются на входнейронной сети, что веса сети не успевают достигнуть своихасимптотических значений. Динамика нейронной сети (точнее динамикавесов нейронной сети) описывается при этом дифференциальнымиуравнениями, рассмотрение которых опустим.При быстром обучении входные векторы (образы) сохраняются навходе нейронной сети в течение времени, достаточного для достижениявесовыми матрицами их стабильных значений. Ограничимся рассмотрениемлишь быстрого обучения.На стадии адаптации осуществляется юстирование (уточнение) весовобеих матриц. Для весов Bottom-up матрицы:wiJ =Ls im,(2.77)L - 1 + å skk =1где L – постоянная (L > 1, причем обычно L=2), si – i-я составляющаявыходного вектора слоя сравнения, j – номер нейрона-«победителя» слояраспознавания и wij вес (точнее i-я составляющая) Bottom-up вектора W илииначе wij – это вес соединения i-го нейрона слоя сравнения и j-го нейронаслоя распознавания.Веса бинарной Top-down матрицы изменяются в соответствии справилом:w ji (t + 1) = si Ù w ji (t )(2.78),т.е.
соответствующий весовой вектор Top-down матрицы модифицируетсятаким образом, что он воспроизводит вектор S.86PDF created with pdfFactory trial version www.pdffactory.com2.6.6. Поток информации в сетиПредставим еще раз кратко поток информации внутри ART-1нейросети. Для каждого входа i ART-1-сеть ищет адекватный класс образовв слое распознавания F2. Для этой цели на входе i в слое сравнения F1генерируется образ долговременной памяти или ДВП-образ S. При этомодновременно функция Reset отключается.
Вектор S трансформируетсязатем в вектор T, который в свою очередь активирует некоторый класс J вслое F2. Слой распознавания F2 генерирует затем вектор U, которыйпреобразуется в так называемый ожидаемый вектор V или иначе в вектор V,ожидаемый для класса J.Если степень совпадения между V и входом ниже установленногопорога, то генерируется новый вектор S. В этом случае активируетсяфункция Reset, а выявленный ранее класс J в слое распознавания F2забывается, ибо введенный образ не может быть отнесен к этому классу.Затем осуществляется новый поиск подходящего класса для i. Этот поискзаканчивается тогда, когда в слое сравнения не активируется функция Resetили же слой распознавания F2 дополняется еще одним классом.2.6.7.
Другие ART-сетиПриведем краткий обзор сетей ART-2, ART-2a, ART-3, ARTMAP иFUZZY-ART.ART-2 и ART-2a. Главное отличие от ART-1-сетей: они обрабатываютне бинарные, а действительные входные векторы. ART-2a-сеть представляет«более быстрый» вариант сети ART-2. В силу этого многими авторами ART2a-сети рекомендуются для решения сложных задач. Сравнительнымиисследованиями установлено, что качество классификации (образованиеклассов) сетями ART-2 и ART-2a почти во всех случаях одинаково. Скоростьже обучения (сходимости) при использовании ART-2a-сетей значительновыше по сравнению с ART-2-сетями.ART-3-сети.
Они разработаны для моделирования биологическихмеханизмов. Их достоинство: простота использования в каскадныхархитектурах нейронных сетей.ARTMAP. Они объединяют элементы обучения и самообучения (илиобучения с поощрением и без поощрения, Supervised and UnsupervisedTraining). Для этого обычно формируется комбинация из двух ART-сетей.FUZZY-ART-сети (нечеткие ART-сети). Они представляют собойпрямое расширение ART-1-сетей средствами нечеткой логики (Fuzzy Logic).В них применяются следующие операторы:§ для определения класса образов в слое распознавания;§ для расчета степени сходства (Reset-критерий);§ для адаптации весов.В результате ART-1-сети могут быть использованы для обработки небинарных, а действительных входных векторов.87PDF created with pdfFactory trial version www.pdffactory.comОсновная особенность ART-1-сетей состоит в способности кформированию новых классов в процессе обучения или иначе в разрешениидилеммы стабильности-пластичности.88PDF created with pdfFactory trial version www.pdffactory.com3.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯМОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ3.1. Обзор программного обеспечения для моделированияРазличают универсальные и прикладные программные продукты длямоделирования нейронных сетей (Neural Network Simulators).Универсальные или объектно-инвариантные среды позволяютсинтезировать оптимальные нейронные сети, применяемые для решенияширокого класса задач, с предложением различных парадигм иалгоритмов обучения.Прикладные среды моделирования ориентированы для синтезанейронных сетей, применяемых в той или иной отрасли, прикладнойобласти или специфичной задаче.Среди важнейших свойств нейросетевых симуляторов – способностьсинтезировать код программы результирующей нейронной сети наалгоритмическом языке высокого уровня (чаще всего – Си и Паскаль).
Такойкод впоследствии легко интегрировать в пользовательскую программу.В табл. П.1 Приложений представлены наиболее распространенныеуниверсальные программные среды для моделирования нейронных сетей.3.2. Краткое описание программного продукта TRAJANПрограммный продукт TRAJAN компании TRAJAN Software Co.(Великобритания) [1, 11, 18] является симулятором полного цикла ипредназначен для моделирования в среде Windows различных видовнейронных сетей и алгоритмов обучения.Симулятор включает широкие возможности для графического истатистического контроля в процессе моделирования параметров ихарактеристик эффективности синтезируемых нейронных сетей.Рассмотримосновныефункциональныеипотребительскиехарактеристики программного продукта TRAJAN [18].3.2.1. Автоматизация процесса синтеза нейронной сетиПрограммное обеспечение TRAJAN позволяет автоматизироватьследующие процессы:§ формирования представительских выборок и переменных;§ выбора вида нейронной сети и ее структуры;§ обучения нейронной сети;§ сохранения оптимальных параметров нейронных сетей;§ выдачи графической и статистической информации о характеристикахсинтезируемой нейронной сети.89PDF created with pdfFactory trial version www.pdffactory.comЭти возможности позволяют работать в программной средепользователям незнакомым с нюансами теории нейронных сетей, в то времякак специалисты в данной области могут существенно сокращать рутинныеэтапы синтеза оптимальных нейронных сетей и временные затраты.При проектировании нейронной сети, направленной на решениеособенно сложных задач, моделирование в среде программного продуктаTRAJAN, как правило, занимает несколько дней.3.2.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
