Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 53

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 53)

(чеига( (че(вогх а)(п ОепеМс Тга)п)пд А)доп(пгп (нейронная сеть с генетическим алгоритмом обучения). 2) Авгпоры и история создания. Впервые идея использования генетических алгоритмов для обучения (гпасЬпе 1еагп)пд) была предложена Дж. Голландом (Э.

Но11апд) в 1970-е годы. Во второй половине 1980-х годов к этой идее вернулись в связи с обучением нейронных сетей. 3) Модель. Использование механизмов генетической эволюции для обучения нейронных сетей кажется естественным, поскольку модели нейронных сетей разрабатываются по аналогии с мозгом и реализуют некоторые его особенности, появившиеся в результате биологической эволюции. Основные компоненты генетических алгоритмов: стратегии репродукций, мутаций и отбор «индивидуальных» нейронных сетей (по аналогии с отбором индивидуальных особей).

Первая проблема построения алгоритмов генетической эволюции — это кодировка информации, содержащейся в модели нейронной сети. Коды называют хромосомами. Для фиксированной топологии (архитектуры) нейронной сети эта информация полностью содержится в значениях синаптических весов (Иг) и смещений (В). Набор (ИГ, В) рассматривается как хромосома. Возможны более сложные способы кодирования информации Для реализации концепции отбора необходимо ввести способ сопоставления различных хромосом в соответствии с их возможностями решения поставленных задач.

Для сетей с последовательными связями это может быть евклидово расстояние. 336 В отличие от большинства других алгоритмов обучения, для генетических алгоритмов формируется не один, а несколько наборов начальных значений параметров, которые называются популяцией хромосом. Популяция обрабатывается с помощью алгоритмов репродукции, изменчивости (мутаций), генетической композиции. Эти алгоритмы напоминают биологические процессы.

Наиболее важные среди них: случайные мутации данных в индивидуальных хромосомах, переходы (кроссовер), рекомбинация генетического материала, содержащегося в индивидуальных родительских хромосомах (аналогично гетеросексуальной репродукции), миграция генов. Генетический алгоритм работает следующим образом. Инициализируется популяция и все хромосомы сравниваются в соответствии с выбранной функцией оценки. Далее (возможно многократно) выполняется процедура репродукции популяции хромосом.

Родители выбираются случайным образом в соответствии со значениями оценки (вероятность того, что данная хромосома станет родителем, пропорциональна полученной оценке). Репродукция происходит индивидуально для одного родителя путем мутации хромосомы либо для двух родителей путем кроссовера генов. Получившиеся потомки оцениваются в соответствии с заданной функцией и помещаются в популяцию. В результате использования описанных операций на каждой стадии эволюции получаются популяции со все более совершенными вариантами. 4) Области применения. Распознавание образов, классификация, прогнозирование. 5) Недостат«и.

Сложны для понимания и программной реализации. б) Преимущества. Генетические алгоритмы особенно эффективны в поиске глобальных минимумов адаптивных рельефов, так как ими исследуются большие области допустимых значений параметров нейронных сетей. Достаточно высокая скорость обучения, хотя и меньшая, чем скорость сходимости градиентных алгоритмов. Генетические алгоритмы дают возможность оперировать дискретными значениями параметров нейронных сетей, что упрощает аппаратную реализацию нейронных сетей и приводит к сокращению общего времени обучения.

7) Модификации. В рамках генетического подхода в последнее время разработаны многочисленные алгоритмы обучения нейронных сетей, 337 различающиеся способами представления данных нейронной сети в хромосомах, стратегиями репродукции, мутаций, отбора. П.1.11. Сеть Хэмминга (Нагппппя МеЦ т) Название. Нагпгп~пд Мег сеть Хзмминга).

Другие названия. Нейросетевая модель ассоциативной памяти, основанная на вычислении расстояния Хэмминга Классификатор по минимуму расстояния Хэмминга. 2) Ааглоры и история создания. Нейросетевые модели, основанные на вычислениях рас- стояния Хзмминга в задачах передачи двоичных сигналов фикси- рованной длины, введены Липпманом в 1987 г. 3) Модель Расстояние Хзмминга между двумя бинарными векторами одинаковой длины — это число несовпадающих бит в этих векто- рах. Нейронная сеть, которая реализует параллельное вычисле- ние расстояний Хэмминга от входного вектора до нескольких век- торов-образцов, носит название сети Хэмминга. Характеристики сети. Тип входных сигналов — бинарные векторы; тип выходных сигналов — целые числа. Размерности входа и выхода ограничены при программной реализации только воэможностями вычисли- тельной системы, на которой моделируется нейронная сеть, при аппаратной реализации — технологическими возможностями.

Раз- мерности входных и выходных сигналов могут не совпадать. Тип передаточной функции — линейная с насыщением Число синапсов в сети равно произведению числа нейронов в сети на размерность входного сигнала. Формирование синаптических весов и смещений сети.

и„=х,', Ь,=О, Г=1...И, )'=1...М. Функционирование сети: У,=г Еигх,— Ь,, ) =1" М, ~, =! где игг — ~'-й синаптический вес)-го нейрона; х, — рй элемент входно- го сигнала сети; у, — выход)'-го нейрона, Ь, — смещение)-го нейрона, И вЂ” размерность входного сигнала, М вЂ” количество нейронов в се- ти; х,' — Рый элемент)-го вектора-образца. Наиболее часто рассматривается модель, синаптические веса и смещения в которой вычисляются по формулам: 338 х,' И и, = — ', Ь = —, (=1..А(, )=1...М 2' к= != 4) Области применения. Распознавание образов, классификация, ассоциативная память, надежная передача сигналов в условиях помех. 5) Недостатки.

Сеть способна правильно распознавать (классифицировать) только слабо зашумленные входные сигналы Возможность использования только бинарных входных сигналов существенно ограничивает область применения. б) Преимущества. Сеть работает предельно просто и быстро Выходной сигнал (решение задачи) формируется в результате прохода сигналов всего лишь через один слой нейронов. Для сравнения: в многослойных сетях сигнал проходит через несколько слоев, в сетях циклического функционирования сигнал многократно проходит через нейроны сети, причем число итераций, необходимое для получения решения, бывает заранее не известно В модели использован один из самых простых алгоритмов формирования синаптических весов и смещений сети В отличие от сети Хопфилда, емкость сети Хзмминга не зависит от размерности входного сигнала, она в точности равна количеству нейронов. Сеть Хопфилда с входным сигналом размерностью 100 может запомнить 10 образцов, при этом у нее будет 10000 синапсов.

У сети Хэмминга с такой же емкостью будет всего лишь 1000 синапсов. 7) Модификации. Сеть Хзмминга может быть дополнена сетью МАХ(чЕТ, которая определяет, какой из нейронов сети Хэмминга имеет выход с максимальным значением. П.1.12. Сеть Хопфилда (Норйей йеЬуогя) 1) Название Норбе(д (чепногк (сеть Хопфилда]. Другие названия.

Ассоциативная память, адресуемая по содержанию. Модель Хопфилда. 2) Авторы и история создания. Сеть разработана Хопфилдом в 1982 г. С нее началось возрождение интереса к нейронным сетям. С тех пор были предложены ее многочисленные модификации, направленные на увеличение емкости, улучшение сходимости. 339 3) Модель Одна из первых предложенных сетей Хопфилда используется как автоассоциативная память Исходными данными для расчета значений синаптических весов сети являются векторы-образцы классов Выход каждого из нейронов подается на входы всех остальных нейронов. Формирование синаптических весов сети 2 „х,"х,", если) и), игк = км ) =1...И, ) =1...И.

О, если ~ =), Функционирование сети ун у (О) = х, у ((~-1) = У( ~иг, у,(Г), ) =1...И. 1=! где ик — ни синаптический вес)-го неирона; х, — ни элемент входного сигнала сети; х~ — Рй элемент/-го вектора-образца, у, — выход )-го нейрона, И вЂ” размерность входного сигнала; М вЂ” количество векторов-образцов Сеть функционирует циклически В процессе функционирования уменьшается энергетическая функция: 1нн Е=- — ЕХикх,х, 2 ~=бы Критерием останова — неизменность выходов сети. Характеристики сети.

Тип входных и выходных сигналов — биполярный (+1 и -1). Размерности входа и выхода ограничены при программной реализации только воэможностями вычислительной системы, на которой моделируется нейронная сеть, при аппаратной реализации — технологическими возможностями. Размерности входных и выходных сигналов совпадают. Тип передаточной функции — жесткая пороговая; число синапсов в сети равно М(М вЂ” 1). Сеть, содержащая И нейронов, может запомнить не более М = 0,15 И образов.

При этом запоминаемые образы не должны быть сильно коррелированы. 4) Области применения. Ассоциативная память, адресуемая по содержанию; распознавание образов; задачи оптимизации (в том числе, комбинаторной оптимизации). 5) Недостатки. Сеть обладает небольшой емкостью. Кроме того, наряду с запомненными образами в сети хранятся и их «негативы». 340 Размерность и тип входных сигналов совпадают с размерностью и типом выходных сигналов Эта существенно ограничивает применение сети в задачах распознавания образов. При использовании сильно коррелированных векторов— образцов возможно зацикливание сети в процессе функционирования Квадратичный рост числа синапсов при увеличении размерности входного сигнала 6) Преимущества.

Характеристики

Список файлов книги