Вопрос_65_Нечаев (1006310)

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

БИЛЕТ №65

Основные парадигмы нейронных сетей с обратными связями

(сеть Хопфилда, сеть Хэмминга, двунаправленная ассоциативная память).

Основная информация

Введение

Сети с обратными связями, в отличие, например, от сетей встречного или обратного распространения, обладает обратными связями. Отсутствие обратной связи гарантирует безусловную устойчивость сетей. Так как сети с обратными связями имеют пути, передающие сигналы от выходов к входам, то отклик таких сетей является динамическим, то есть после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем вход вычисляется повторно, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока, в конце концов, выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называют неустойчивыми.

Ассоциативная память

Свойство нейронной сети восстанавливать предъявленный слегка измененный образ, например, с наложенным шумом или содержащий лишь важную часть исходного образа. Это свойство позволяет на основе нейронной сети создавать базы данных, поиск в которых осуществляется не по ключу, а в процессе вычислений на основе предъявленного фрагмента требуемого образа. Задача, решаемая сетью ассоциативной памяти, как правило, формулируется так:
известен некоторый набор образцовых сигналов, например, изображений, оцифрованных звуков и т.п.
требуется по произвольному поданному на вход сигналу восстановиить соответствующий образец или дать заключение о том, что входные данные не соответствуют ни одному из образцов.

Сеть Хопфилда

На рис. 1 показана сеть с обратными связями, состоящая из двух слоев. Нулевой слой не выполняет вычислительной функции, а лишь распределяет выходы сети обратно на входы. Каждый нейрон первого слоя вычисляет взвешенную сумму своих входов, давая сигнал NET, который затем с помощью нелинейной функции F преобразуется в сигнал OUT.

Рис. 1. Однослойная сеть с обратными связями.

В первой работе Хопфилда функция F была просто пороговой функцией. Выход такого нейрона равен единице, если взвешенная сумма выходов с других нейронов больше порога T_j, в противном случае она равна нулю. Он вычисляется следующим образом:

N ET_j =  w_ij OUT_i + In_j, i  j (1)

OUT_j = 1, если NET_j > T_j,

OUT_j = 0, если NET_j < T_j, (2)

OUT_j не изменяется, если NET_j = T_j,

Состояние сети - это множество текущих значений сигналов OUT от всех нейронов. Так как выходом бинарного нейрона может быть только ноль или единица, то текущее состояние сети является двоичным числом, каждый бит которого является сигналом выхода OUT некоторого нейрона. Функционирование сети легко визуализируется геометрически. На рис. 2 показана трехнейронная система, представленная кубом (в трехмерном пространстве), имеющим восемь вершин, каждая из которых помечена трехбитовым двоичным числом. В общем случае система с n нейронами имеет 2ⁿ различных состояний и представляется n-мерным гиперкубом.

Рис. 2. Три нейрона порождают систему с восемью состояниями.

Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой.

Устойчивость

Веса соединений между слоями в этой сети могут рассматриваться в виде матрицы W. Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали. Т.е. w_ij = w_ji и w_ii=0, для всех i и j.

Ассоциативная память

(для сетей с обратным распространением)

Сеть с обратной связью формирует ассоциативную память. Подобно человеческой памяти по заданной части нужной информации вся информация извлекается из «памяти». Чтобы организовать ассоциативную память с помощью сети с обратными связями, веса должны выбираться таким образом, чтобы образовывать энергетические минимумы в нужных вершинах единичного гиперкуба.

Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от -1 до +1, соответствующих двоичным значениям 0 и 1. Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле:

w_ij = (OUT_i,d OUT_j,d ), d=1..m (3)

где

m - число запоминаемых входных векторов;

d - номер запоминаемого входного вектора;

OUT_i,d - компонента i запоминаемого входного вектора.

Как только веса заданы, сеть может быть использована для получения запомненного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого входам сети сначала придается значение входного вектора. Затем входной вектор убирается и сети предоставляется возможность «расслабиться», опустившись в ближайший глубокий минимум. Сеть, идущая по локальному наклону функции энергии, может быть захвачена локальным минимумом, не достигнув наилучшего в глобальном смысле решения.

Непрерывные системы

Системы с непрерывной активационной функцией F точнее моделируют биологический нейрон. В общем случае это S-образная или логистическая функция

F(x) = 1/(1+exp(- NET )), (4)

где

 - коэффициент, определяющий крутизну сигмоидальной функции. Если  велико, F приближается к пороговой функции. Небольшие значения  дают более пологий наклон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е. w_ij = w_ji и w_ii=0, для всех i и j.

Если  велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С уменьшением  устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения  к нулю.

Сети Хопфилда и машина Больцмана

Недостатком сетей Хопфилда является их тенденция стабилизироваться в локальном, а не глобальном минимуме функции энергии. Эта трудность преодолевается в основном с помощью класса сетей, известных под названием машин Больцмана, в которых изменения состояний нейронов обусловлены статистическими, а не детерминированными закономерностями. Существует тесная аналогия между этими методами и отжигом металла, поэтому и сами методы часто называют имитацией отжига.

При фиксированной температуре распределение энергий системы определяется вероятностным фактором Больцмана

exp(-E / kT ), (5)

где

E - энергия системы;

k - постоянная Больцмана;

Т - температура.

Отсюда можно видеть, что имеется конечная вероятность того, что система обладает высокой энергией даже при низких температурах.

Статистическое распределение энергий позволяет системе выходить из локальных энергетических минимумов. В то же время вероятность высокоэнергетических состояний быстро уменьшается со снижением температуры. Следовательно, при низких температурах имеется сильная тенденция занять низкоэнергетическое состояние.

Статистические сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (1), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

E_k = NET_k - Q_k, (6)

где

NET_k - выход NET нейрона k;

Q_k - порог нейрона k,

и

p_k = 1/[1+exp(-E_k/T)], (7)

где

Т - искусственная температура.

В стадии функционирования искусственной температуре приписывается большое значение, нейроны устанавливаются в начальное состояние, определяемое входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

1. Приписать состоянию каждого нейрона с вероятностью p_k значение единица, а с вероятностью (1 - p_k) - нуль.

2. Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Емкость сети

Экспериментально было показано, что в общем случае предельное значение емкости ближе к 0,15*n, а число состояний не может превышать n, что согласуется с наблюдениями над реальными системами и является наилучшей на сегодняшний день оценкой.

Алгоритм обучения

В процессе обучения входной вектор подается на первый слой сети. Если сеть автоассоциативная , то эти же значения могут быть использованы как ожидаемый выход. Иначе, соответствующий выход может быть считан из файла и применен к выходному слою. Ожидаемый выход по обратной связи передается в слой Хопфилда для сравнения с входом сети, переданным через веса соединений, для вычисления Текущей Ошибки.

Базовое обучающее правило для сети Хопфилда имеет достаточно простой вид:

w_ij = (2x_i - 1)(2x_j - 1), (8)

Симметричность весов соединений описывается формулой:

w_ji = w_ij (9)

где

w_ij - вес соединения между j-м и i-м процессорными элементами;

x_i - выход текущего процессорного элемента;

x_j - вход процессорного элемента;

x_i и x_j могут принимать значения только 0 или 1.

Соединение называется усиленным, если выход и вход процессорного элемента одинаковые, и ослабленным (или ингибиторным), если они отличаются.

Кроме того, в качестве обучающих правил в сети Хопфилда можно использовать и другие правила. В таблице приведены значения изменения весов в зависимости от значений входов и выходов для различных правил обучения.

Алгоритм функционирования

1. При вызове на входной слой нейронной сети подается двоичный вектор из входной выборки. Результатом обработки значений этого вектора, поданного через устанавливаемые веса, является задание начального состояния слоя Хопфилда.

2. Затем входной слой отключается от скрытого слоя и в дальнейшей обработке участия не принимает. Слой Хопфилда повторяет обработку поступивших значений, пока счетчик циклов повторного вызова не достигнет последнего значения, установленного в Плане Обучения и Повторного Вызова.

3. В заключение, результат со слоя Хопфилда передается в выходной слой. На этом вызов заканчивается.

Сеть Хемминга

(Классификатор по минимуму расстояния Хемминга) - нейронная сеть ассоциативной памяти, принцип работы которой основан на вычислении расстояния Хемминга от входного вектора до всех векторов-образцов, известных сети. Сеть выбирает образец с наименьшим расстоянием Хемминга до входного вектора и выход, соответствующий этому образцу активизируется. Если сеть Хопфилда может восстанавливать зашумленные образы, то сеть Хемминга лишь указывает на соответствие входного образа одному из известных ей классов, а сам образ в ходе работы сети теряется.

Сеть Хемминга:
входной слой (серый) - передает сигналы, дальше средний слой - вычисляет расстояние Хемминга, выходной слой - соревновательный.

Сравнение сети Хопфилда и Хемминга

Сеть работает предельно просто и быстро. Выходной сигнал (решение задачи) формируется в результате прохода через всего лишь один слой нейронов. Для сравнения: в многослойных сетях сигнал проходит через несколько слоев. В сетях циклического функционирования сигнал многократно проходит через нейроны сети, причем число итераций, необходимое для получения решения, бывает заранее не известно.

В модели использован один из самых простых алгоритмов формирования синаптических весов и смещений сети.

В отличие от сети Хопфилда, емкость сети Хемминга не зависит от размерности входного сигнала, она в точности равна количеству нейронов (M).

Сеть Хопфилда с входным сигналом размерностью 100 может запомнить 10 образцов, при этом у нее будет 10000 синапсов. У сети Хемминга с такой же емкостью будет всего лишь 1000 синапсов.

Характеристики

Тип файла документ

Документы такого типа открываются такими программами, как Microsoft Office Word на компьютерах Windows, Apple Pages на компьютерах Mac, Open Office - бесплатная альтернатива на различных платформах, в том числе Linux. Наиболее простым и современным решением будут Google документы, так как открываются онлайн без скачивания прямо в браузере на любой платформе. Существуют российские качественные аналоги, например от Яндекса.

Будьте внимательны на мобильных устройствах, так как там используются упрощённый функционал даже в официальном приложении от Microsoft, поэтому для просмотра скачивайте PDF-версию. А если нужно редактировать файл, то используйте оригинальный файл.

Файлы такого типа обычно разбиты на страницы, а текст может быть форматированным (жирный, курсив, выбор шрифта, таблицы и т.п.), а также в него можно добавлять изображения. Формат идеально подходит для рефератов, докладов и РПЗ курсовых проектов, которые необходимо распечатать. Кстати перед печатью также сохраняйте файл в PDF, так как принтер может начудить со шрифтами.

Список файлов ответов (шпаргалок)