Методические указания к лабораторной работе №4
Описание файла
Документ из архива "Методические указания к лабораторной работе №4", который расположен в категории "". Всё это находится в предмете "нейрокомпьютерные сети" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МАИ. Не смотря на прямую связь этого архива с МАИ, его также можно найти и в других разделах. Архив можно найти в разделе "книги и методические указания", в предмете "нейрокомпьютерные сети" в общих файлах.
Онлайн просмотр документа "Методические указания к лабораторной работе №4"
Текст из документа "Методические указания к лабораторной работе №4"
Лабораторная работа №4. Моделирование и исследование сети Хэмминга.
Цель работы – изучение алгоритмов обучения и функционирования сети Хэмминга и моделирование нейронной сети для решения задачи распознавания образов.
Общие сведения
Среди различных конфигураций искусственных нейронных сетей (НС) встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой – сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известна сеть Хэмминга.
Сеть Хэмминга – классификатор минимальной ошибки для двоичных векторов, при этом ошибка определяется с использованием расстояния Хэмминга. Классификация производится следующим образом: входной вектор относится к классу, для которого расстояние от эталонного вектора минимальное.
Расстояние Хэмминга определяется числом битов во входном векторе, не совпадающих с соответствующими битами в эталонном векторе.
Если сравнивать сеть Хэмминга с сетью Хопфилда с точки зрения производительности и емкости, то сеть Хэмминга оптимально классифицирует двоичные вектора, когда ошибки в битах независимы или случайные. Что касается их емкости, то сеть Хопфилда с N входами имеет N*(N-1) связей и ограниченную емкость, зависящую от N : Cнор = 0,15*N. Ёмкость сети Хэмминга не зависит от числа компонент входного вектора, но зависит от числа элементов М в слое категорий. При этом количество связей сети Хэмминга определяется как: Снам = М*(М+N).
Рис.1. Архитектура сети Хэмминга.
Сеть Хэмминга содержит три слоя: входной слой с N ПЭ, слой категорий с М ПЭ (на рис.1 изображен в виде слоев 1 и 2) и выходной слой.
Каждый ПЭ в слое категорий соответствует различным классификационным категориям, представленным эталонными векторами, которые кодируются в весовых коэффициентах связей от входного слоя. Эти коэффициенты устанавливаются в фазе обучения. Пусть для определения категорий используется M эталонных векторов:
xj = (xj1, xj2,…,xjn), j= 1,…,M (1)
Предполагается, что компоненты xi из xj принимают значения –1 или 1. Тогда фаза обучения заключается в установке весовых коэффициентов:
Wji = Xji / 2 I=1,…,N; j = 1,…,M (2)
Wj0 = N/2 j= 1,…,M,
где Wji –это весовые коэффициенты соединений ПЭi во входном слое с ПЭj в слое категорий, и Wj0 – это весовой коэффициент связи между ПЭ смещения с ПЭj в слое категорий.
При функционировании входной вектор обрабатывается обычным образом, образуя следующий входной сигнал для ПЭj в слое категорий:
Ij = SUM (Wji*Xi), j = 1,…,M (3)
0 I N,
где х=(х1,х2,...,хn) – входной вектор, который подобно эталонному вектору имеет компоненты, которые принимают значения -1 или 1.
Из (1), (2), (3):
Ij = 0.5 * (SUM(Xji*Xi)+N), j=1,…,M (4)
Так как xji и xi принимают только значения –1.0 или 1.0 уравнение (4) можно переписать в виде:
Ij= 0.5 *(Nja-Njd+N), j=1,…,M (5)
Где NJa – это число битов, в которых xj и x согласуются , и NJd –число битов, в которых xj и x не согласуются.
Но N =NJa + NJd, j =1, … ,M поэтому (5) можно записать в следующем виде
Ij = 0,5(NJa – (N – NJa) + N) = NJa , j=1,…,M (6)
= N- NJd, j=1,…,M (7)
Выражения (6) и (7) показывают, что между входным слоем и слоем категорий вычисляется N минус расстояние Хэмминга, или что то же самое, число битов, в которых входной вектор совпадает с исходным.
В качестве активационной функции в слое категорий используется активационная функция персептрона Тр:
Тp(I) = I, если I>0 (8)
= 0, если I<=0
ПЭ с максимальным начальным состоянием будет единственным, чей исходный вектор имеет наименьшее расстояние Хэмминга для входного вектора. Слой категорий -- соревновательный слой, в котором выигрывает элемент с максимальной активацией. Это может быть реализовано итеративным путем через латеральные связи в слое категорий. Каждый узел j соединен с каждым из остальных узлов k в слое через соединение с фиксированным значением коэффициента l kj , где
l kj = 1, k=j (9)
= - ε , k/=j, 0 < ε ≤ 1/M
В конце функционирования только одна из категорий будет активна, то есть будет иметь ненулевой выход. Для описания соревнования через латеральные связи примем, что Yj(t), представляет выход j-го ПЭ в слое категорий на t-ой итерации соревнования. Как обсуждалось выше, слой категорий инициализируется следующим образом:
Yj(0) = Tp(Ij) (10)
После инициализации слоя входной сигнал удаляется и, итерационный процесс в слое категорий продолжается до стабилизации. На t-ой итерации выход j-го ПЭ:
Yj(t) = Tp(Yj(t-1) – ε * SUM Yk(t-1)) (11)
k/=j
Эта формула демонстрирует стремление к состоянию, когда только один ПЭ в слое активен: этот ПЭ единственный, имеющий максимальное начальное состояние. Слой категорий соответственно связан с выходным слоем через соединения с фиксированными весовыми коэффициентами, равными 1.
Выходной слой использует в качестве активационной функции ступенчатую функцию, и поэтому ПЭ в выходном слое имеют значения только 0 или 1; при сходимости соревнования в выходном слое активным становится только один победитель.
Пример
1. Постановка задачи моделирования и составление входного файла.
Создать нейронную сеть для распознавания графических изображений, с применением модели сети Хэмминга.
В качестве изображений возьмем следующие символы:
A, B, C, D, E, F, G, H, I, J, +, -, !, ?
Изображения схематично представлены в виде матриц 6х7 точек ниже в таблицах.
| 1 | 1 | 1 | 1 | ||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 |
Табл.1 «A »
| 1 | 1 | 1 | 1 | ||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | 1 | |||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | 1 | 1 |
Табл.2 «B »
| 1 | 1 | 1 | |||
| 1 | 1 | ||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | 1 | ||||
| 1 | 1 | 1 |
Табл.3 «C »
| 1 | 1 | 1 | 1 | 1 | |
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | 1 | 1 | 1 |
Табл.4 «D »
| 1 | 1 | 1 | 1 | 1 | |
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 | 1 | ||
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 | 1 | 1 |
Табл.5 «E »
| 1 | 1 | 1 | 1 | 1 | |
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 | 1 | ||
| 1 | |||||
| 1 | |||||
| 1 |
Табл.6 «F »
| 1 | 1 | 1 | |||
| 1 | 1 | ||||
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 | 1 | ||
| 1 | 1 | ||||
| 1 | 1 | 1 |
Табл.7 «G »
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 | 1 | 1 | 1 | |
| 1 | 1 | ||||
| 1 | 1 | ||||
| 1 | 1 |
Табл.8 «H »
| 1 | 1 | 1 | |||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 |
Табл.9 «I »
| 1 | 1 | 1 | 1 | ||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | 1 | ||||
| 1 |
Табл.10 «J »
| 1 | |||||
| 1 | |||||
| 1 | 1 | 1 | 1 | 1 | |
| 1 | |||||
| 1 | |||||
Табл.11 «+ »
| 1 | 1 | 1 | 1 | 1 | |
Табл.12 «- »
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 | |||||
| 1 |
Табл.13 «! »
| 1 | 1 | 1 | |||
| 1 | 1 | ||||
| 1 | |||||
| 1 | 1 | ||||
| 1 | |||||
| 1 |
Табл.14 «? »
