Методическое пособие по выполнению лабораторных работ

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ДИСЦИПЛИНА «НЕЙРОННЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СЕТИ»

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

к проведению лабораторных работ

Рекомендуется для подготовки

дипломированного специалиста по направлению:

654600 – « Информатика и вычислительная техника»

по специальности:

МОСКВА 2005

Круг П.Г. Методические указания к проведению лабораторных работ по дисциплине «Нейронные вычислительные сети». МГАПИ, 2005. – 18 с.

АННОТАЦИЯ

Настоящее учебно-методическое пособие предназначено для оказания методической помощи студентам 5-го курса при выполнении лабораторных работ в рамках дисциплины «Нейронные вычислительные сети».

Студенты овладевают навыками в синтезе и обучении искусственных нейронных сетей в среде нейросетевого симулятора TRAJAN.

Авторы: Круг П.Г.

Рецензент: Анисимов Д.Н.., доцент, к.т.н., МЭИ (ТУ)

ВВЕДЕНИЕ

Цель настоящего лабораторного практикума – предоставить обучаемому возможность самостоятельно решить несколько несложных, но весьма интересных задач, используя программный продукт для моделирования нейронных сетей TRAJAN компании Trajan Software Co. (Великобритания) или любую другую аналогичную программу на выбор.

Позволяет закрепить теоретический материал и получить некоторые практические навыки в синтезе и обучении нейронных сетей.

Лабораторный практикум построен на одной из простых, и в то же время наиболее часто применяемой, модели многослойного персептрона и алгоритма обратного распространения.

Выполнение практикума допускает использование свободно-распространяемой демонстрационной версии пакета TRAJAN.

ЛАБОРАТОРНАЯ РАБОТА № 1. СОЗДАНИЕ И ОБУЧЕНИЕ ПРОСТЕЙШЕЙ НЕЙРОННОЙ СЕТИ

Цель – освоение основных приемов работы с демонстрационной версией программного продукта TRAJAN в ходе создания и обучения простейшей нейронной сети.

Задание

1. Создать и обучить нейронную сеть, которая будет способна решать логическую задачу исключающего «ИЛИ». Таблица истинности для весьма полезной логической функции приведена в табл. 1.

2. Проверить работоспособность нейронной сети.

3. Ответить на вопросы для самопроверки № 1 – 4.

Таблица 1. Таблица истинности для логической функции исключающего «ИЛИ»

Создание нейронной сети

Новая нейронная сеть создается в TRAJAN с помощью окна Network Creating (Создание сети), которое доступно из меню File/New/Network или по нажатию соответствующей кнопки на панели инструментов.

После того, как на экране появится окно Network Creating для создания новой нейронной сети, следует произвести следующие действия.

Выбор типа нейронной сети

Демонстрационная версия TRAJAN предлагает два типа нейронных сетей. Для решения задач, представленных в данном лабораторном практикуме, рекомендуется использовать нейронную сеть типа многослойный персептрон, которая выбрана в данном окне по умолчанию.

Определение количества слоев в нейронной сети и их размерностей

При задании количества слоев вашей нейронной сети, следует учитывать следующие особенности пакета TRAJAN:

1. Программный продукт поддерживает максимальный размер нейронные сети: 128 слоев по 128 нейронов в каждом, при этом первый слой всегда является входным и используется только для получения сетью исходных данных, а последний – выходным, и выходы его нейронов являются выходами всей сети в целом.

2. Для решения поставленной задачи рекомендуется использовать простейшую структуру нейронной сети, состоящую из трех слоев: входной слой с двумя нейронами, скрытый слой с двумя нейронами и выходной слой с одним нейроном (2-2-1).

Для задания количество нейронов в каждом слое используется матрица, представленная в окне Network Creating. Она выглядит как небольшая электронная таблица.

Необходимо определить количество нейронов в каждом слое сети с помощью первой ячейки этой матрицы, при этом любые слои с нулевым количеством нейронов будут проигнорированы.

После задания количества нейронов в каждом слое нейронной сети, TRAJAN самостоятельно определит количество слоев путем выбора из матрицы тех слоев, у которых количество нейронов отлично от нуля.

Примечание. Можно заметить, что матрица содержит строку для задания «ширины» каждого слоя. Строка редко используется в TRAJAN для карт Кохонена, хотя с помощью нее можно задавать и ширину слоев для нейронных сетей некоторых других типов.

Обучение нейронной сети

Алгоритм обратного распространения обучает нейронную сеть, используя доступные ему данные, которые хранятся в наборе представительских выборок для обучения. На каждой итерации (в терминах программного продукта TRAJAN – «эпохе»), нейронной сети предоставляется весь подготовленный набор обучающих пар. Выходы, получаемые нейронной сетью, сравниваются с желаемыми результатами. При этом ошибка нейронной сети вычисляется как разность между желаемыми и фактическими результатами и используется для регулирования весов нейронов в сети.

Для обучения нейронной сети необходимо:

• открыть окно Training Error Graph, используя позицию меню Statistics/Training Graph;

• открыть окно Back Propagation, используя позицию меню Training/Backprop;

• расположить на экране окна так, чтобы они были оба видны и не перекрывали друг друга;

• запустить алгоритм обучения путем нажатия на кнопку Train (Обучение) в окне Back Propagation. При этом зависимость среднеквадратической ошибки обучения нейронной сети от числа используемых итераций будет вычерчиваться на графике в окне Training Error Graph;

• увеличить число итераций в окне Back Propagation и обучить нейронную сеть вновь, нажав кнопку Train.

Вначале моделирования при использовании небольшого числа итераций, среднеквадратическая ошибка уменьшается, но ненамного. Это обусловлено тем, что задача «исключающего «ИЛИ» для нейронной сети, как не парадоксально, гораздо сложнее в решении, чем многие более сложные задачи.

Окно Training Error Graph отображает общую ошибку обучения нейронной сети, однако иногда бывает полезно пронаблюдать за работой сети при использовании отдельно взятой обучающей пары. Данный режим реализуется в TRAJAN с помощью окна Pattern Error.

Запуск сети

После обучения нейронная сеть готова к запуску, причем запустить ее на выполнение можно несколькими способами.

Запуск, используя текущий набор представительских выборок

Нейронная сеть может быть запущена с предъявлением полного набора представительских выборок, использованных ранее при ее обучении, или выполняемыми наборами по одиночке. При этом необходимо воспользоваться пунктом меню Run/Single Pattern, чтобы получить информацию о работе нейронной сети при предъявлении одной отдельно взятой представительской выборки или целого набора представительских выборок.

Запуск индивидуальной представительской выборки, не входящей в набор обучающих пар

При решении целого ряда задач необходимо проверять работу нейронной сети на представительской выборке, которая не входила в набор обучающих пар, использованных ранее при обучении. Например:

1. Прогнозирование появления новых данных с заранее неизвестными нейронной сети выходами. Если выходы заранее известны, то можно оценить качество работы подготовленной нейронной сети. В противном случае, результаты, полученные при запуске, могут быть использованы в качестве прогноза. Данный тип задач для нейронных сетей будет рассмотрен в лабораторной работе № 5.

2. Распознавание образов (задача будет рассмотрена в работе № 3). В этом случае оценивается чувствительность нейронной сети к небольшому изменению параметров исследуемого вектора, с помощью которого проводилось обучение.

Замечание

Нейронная сеть, подготовленная в данной лабораторной работе, была обучена с использованием всех возможных для нее обучающих пар, поэтому она может быть запущена на выполнение с использованием каждой из четырех представительских выборок. Следовательно, можно будет оценить работу нейронной сети на каждой из них.

При запуске, также возможно единовременное использование всего набора представительских выборок для оценивания общих параметров работы нейронной сети.

ЛАБОРАТОРНАЯ РАБОТА № 2.

ОПРЕДЕЛЕНИЕ НАПРАВЛЕНИЯ ДВОИЧНОГО СДВИГА

Цель – построение, обучение и тестирование нейронной сети, предназначенной для определения направления сдвига двоичного кода.

Задание

1. Создать и обучить нейронную сеть для определения направление циклического сдвига четырехпозиционного двоичного кода.

2. Проверить работоспособность нейронной сети.

3. Ответить на вопросы для самопроверки № 5 – 8.

О применении нейронных сетей для решения задачи классификации

Типовая задача нейронных сетей – классификация того или иного исследуемого вектора (объекта). Получив в процессе обучения исходные данные об объекте, нейронная сеть определяет, к какому из множества классов принадлежат исследуемые векторы.

Проблема исключающего ИЛИ, рассмотренная в предыдущей лабораторной работе, является примером решения именно такой задачи. Если исследуемый вектор может принадлежать только к одному из двух классов, то задача называется двухклассной. Задача, поставленная в данной работе, сводится к двухклассной.

Простейший путь решения задачи двухклассной классификации при помощи нейронных сетей – формирование у сети единственного выхода, который получает значение 1 для одного класса и 0 – для другого. Значения, лежащие внутри данного диапазона, характеризуют степень принадлежности объекта к тому или иному классу.

Действительно, на том или ином выходе многоуровневого персептрона практически невозможно получить значения равные точно 0 или 1, хотя к этим значениям иногда можно подойти довольно близко.

Таким образом, для решения двухклассных задач с использованием одного выхода необходимо задаваться уровнем доверия, например: если значения выхода выше 0,95 – считать, что объект (исследуемый вектор) принадлежит к одному классу, а если ниже 0,05 – к другому.

Решение задачи классификации в TRAJAN

Нейронная сеть с предъявлением единственной представительской выборки запускается в окне Run Single Pattern (Запустить единственный образец) или в окне Run One-off Pattern (Запустить одиночный образец не входящий в представительскую выборку).

TRAJAN сравнивает выходную величину сети с пределами доверия и определяет:

• если выход выше установленного верхнего порога, исследуемый вектор (объект) классифицируется положительно;

• если выход ниже установленного нижнего порога, то сообщается о негативной классификации;

• если значение выхода находится между порогами, то сообщается о том, что исследуемый вектор (объект) классифицировать не удалось.

Общая статистика результатов классификации осуществляется при нажатии кнопки Run в окне Statistic/Classification, которое открывается из меню Statistic/Classification. Статистика в этом окне отображается в виде матрицы, содержащей один столбец для каждого класса. Каждый столбец содержит две секции: «Общая статистика» и «Статистика процесса классификации», разделенные широкой горизонтальной чертой.

Секция «Общая статистика» содержит следующую информацию:

• Total (Всего) – количество образцов данного класса в наборе.

• Correct (Правильные) – количество образцов данного класса правильно классифицированных нейронной сетью.

• Wrong (Неправильные) – количество образцов неправильно классифицированных сетью (как принадлежащих к другому классу).

• Unknown (Неизвестные) – количество образцов данного класса, которые нейронная сеть не смогла классифицировать.

Секция «Статистика процесса классификации» показывает, сколько исследуемых векторов (представительских выборок) было отнесено к каждому классу. При этом неклассифицированные векторы в данной секции не отображаются.

Нейронная сеть для определения направления двоичного сдвига

Для решения поставленной задачи, следует построить и обучить нейронную сеть, которая должна будет определять направление двоичного сдвига.

Операция двоичного сдвига является типичной для многих языков программирования. Сущность ее заключается в том, что число представляется в двоичном коде, а затем с полученной последовательностью производится операция циклического сдвига вправо или влево. Если производится сдвиг влево, у числа самая первая (левая) цифра переставляется в конец, а если сдвиг производится вправо, то последняя (правая) цифра переставляется в начало.

Для построения нейронной сети представим в четырехпозиционном двоичном коде числа от 0 до 15. Далее, следует определить количество входов и выходов нейронной сети, необходимой для решения поставленной задачи. Очевидно, что для определения направления сдвига на входы нейронной сети необходимо представить исходную четырехпозиционную двоичную последовательность и четырехпозиционную двоичную последовательность, которая получилась в результате сдвига.

Выходной слой нейронной сети может состоять из одного нейрона. Его значение будет равно 0, если сдвиг произведен влево, и 1 – если сдвиг произведен вправо. Таким образом, для решения данной двухклассной задачи необходима нейронная сеть с восемью входами и одним выходом.

Обучение нейронной сети

Определив количество входов в сети, приступим к созданию набора обучающих пар для обучения сети. Для этого выберем шесть четырехпозиционных двоичных кодов и выполним с ними операции сдвига вправо и влево (табл. 2).

Таблица 2. Результаты сдвига влево и вправо четырехпозиционного кода

Следует заметить, что в качестве представительских выборок нельзя выбирать числа с двоичным представлением 0000, 1111, 1010, 0101, поскольку в независимости от направления сдвига (влево или вправо) для этих чисел будет получен один и тот же результат.