Круг П.Г. Моделирование искусственных нейронных сетей, страница 11

Нейронная сеть может быть запущена с предъявлением либо полного набора представительских выборок, использованных ранее при обучении ИНС, либо с предъявлением одиночных выборок. При этом необходимо воспользоваться пунктом меню Run/Single Pattern, чтобы получить информацию о работе ИНС при предъявлении одной отдельно взятой представительской выборки или целого набора представительских выборок.

Запуск индивидуальной представительской выборки, не входящей в набор обучающих пар

Часто бывает необходимо проверить работу ИНС на представительской выборке, которая не входила в набор обучающих пар, использованных ранее при обучении, при решении следующих задач:

• Прогнозирование появления новых данных с заранее неизвестными нейронной сети выходами. Если выходы заранее известны, то можно оценить качество работы подготовленной ИНС. В противном случае, результаты, полученные при запуске ИНС, могут быть использованы в качестве прогноза. Данный тип задач для ИНС будет рассмотрен в лабораторной работе № 5.

• Распознавание образов (подробнее данная задача будет рассмотрена в лабораторной работе № 3). В этом случае, оценивается чувствительность ИНС к небольшому изменению параметров исследуемого вектора, с помощью которого проводилось обучение.

6. ЛАБОРАТОРНЫЙ ПРАКТИКУМ

Цель – предоставить обучаемому возможность самостоятельно решить несколько несложных, но весьма интересных задач, используя программный продукт для моделирования нейронных сетей TRAJAN компании Trajan Software Ltd. (Великобритания) или любую другую аналогичную программу на выбор (см. таблицу П.1 Приложения).

Лабораторный практикум отражает десятилетний опыт подготовки российских и иностранных студентов в области применения искусственных нейронных сетей на кафедре Информационно-измерительной техники Московского энергетического института (технического университета) и на кафедре ИТ-7 «Автоматизированные системы обработки информации и информационные технологии» Московского государственного университета приборостроения и информатики (МГУПИ).

Лабораторный практикум построен на одной из простых, и в то же время наиболее часто применяемой, модели многослойного персептрона и алгоритма обратного распространения. Позволяет закрепить теоретический материал и получить некоторые практические навыки в синтезе и обучении ИНС.

6.1. Лабораторная работа № 1.

Создание и обучение простейшей нейронной сети

Цель – освоение основных приемов работы с демонстрационной версией программного продукта TRAJAN в ходе создания и обучения простейшей нейронной сети [1].

Задание

1. Повторить соответствующий теоретический материал (глава 2: п. 2.1 – 2.3 и глава 3).

2. Создать и обучить ИНС, которая будет способна решать логическую задачу исключающего «ИЛИ». Таблица истинности для весьма полезной логической функции приведена в табл. 6.1.

3. Проверить работоспособность нейронной сети.

4. Ответить на вопросы для самопроверки № 1 – 4.

Создание нейронной сети

Новая ИНС создается в TRAJAN с помощью окна Network Creating (Создание сети), которое доступно из меню File/New/Network или по нажатию соответствующей кнопки на панели инструментов.

Таблица 6.1. Таблица истинности для логической функции исключающего «ИЛИ»

После того, как на экране появится окно Network Creating для создания новой нейронной сети, следует произвести следующие действия.

Выбор типа нейронной сети

Демонстрационная версия TRAJAN предлагает два типа нейронных сетей. Для решения задач, представленных в данном лабораторном практикуме, рекомендуется использовать ИНС типа многослойный персептрон, которая выбрана в данном окне по умолчанию.

Определение количества слоев в нейронной сети и их размерностей

При задании количества слоев вашей ИНС, следует учитывать следующие особенности пакета TRAJAN:

1. Программный продукт поддерживает максимальный размер ИНС: 128 слоев по 128 нейронов в каждом, при этом первый слой всегда является входным и используется только для получения сетью исходных данных, а последний – выходным, и выходы его нейронов являются выходами всей сети в целом.

2. Для решения поставленной задачи рекомендуется использовать простейшую структуру ИНС, состоящую из трех слоев: входной слой с двумя нейронами, скрытый слой с двумя нейронами и выходной слой с одним нейроном (2-2-1).

Для задания количество нейронов в каждом слое используется матрица, представленная в окне Network Creating. Она выглядит как небольшая электронная таблица.

Необходимо определить количество нейронов в каждом слое сети с помощью первой ячейки этой матрицы, при этом любые слои с нулевым количеством нейронов будут проигнорированы.

После задания количества нейронов в каждом слое ИНС, TRAJAN самостоятельно определит количество слоев путем выбора из матрицы тех слоев, у которых количество нейронов отлично от нуля.

Примечание. Можно заметить, что матрица содержит строку для задания «ширины» каждого слоя. Строка редко используется в TRAJAN для карт Кохонена, хотя с помощью нее можно задавать и ширину слоев для нейронных сетей некоторых других типов.

Обучение нейронной сети

Алгоритм обратного распространения обучает ИНС, используя доступные ему данные, которые хранятся в наборе представительских выборок для обучения. На каждой итерации (в терминах программного продукта TRAJAN – «эпохе»), ИНС предоставляется весь подготовленный набор обучающих пар. Выходы, получаемые ИНС, сравниваются с желаемыми результатами. При этом ошибка ИНС вычисляется как разность между желаемыми и фактическими результатами и используется для регулирования весов нейронов в сети.

Для обучения ИНС необходимо:

• открыть окно Training Error Graph, используя позицию меню Statistics/Training Graph;

• открыть окно Back Propagation, используя позицию меню Training/Backprop;

• расположить на экране окна так, чтобы они были оба видны и не перекрывали друг друга;

• запустить алгоритм обучения путем нажатия на кнопку Train (Обучение) в окне Back Propagation. При этом зависимость среднеквадратической ошибки обучения нейронной сети от числа используемых итераций будет вычерчиваться на графике в окне Training Error Graph;

• увеличить число итераций в окне Back Propagation и обучить ИНС вновь, нажав кнопку Train.

Вначале моделирования при использовании небольшого числа итераций, среднеквадратическая ошибка уменьшается, но ненамного. Это обусловлено тем, что задача «исключающего «ИЛИ» для ИНС, как не парадоксально, гораздо сложнее в решении, чем многие более сложные задачи.

Окно Training Error Graph отображает общую ошибку обучения ИНС, однако иногда бывает полезно пронаблюдать за работой сети при использовании отдельно взятой обучающей пары. Данный режим реализуется в TRAJAN с помощью окна Pattern Error.

Запуск сети

После обучения ИНС готова к запуску, причем запустить ее на выполнение можно несколькими способами.

Запуск, используя текущий набор представительских выборок

ИНС может быть запущена с предъявлением полного набора представительских выборок, использованных ранее при ее обучении, или выполняемыми наборами по одиночке. При этом необходимо воспользоваться пунктом меню Run/Single Pattern, чтобы получить информацию о работе ИНС при предъявлении одной отдельно взятой представительской выборки или целого набора представительских выборок.

Запуск индивидуальной представительской выборки, не входящей в набор обучающих пар

При решении целого ряда задач необходимо проверять работу ИНС на представительской выборке, которая не входила в набор обучающих пар, использованных ранее при обучении. Например:

1. Прогнозирование появления новых данных с заранее неизвестными нейронной сети выходами. Если выходы заранее известны, то можно оценить качество работы подготовленной нейронной сети. В противном случае, результаты, полученные при запуске, могут быть использованы в качестве прогноза. Данный тип задач для ИНС будет рассмотрен в лабораторной работе № 5.

2. Распознавание образов (задача будет рассмотрена в работе № 3). В этом случае оценивается чувствительность ИНС к небольшому изменению параметров исследуемого вектора, с помощью которого проводилось обучение.

Замечание

ИНС, подготовленная в данной лабораторной работе, была обучена с использованием всех возможных для нее обучающих пар, поэтому она может быть запущена на выполнение с использованием каждой из четырех представительских выборок. Следовательно, можно будет оценить работу ИНС на каждой из них.

При запуске, также возможно единовременное использование всего набора представительских выборок для оценивания общих параметров работы ИНС.

6.2. Лабораторная работа № 2.

Определение направления двоичного сдвига

Цель – построение, обучение и тестирование ИНС, предназначенной для определения направления сдвига двоичного кода.

Задание

1. Повторить соответствующий теоретический материал.

2. Создать и обучить ИНС для определения направление циклического сдвига четырехпозиционного двоичного кода.

3. Проверить работоспособность ИНС.

4. Ответить на вопросы для самопроверки № 5–8.

О применении нейронных сетей для решения задачи классификации

Типовая задача ИНС – классификация того или иного исследуемого вектора (объекта). Получив в процессе обучения исходные данные об объекте, ИНС определяет, к какому из множества классов принадлежат исследуемые векторы. Проблема «исключающего ИЛИ», рассмотренная в предыдущей лабораторной работе, является примером решения именно такой задачи. Если исследуемый вектор может принадлежать только к одному из двух классов, то задача называется двухклассной. Задача, поставленная в данной работе, также сводится к двухклассной.

Простейший путь решения задачи двухклассной классификации при помощи ИНС – формирование у ИНС единственного выхода, который получает значение «1» для одного класса и «0» – для другого. Значения, лежащие внутри данного диапазона, характеризуют степень принадлежности объекта к тому или иному классу. Действительно, на том или ином выходе многоуровневого персептрона практически невозможно получить значения равные точно «0» или «1», хотя к этим значениям иногда можно подойти довольно близко.

Таким образом, для решения двухклассных задач с использованием одного выхода необходимо задаваться уровнем доверия, например: если значения выхода выше 0,95 – считать, что объект (исследуемый вектор) принадлежит к одному классу, а если ниже 0,05 – к другому.

Решение задачи классификации в TRAJAN

ИНС с предъявлением единственной представительской выборки запускается в окне Run Single Pattern (Запустить единственный образец) или в окне Run One-off Pattern (Запустить одиночный образец не входящий в представительскую выборку).

TRAJAN сравнивает выходную величину ИНС с пределами доверия и определяет:

• если выход выше установленного верхнего порога, исследуемый вектор (объект) классифицируется положительно;

• если выход ниже установленного нижнего порога, то сообщается о негативной классификации;

• если значение выхода находится между порогами, то сообщается о том, что исследуемый вектор (объект) классифицировать не удалось.

Общая статистика результатов классификации осуществляется при нажатии кнопки Run в окне Statistic/Classification, которое открывается из меню Statistic/Classification. Статистика в этом окне отображается в виде матрицы, содержащей один столбец для каждого класса. Каждый столбец содержит две секции: «Общая статистика» и «Статистика процесса классификации», разделенные широкой горизонтальной чертой.

Секция «Общая статистика» содержит следующую информацию:

• Total (Всего) – количество образцов данного класса в наборе.

• Correct (Правильные) – количество образцов данного класса правильно классифицированных ИНС.

• Wrong (Неправильные) – количество образцов неправильно классифицированных ИНС (как принадлежащих к другому классу).

• Unknown (Неизвестные) – количество образцов данного класса, которые ИНС не смогла классифицировать.

Секция «Статистика процесса классификации» показывает, сколько исследуемых векторов (представительских выборок) было отнесено к каждому классу. При этом неклассифицированные векторы в данной секции не отображаются.

Нейронная сеть для определения направления двоичного сдвига

Для решения поставленной задачи, следует построить и обучить ИНС, которая должна будет определять направление двоичного сдвига.