Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 36
Текст из файла (страница 36)
Это реализуется случайным непериодическим умножением отдельных величин вектора на малую константу, например, на 0,05. В результате формируется обучающая выборка, где один и тот же факт повторяется крайне редко. Ясно, что сеть никогда не обучиться всем фактам данной выборки с точностью, большей 5ть Однако это резко увеличивает способность сети к обобщению, так что при тестировании на фактах из всего множества подобных количество неправильных ответов резко снижается. Программа Вга(пМакег позволяет добавлять шумы как в обучающие, так и тестовые и рабочие примеры.
Случадносгпь процесса обучения и порядок предъявления обучающих примеров. Процесс обучения сети случаен. Даже при абсолютно одинаковых начальных условиях инициализация весов сети перед обучением носит случайный характер. Сильно влияет на процесс обучения порядок предъявления сети обучающих примеров. Для оптимизации результатов можно создать и обучить несколько сетей, отличающихся только порядком обучающей выборки. В результате будет получено несколько различных выходов, которые при усреднении дадут наиболее адекватный результат.
222 Существует ряд функций пакета для ручной оптимизации полученной модели на основе статистических данных обучения. Ниже рассматриваются эти функции Статистика процессов обучения и тестирования. Процесс обучения нейронной сети в программе Вга~пМахег возможно сочетать со многими контрольными функциями, основной из которых является тестирование сети в процессе обучения Это означает, что набор обучающих примеров можно разбить в определенной пропорции (по умолчанию, 1/9) на тестирующий и обучающий наборы.
С определенной периодичностью программа предъявляет сети набор тестовых примеров, на основе которых оценивается ее умение правильно обрабатывать факты, которых сеть никогда не «видела». Максимальная частота тестирования — один раз за цикл обучения. Результаты каждого цикла обучения и тестирования могут быть записаны в файлы статистики (*.з(в и *.в(а).
В эти файлы заносится следующая информация; номер цикла, общее число предъявленных примеров, количество правильных и ошибочных фактов, количество ошибочных выходов сети, общее число ошибочных фактов, коэффициент скорости обучения, точность обучения/тестирования, средняя ошибка, среднеквадратическая ошибка, время обучения. Файлы имеют текстовый формат и могут быть обработаны любым текстовым редактором. Помимо этого, файлы могут быть обработаны программой Не(Макег Данная программа позволяет применить к данным тестовых файлов все средства анализа, описанные выше.
Программа Вга)пМакег имеет также функцию периодического сохранения текущего состояния обучаемой сети (не реже одного раза за цикл). В сочетании с файлами статистики эта функция позволяет выбирать промежуточные состояния сети, удовлетворяющие нужным требованиям, например, минимальная ошибка тестирования, минимальное число ошибочных фактов тестирования Изменение скорости обучения вблизи глубокого минимума ошибки.
В процессе обучения нейронная сеть проходит множество состояний, которые характеризуются, в частности, количеством ошибочных фактов и ошибкой выхода. Необязательно, что минимальная ошибка соответствует минимальному количеству ошибочных фактов.
Более того, поведение указанных характеристик для обучения и тестирования может существенно расходиться. В случае постановки задачи с точки зрения оптимальности результатов тестирования необходимо выбрать такое состояние сети, при котором, например, среднеквадратическая ошибка тестирования 223 хз о о ! ! х! о 1 0 1 Сохраним его под именем хогг(аь Исходные данные можно подготовить и в других форматах также, как в пакете НейроПро. Запустим Не)Макег, при етом откроется меню программы (рис 545) Выберем опцию йеад !л Оата Еде (Читать файл данных) В окне диалога выберем и откроем созданный файл хог ба! Выберем далее опцию Мап)ри)аде Оа1а (Преобразование данных) В окне программы появится таблица, представленная на рис. 5 46 224 минимальна, а далее обучить сеть более «тонко».
Здесь можно рекомендовать следующую методику На основе статистики тестирования и обучения выбирается промежуточное состояние сети, при котором фиксируется минимальное количество ошибочных тестовых фактов и малое значение среднеквадратической ошибки Затем делается предположение, что в данном состоянии сеть находится вблизи глубокого минимума ошибки. Из сохраненного файла состояния извлекаются соответствующие промежуточные параметры сети, снижается коэффициент скорости обучения, задается новая частота тестирования и сохранения промежуточных состояний, и сеть запускается на дальнейшее обучение.
В результате снижения скорости обучения нейронная сеть с большей точностью должна обходить рельеф поверхности ошибки, попадая в локальные минимумы, которые ранее «перепрыгивала». Далее результаты обучения извлекаются и обрабатываются в соответствии с приведенной выше методикой. Если достигнутые оптимальные для данного множества состояний параметры не удовлетворяют с точки зрения точности, процедура повторяется Таким образом, в соответствии с втой методикой, непрерывно уменьшая шаг обучения, можно достигнуть состояния сети, отражающего глубокий локальный (возможно глобальный) минимум ошибки.
Создание, обучение, тестирование и опрос сети в среде Вга(пМакег рассмотрим далее на примере уже рассмотренной задачи моделирования логической функции «Исключающее ИЛИ» 1) Подготовка исходных данных Подготовим текстовый файл (разделители — табуляции) следующего содержания: Рис 5 45 Основное меню программы Не!Махег Рис 5 4б Окно преобразования данных утилиты негмакег Нажмем мышью кнопку Х1 и далее выберем из меню окна пункты 1.аЬе!1МагИ Со!агап ав 1прит (Пометить столбец как вход) То же самое проделаем со столбцом Х2, а стопбец т' с помощью команды 1.аЬе11МагИ Со!агап ав Рат1егп (Пометить столбец как выод) укажем как выходной.
В результате таблица преобразуется к ,иду рис, 5.47. Рис 5 47 Исходные данные после преобразования 225 Теперь с помощью команды Р!!е)Сгеа1е Вга!пМайег Г!!ев перейдем к диалоговому окну вида рис 5 48 Рис 5 48 Окно подтверждения записи образованных файлов В нем появится сообщение, что будут подготовлены три файла Вга~пМакег с расширениями, соответственно, *бе(, *(с1 и *!51 Согласимся с этим, нажав кнопку ввг!1е Рйев (Записать файлы), и выйдем из программы, выбрав команду Г!!е(Ех!1 2) Задание структуры сети и параметров ее обучения Запустим программу ВгагпМакег, в меню рабочего окна программы выберем команду Р!!е/йеас! Ме1игогк (Файл/Читать сетевой файл) и далее в окне диалога укажем и откроем файл хог Ое! Окно нейропакета примет при этом вид рис 5 49 В верхней части окна можно выделить следующую информацию открыт файл хог(ас1 (данные обучающей выборки во внутреннем формате Вга~пМа(гег), коэффициент скорости обучения (~еагп) — 1, допустимый уровень ошибки (То(егапсе) — 0,1 Следующая строка в верхней части окна описывает процесс обучения, и пока он не начат, все параметры в строке установлены нулевыми Далее в окне указаны имена входных переменных (Х1 и Х2), выхода сети (У, 001) и соответствующего образца (У, Р(п) обучающей выборки Рис 5 49 Рабочее окно Вга~пыахег после открытия сетевого файла 226 Установим требуемую структуру сети, выбрав команду меню Соппес1)опв/Ме1ууогк В)зе, и далее в появившемся диалоговом окне у~ажем 2 нейрона в первом (скрытом) слое (рис 5 50) с подтверждением этого Рис 5 50 Диалоговое окно задания струкгуры нейронной сети Теперь можно либо скорректировать параметры обучения (через опции меню Рагагпе1егв), либо, согласившись с их величинами по умолчанию, перейти к процессу обучения 3) Обучение сети Выберем команду меню Орега1еЛ'га(п Ме1ууогк, запускающую процесс обучения Спустя некоторое время процесс обучения остановится, и окно программы примет вид рис 5 51 Рис 5 51 Окно нейропакета после завершения процесса обучения Заметим, что нейропакет предоставляет достаточно широкие возможности контроля качества обучения 227 4) Опрос сети.
В приведенном окне значения входов, выхода сети и образца представлены в графической форме в виде столбиков («термометров»). Мышью можно регулировать их длину, тем самым плавно меняя значения входов и наблюдая реакцию обученной сети (т', Оц() Для представления данных в числовой форме, необходимо выбрать команду меню Р(вр!ау/Ед/г МепгчогК Ргвр1ау, после чего в появившемся диалоговом окне (рис. 5.52) задать опцию МипзЬег (Число). После этого можно изменять числовые значения входов, щелкая мышью по соответствующему входу и далее устанавливая его требуемое числовое значение. Выход сети при атом также будет отображаться в числовой форме.
5) Сохранение результатов. Для сохранения результатов достаточно выбрать команду меню л11е/Заче Мевмогк и далее согласиться с предлагаемом именем сохраняемой сети (в нашем случае хог.пе1). На самом деле команд меню нейропакета достаточно много, что создает достаточно комфортную среду для пользователя, но для понимания работы, как представляется, приведенной информации вполне достаточно. Рис.
5 52. Диалоговое окно задания вида отображения информации 228 В.б.б. Общее суждение о нейропакете Процесс нейросетевого моделирования в среде Вга!пМахег производится полностью вручную, что при создании моделей средней сложности приводит к уже значительным трудозатратам. Кроме того, интерфейс пакета построен таким образом, что при длительной работе с моделью пользователь способен запутаться в последовательности обработки данных, что может привести к разрушению модели. Пакет Вга!пМахег Рго/езз!опа! обладает следующими характеристиками, делающими возможным создание на основе его интегрированных программных систем: ° открытая файловая система: вся информация, необходимая для построения, обучения, тестирования, оптимизации, анализа, редактирования и запуска нейросетевых моделей, создаваемых программой, доступна для прочтения и изменения в текстовом режиме и жестко форматирована; правила работы с ней легко формализуемы; ° исчерпывающий набор команд обучения, тестирования, анализа и запуска нейронных сетей из командной строки; ° возможность генерации кода для включения обученных сетей в программы пользователя.
К недостаткам можно отнести отсутствие полной документации по структуре внутреннего формата бинарных файлов программы. Другие достоинства и недостатки программы указаны в гл. 3. 5.6. Нейропакет МР11. 5.6Л. Общая характеристика Пакет моделирования нейронных сетей МР!! (Мо!!!-Раве /па!апсе-Вазео ! еагп!п9) представляет собой разработку фирмы 0п!- чегза! РгоЫегп Зо!чегз, !пс.. Его демо-версия доступна в Интернет по адресу: пг!р://чкч/чч.в!гп!е!.пег/зюз!е!.пе!/чч!пЗ/пеига!-рге.п!гп!. Нейропакет работает под Уч!пооччв и крайне нетребователен к вычислительным ресурсам.
Хотя программа декларируется как нейропакет, на самом деле она не создает нейронную сеть в обычном понимании и не использует известные алгоритмы обучения. Принцип действия пакета основан на идеях кластерного анализа на основе многократного перебора обучающей выборки формируется набор опорных злементов, с помощью которых мож- 229 но объяснить свойства всех остальных Работа пакета возможна в двух режимах В первом режиме (МР1(.— 1) реализуется метод «М ближайших соседей»: для каждого предъявляемого входного вектора находятся М ближайших (например, в смысле евклидова расстояния) опорных векторов, ассоциированных с эталонными выходными, по которым и рассчитывается выход сети. Во втором режиме (МР1(.-2) пакет дополнительно генерирует логические правила причинно-следственных отношений между примерами обучающей выборки, т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
