Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 35

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 35)

Растровые изображения представляются в виде двумерных массивов точек, каждая из которых соответствует входному нейрону. По сути, зто символьное представление двумерного массива данных Выходной растр, кроме того, формирует «температуру» точек, т. е способен представлять значимость выходов отдельных нейронов растра. В одной сети символьные входы могут сочетаться с числовыми, однако, для входов, имеющих тип «растр», никакое сочетание невозможно.

6.6.3. Типы файлов Основными типами файлов являются файлы определений, файлы фактов и файлы сети. Все они имеют текстовый формат и могут создаваться и редактироваться вручную. Файл определений содержит всю необходимую информацию о создаваемой сети (количество слоев и нейронов в них, тип входных и выходных данных, представление информации о работе сети на экране, параметры обучения и т. и.). Данный тип файлов используется программой только в процессе первоначального построения сети.

По умолчанию файл имеет расширение *.бе1 Файл фактов содержит обучающие, тестирующие и рабочие факты, которые будут использоваться созданной сетью. По умолчанию они имеют расширения соответственно '.1с1, * 1з1, *йп 218 Файл сети создается программой в процессе обучения и содержит текущие параметры такие, как веса сети, а также данные из файлов обучающих фактов и определений. Файлы определений и фактов создаются программой Не1Макег ипи вручную, за исключением случаев, когда входом или выходом является растр точек. В этом случае файл создается только вручную. Помимо перечисленных основных файлов Вга~пМакег генерирует множество других типов файлов. Эти файлы могут содержать: выходные данные сети и сопровождающую информацию (*.оц1), статистику обучения (*.з1з) и тестирования (*.з1а), файлы отчетов по исследованиям зависимостей (*.гр1), отдельные параметры созданной сети (*.ех1).

6.6.4. Создание нейросетевой модели Непосредственно процессу создания нейросетевой модели предшествует процедура сбора, анализа и обработки исходных данных с целью наиболее адекватного представления моделируемого процесса. Для предварительной обработки данных в пакете предусмотрена программа г(е1Макег Данные экспортируются в нее из файлов табличных и текстовых форматов (оВазе, Ехсе1), что позволяет провести предобработку и в других приложениях.

После подготовки обучающей выборки определяются параметры нейросетевой модели. Ниже рассматриваются основные процедуры данного этапа. Определеное количества и размера скрытых слоев. Размерность входного сигнала и число нейронов выходного слоя в многослойных нейронных сетях определяются заданной обучающей выборкой. Определение числа нейронов в скрытых слоях представляет из себя нетривиальную задачу В настоящий момент не разработано исчерпывающей и однозначной методики для определения количества скрытых слоев и количества нейронов в них. Согласно исследованиям, для задач, которые используют многослойные нейронные сети с алгоритмом обучения обратного распространения ошибки, достаточно не более двух скрытых слоев.

При включении в сеть третьего слоя резко возрастает время обучения, а сходимость обучения — падает. В большинстве случаев достаточно одного скрытого слоя, и лишь при полностью тупиковой ситуации, в сеть может быть добавлен еще один слой. При этом оезчльтаты предыдущего обучения разрушаются. 219 Количество нейронов в скрытых слоях сильно зависит от размера обучающей выборки Например, если обучающая выборка мала, а количество нейронов велико, то сеть начинает запоминать факты, тогда как в задачах прогнозирования требуется обобщение Обратная ситуация может привести к тому, что сеть никогда не обучится Дпя решения задачи о количестве нейронов в скрытом слое и размере обучающей выборки можно использовать методику, приведенную в гл 1 В программе Вга~пМахег по умолчанию количество нейронов в скрытых слоях устанавливается равным количеству входов, но не менее десяти.

Определеное козффоцоента скоросто обучения Коэффициент скорости обучения определяет степень изменений, которые претерпевают веса сети за один шаг обучения. Таким образом, чем больше этот коэффициент, тем грубее будут подстраиваться веса и тем сильнее сеть будет «рыскать» по поверхности ошибки В начале обучения коэффициент должен быть велик (около 1) для того, чтобы сеть быстрее спустипась с пика поверхности ошибки.

В дальнейшем коэффициент скорости обучения постепенно снижается до уровня 0,1. В программе Вга~пМахег предусмотрена функция постепенного снижения этого коэффициента в зависимости от степени обученности сети. Кроме того, можно установить линейную или экспоненциальную зависимость убывания коэффициента. По окончании процесса обучения и тестирования сеть подготовлена к работе.

При поступлении новых данных могут потребоваться дообучение и оптимизация модепи ввиду заметного расхождения выходов сети и реальных величин. Ниже приводятся основные процедуры оптимизации, некоторые из которых могут быть применены и на этапе первоначального обучения Динамическое сокращение ошибка обучения В процессе обучения нейронная сеть «рыскать» по поверхности ошибки При этом она часто попадает в локальные минимумы сложной поверхности.

Степень точности, которая допускается при сравнении реального выхода сети и обучающей матрицы, сильно влияет на скорость обучения. Чем больше допустимая ошибка, тем больше разброс величин коррекции весов сети от факта к факту Например, при точности 0,25 и требуемом выходе 1,0 ответ сети 0,76 не вызовет необходимой коррекции, тогда как ответ 0,74 заставит сеть скорректировать веса в соответствии с разностью, равной 0,26, что может заставит сеть «скакнуть» далеко по гиперповерхности ошибки, возможно, в высокий локальный максимум, с которого сеть будет спускаться обратно в течение следующих нескольких циклов обучения. Визуально зто можно наблюдать на графике 220 среднеквадратической ошибки в процессе обучения с высоким допустимым отклонением. С другой стороны, на начальных этапах обучения, когда обучающая выборка имеет сильный разброс значений, для ускорения сходимости имеет смысл установить низкую точность проверки выхода сети Далее, когда большинство или все обучающие примеры порождают выходные значения в пределах заданной точности, уровень точности снижают и продолжают процесс.

В Вга~пМахег существует опция параметров обучения, позволяющая постепенно снижать допустимую ошибку по некоторому закону. Таким образом, на начальном этапе сеть обучается с заданной точностью, а когда выполняется условие адекватности выходы, точность умножается на некоторый понижающий множитель. В результате осцилляция весов сети и, следовательно, средней ошибки постепенно уменьшается. Контроль паралича сепго.

В процессе обучения возможен паралич сети, возникающий, когда большинство весов нейронов сети достигает больших значений Что приводит, в свою очередь, к большим значениям выходов, при которых производные логистических функций крайне малы Так как посылаемые обратно в процессе обучения ошибки пропорциональна этим производным, то процесс обучения может практически замереть.

Обычно паралича сети избегают снижением шага обучения. В программе Вга~пМахег предусмотрена функция визуального контроля за распределением весов нейронной сети в виде гистограмм для каждого скрытого и выходного слоев. По вертикали отложено общее количество весов, а по горизонтали — их величина е долях от диапазона. Перед обучением весам придаются случайные малые значения, так что гистограмма имеет форму центрального колокола с максимумом на нулевом значении весов.

В процессе обучения веса претерпевают изменения, стремясь «расплыться> по всей гистограмме. До тех пор, пока веса имеют подобное нормальному распределение, сеть имеет хорошие способности к обучению, ее «познавательные» ресурсы велики. Когда основная масса весов приближается к краям гистограммы, возникает возможность возникновения паралича. Это также сигнализирует о том, что дальнейшее обучение в большинстве случаев бесполезно. Нет однозначных рекомендаций, что делать в таких ситуациях Если задача не очень сложна, проще переобучить сеть в новых условиях. Если сеть сложна, следует внимательно проанализировать ее статистику.

Как свидетельствует опыт, зачастую сети, 221 близкие к параличу, способны завершить процесс обучения и успешно функционировать. В программе также существует опция, способная автоматически уменьшать изменения весов, близких к критическим значениям («тяжелых» весов). Включение шумов в обучающий процесс. Нейронная сеть в процессе обучения стремиться подобрать некоторую многомерную функцию, удовлетворяющую всем примерам обучающей выборки При этом с ростом необходимой точности обучения веса сети подгоняются все точнее и точнее. Одновременно с этим снижаются возможности сети по восприятию новых данных. Так, попытки заставить нейронную сеть как можно более точно воспроизводить выходные факты обучающей выборки в большинстве случаев приводят к значительному успеху. Однако впоследствии оказывается, что предъявление сети фактов, которые сеть еще не «видела», порождает большие ошибки.

Причем, чем с большей точностью обучена сеть, тем значительней ошибки в тестовых испытаниях. Таким образом, стремление обучить сеть на выборке из неограниченного и!или непрерывного множества с высокой точностью приводит к запоминанию ею лишь обучающей выборки, а не к желаемому обобщению предъявляемых данных. Для избежания такой ситуации существует множество методик, основной из которых является внесение шумов в вектор входных величин.

Характеристики

Список файлов книги