Боровиков В.П. - Нейронные сети (778916), страница 30
Текст из файла (страница 30)
Это вполне разумно, особенно при интерактивном обучении сети, когда в любой момент можно нажать на кнопку Стон — Бгор, чтобы прервать обучение, если окажется, что что-то идет не так, как надо. Однако существуют более удобные способы (особенно при длительном обучении) указать сети, когда она должна прекратить обучение. В пакете БТ №ига! №~июгкз это делается в окне обучения, на вкладке Окончание анализа, которая изображена на рис.
б.3. Те или иные условия остановки используются во всех итеративных алгоритмах обучения пакета БТ Иеига! №поог!сз, вюпочая обратное распространение и метод сопряженных градиентов. Кроме максималыюго числа эпох можно задать уровень допустимой ошибки (Тагяег Еггог), при достижении которого обучение должно прекращаться, или величину минимального улучшения (М!и!тит 1тртогетеп!) ошибки за фиксированное число эпох. Возможно, самый полезный из этих параметров — величина минимума улучшения ошибки. Смысл ес в слсдующсм: сели на протяжении заданного 143 Нечарокные сети. 8ТАТ!ЗТЮА Мета! Немоте Ряс.
6.3 числа эпох ошибка обучения и контрольная ошибка не улучшились на зту величину, обучение прекращается. Например, положим параметр Окно равным одной эпохе, повторно инициализируем сеть и обучим ее. Если при этом величины минимального улучшения обе взяты равными нулю, программа БТ №ига! №пвогкв остановит обучение, как только обучающая или контрольная ошибка начнет расти. Если вас интересует только момент начала роста контрольной ошибки, то нужно установить величину минимального улучшения ошибки для обучающего множества равной 1,0, а для контрольного множества оставить ее равной 0,0. Зто приведет к тому, что даже сильный рост ошибки обучения будет считаться допустимым, но малейший рост контрольной ошибки — недопустимым; таким образом, фактически будет проверяться только контрольная ошибка.
Замечание. При использовании меюнода обриптого риснространения ошибка обучения действительно иногда мозкет распш. Если тсе используется мепюд сопряженных гридиентов, то ошибка обучения, в отличие от контрольнои ошибки, ухудшиться не может. Одна из трудностей, которая встречается при таком подходе, состоит в том, что в процессе обучения ошибка может плавать вверх — вниз.
Зто можно учесть с помощью параметра Окно так, чтобы обучение останавливалось только в том случае, если результаты неудовлетворительны на нескольких эпохах подряд. Например, если задать Окно в пять эпох, то обучение прекратится только в том случае, когда ошибка ухудшилась, а затем на протяжении пяти эпох пе достигла своего предыдущего наилучшего значения. Даже в том случае, когда используются условия остановки, прерывающие обучение всякий раз, как только результаты начинают ухудшаться, остается проблема того, что самая лучшая настройка сети, выявленная программой ЮТ №иха! №ги огкз, будет затерта при последующем обучении.
В пакете БТ Иеига! Мегшогкз имеется опция Находить и сахро нять лучшую сеть, с помощью которой можно сохранить лучшую из сетей, получен- 144 Гпаеа Е. Папьнеошое возможности нейронных сешеа Рис. 6.4 внх в процессе обучения. Изменять данную опцию можно в диалоге обучения Нейронной сети на вкладке Окончание анализа (рис.
6.4). По умолчанию программа о Т беата! №гвогlи автоматически запоминает лучшую из полученных сетей, причем не только на одном прогоне обучевия, но и на нескольких прогонах одной и той же илн разных сетей. Благодаря этому можно свободно экспериментировать с сетями, будучи уверенным, что наилучший достигнутый результат будет всегда доступен. Иногда пользователь заинтересован не просто в том, чтобы добиться минимальной обучающей илн контрольной ошибки.
Другим важным соображением может быль выбор сети как можно меньшего размера. Зто обстоятельство можно учесть в Мастере решений (в Конструкторе сетей размер сети фиксирован). Для этого при задании параметров переходим на вкладку Сохранить и выбираем в качестве Критерия выбора сохраняемой сети— Баланс между ошибкой и сложностью. Программа ЮТ Уеига! №поогlсх прн решении вопроса о том, является ли текущий вариант сети лучшим из полученных на этот момент, будет прибавлять величину штрафа за элемент на каждый элемент сети, и таким образом преимущество будет отдаваться более простым сетям. Если нет необходимости в сохранении лучшего варианта сети при испольювании Конструктора сетей (например, из соображений эффективности), можно полностью отключить эту функцию, убрав пометку в поле Находить и сохранять лучшую сеть.
РЕШЕНИЕ ЭАЙАЧ РЕГРЕССИИ Задача «нсключающего нли» и ирисы Фишера — это примеры задач классификации, где цель состоит в том, чтобы отнести каждое наблюдение к одному из заданных классов. 145 Недронные свого. ЯТАТгвтгСА Нее!а! Не!его!!ге В отличие от этого, в задачах регрессии цель состоит в том, чтобы предсказать значение непрерывной (числовой) выходной переменной по значениям входных переменных. В задаче с ирисами входные переменных были в известной степени избыточны. Мы покажем, что это так, прогнозируя значение четвертой входной переменной (Ширина лепестка — Ре1а! и ггггп) по значениям первых трех.
Прн этом потребуется корректировка набора данных и обучение сети для решения задачи регрессии. Редакгпцрованце переменных цз набора данных Сначала указываем тнп задачи: регрессия. Для того чтобы подготовить данные к описанной выше задаче, выбираем указанную переменную (Ширина лепестка) в качестве непрерывной выходной переменной, а все остальные измерения лепестка — в качестве непрерывныхвходных.
Обычно данные принято располагать так, чтобы сначала шли входные переменные, а за ними — выходные. Однако в пакете о'Т №ига1 Феггрогкз можно объявлять входной, выходной нли неучитываемой любую переменную из файла данных. Особенно часто приходится пользоваться последней возможностью, поскольку в практических задачах, как правило, не сразу становится ясно, какие переменные действительно нужны. Поэтому можно экспериментировать, исключая те или иные (как правило, входные) переменные и строя модель без них.
Кроме того, имеется возможность объявить переменную одновременно входной и выходной — это необходимо при анализе временных рядов и прн автоассоциативном уменьшении размерности. Обучение в задача реарессцц После того, как сформирован набор данных, построение и обучение сети происходит во многом так же, как и в задачах классификации. Сначала с помощью Конструктора сетей создадим многослойный персептрон с тремя слоями (одним скрытым слоем) и в промежуточном слое возьмем шесть элементов. Затем обучим сеть с помощью алгоритма Левенберга-Маркара. Для этого на вкладке Многослойный персептрон — Обучение выберем только один этап обучения. Можно добиться того, чтобы ошибка сделалась порядка 0,1.
Метод Лсвснберга-Маркара (В!явор, 1995) считается одним из лучших алгоритмов нелинейной оптимизации, известных на сегодняшний день, н это один из наиболсе быстрых известных алгоритмов обучения нейронных сетей. Он, однако, имеет два существенных ограничения (а также некоторые менее существенные): 146 Гпааа б. Папьнейшое возможности нейронных сетей ° алгоритм можно применять только для относительно небольших сетей (в пределах нескольких сотен нейронов); ° алгоритм годится только для сетей с одним выходом.
Если указанные условия выполнены (как в нашем примере), то, как правило, стоит выбрать именно этот алгоритм. Скорее всего, вы обнаружите, что ошибку обучения здесь можно сделать гораздо меньшей, чем это позволяет метод обратного распространения (на самом деле это относительное преимушество, поскольку уменьшить аналогичным образом контрольную ошибку не удается; тем не менее, это говорит о возможностях алгоритма), Замечание. Применение алгоритма Певенберга-Маркира связано с одной особенностью. Оценивая очередной вариант сент, алгоритм отвергаезп его, если при эпюм увеличилась ошибки. Программа БТ Иеига1 №п«огйз изображает на грифике ошибки рассмотренных ею вириинтов сетей; при этим график обучения может оказаться очень «зазубренныма Это, однако, не означает плохой работы алгоритма, поскольку нредыдузций вириинт сети хранизяся в памяти до тех пор, пока он не будет превзойден.
Результаты работы сети в задаче регрессии можно оценить по информации, которая выдается на вкладке Описательные — Описательные статистики. Здссь подсчитываются среднее и стандартное отклонение для выходных переменных и ошибки сети, а также отношение стандартного отклонения ошибки к стандартному отклонению данных (рис.
6.5). Рпс. б.б Последняя статистика является хорошим показателем качества регрессии. Если бы у нас вообще не было ни одной входной переменной, то в качестве прогноза для выходной переменной естественно было бы брать ее среднее значение, и в таком случае ожидаемая ошибка прогноза совпадала бы со стандартным отклонением данных.
Поэтому качество решения задачи регрессии естественно оценить тем, во сколько раз ошибка прогноза улучшила этот по- Неаронные оегоо. ВТАТ18ТГСА ггеога~ ггеоггогна казатель. Обычно значение средней ошибки (лп.ог Меал) получается близким к нулю, а стандартное отклонение прогноза оказывается существенно меньше стандартного отклонения данных. Если величина Отношение ст огякл. — ЯП Аагго меньше 0,1, это означает прекрасное качество регрессии. В нашем примере можно добиться отношения 0,2 или несколько меньше. Программа оТ №ига1 №~вогг1з может вычислить все указанные статистики раздельно для обучающего, контрольного и тестового. Результаты выводятся в отдельные таблицы.
РАПИАПЬНЫЕ БАЗИСНЫЕ ФУНКЦИИ Обсуж9е нее В пакете ЮТ №ига1 №гвог/и имеется возможность работать с сетями различных архитектур, из которых, вероятно, лучше всего известны многослойные персептроны. Другой, тоже часто используемый тип элементов — радиальная базисная функция (РБФ) (НауЫп, 1994; В1зпор, 1995). Каждый элемент многослойного персептрона выполняет линейное преобразование входного вектора (набора значений, подаваемого на вход элемента); более точно — берется взвешенная сумма входов, и из нее вычитается пороговое значение. В пакете БТ №ига1 №гиюгlы такое преобразование называется линейной РЯР (постсинаптической потенциальной) функцией.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
