Хайкин С. - Нейронные сети (778923), страница 53
Текст из файла (страница 53)
264 Глава 4. Мноюслойный персептрон Используемые здесь термины "средний" и "наихудший" означают распределение обучающих пар типа "вход-выход". Определение 3 является наиболее ценным для практики, однако его сложно применить, так как минимизация среднеквадратнческой ошибки — это математический критерий оптимальности, применяемый при обучении сети, и, как говорилось ранее, снижение среднеквадратической ошибки не всегда ведет к улучшению обобщающей способности. С исследовательской точки зрения второе определение представляет больший интерес, нежели первое. Например, в [684] были представлены результаты серьезного исследования оптимальной настройки параметра скорости обучения з), при котором многослойному персептрону требуется минимальное количество эпох для аппроксимации глобально оптимальной матрицы синаптических весов с заданной точностью (правда, только для частного случая линейных нейронов).
Тем не менее в общем случае при экспериментальном и эвристическом подходе определения оптимальных значений з) и а используется определение 1. Поэтому в своем эксперименте будем руководствоваться именно этим определением. Используя многослойный персептрон с двумя скрытыми нейронами, а также различные комбинации значений параметра скорости обучения т) Е 10, 01; О, 1; О, 5; О, 9) и константы момента а Е (О, 0; О, 1; О, 5; О, 9), исследуем скорость сходимости сети. Каждая из конфигураций обучается на одном и том же множестве примеров при одном и том же наборе исходных значений синаптических весов для Х = 500.
Поэтому результаты можно сравнивать напрямую, без внесения поправок. Процесс обучения длился в течение 700 эпох. Такую продолжительность обучения мы посчитали достаточной для достижения алгоритмом обратного распространения некоторого локального минимума на поверхности ошибок. Усредненные кривые процесса обучения показаны на рис. 4.15, а — г для различных значений параметра з). Показанные экспериментальные кривые отражают следующие тенденции обучения. ° В общем случае малые значения параметра з) обеспечивают более медленную сходимость. Прн этом более точно определяется точка локального минимума на поверхности ошибок.
Это интуитивно понятно, так как при меньших значениях з) поиск минимума выполняется в более широкой области поверхности ошибок. ° При з) — 0 выбор больших значений константы момента (а — 1) приводит к увеличению скорости сходимости. С другой стороны, при з) — «1 малые значения фактора момента а — 0 повышают устойчивость обучения. ° Использование значений з) =(0,5; 0,9) и а =0,9 приводит к колебаниям средне- квадратической ошибки в процессе обучения и более высокому ее значению по завершении процесса сходимости.
И то и другое — нежелательно. 266 Глава 4. Многослойный персептрон О,ЗВ 0,36 0,34 0,32 Средиеквадршическав 0,3 ошибка 0,28 0,26 0,24 о,гг 0,2 'о 50 Количесшо эпох в) 0,4 0,38 0,36 0,34 О,З2 Средиеквапратическвв 0,3 ошибка 0,28 0,26 0,24 0,22 0,2 0 )00 200 300 400 500 600 700 Количество эпох г) Рис. 4.16. Усредненные кривые обучения для различных значений константы момента а и параметра скорости обучения: и = о, 01 (а); и = о, т (б); ч = о, б (в); т) = 0,9 (г) 4.8. Компьютерный эксперимент 267 ТАБЛИЦА 4.4. Конфигурация оптимизированного многослойного персептрона Параметр Оптимальное число скрытых нейронов Оптимальный параметр скорости обучения Оптимальная константа момента Символ Значение гнорх 2 ссорс а„с 0,5 0,38 0,36 0,34 0,32 Среанеквааратичоскак 0,3 ошибка 0,28 0,26 0,24 0,22 0,2 0 $0 20 30 40 50 60 70 80 90 300 Количествоэпох Рис.
4.16. Лучшие кривые обучения, выбранные на рис. 4.18 Оценка оптимальной архитектуры сети Для "оптимизированного" многослойного персептрона, параметры которого приведены в табл. 4.4, была исследована граница решений, построена усредненная по ансамблю кривая обучения и оценена вероятность корректной классификации. Если обучающее множество конечно, то функциональное преобразование сети, обученной На рис.
4.16 показаны графики "наилучших" кривых обучения по каждой из групп, представленных на рис. 4. 15, для выбора наилучшей кривой в смысле определения 1. На рисунке видно, что оптимальное значение параметра скорости обучения 11, „составляет порядка 0,1, а а,ос — около 0,5. В табл. 4.4 приведены оптимальные значения параметров сети, которые будут использоваться в оставшейся части эксперимента.
Как видно на рис. 4.16, конечная среднеквадратическая ошибка мало отличается для различных кривых. Это значит, что поверхность ошибок в нашей задаче достаточно гладкая. 268 Глава 4. Мноюслойный лерселтрон ТАБЛИЦА 4.5. Обобщенные статистические показатели производительности при оптимальных значениях параметров, стохастично по своей природе. Поэтому показатели производительности усреднялись по двадцати независимо обучаемым сетям. Каждое из обучающих множеств состояло из 1000 примеров, выбранных из классов С, и Сз с одинаковой вероятностью. Эти примеры предъявлялись сетям в случайной последовательности.
Как и ранее, обучение выполнялось в течение 700 эпох. Для экспериментального определения вероятности корректной классификации использовалось сгенерированное ранее тестовое множество из 32000 примеров. На рис. 4.17, а показаны три "лучшие" границы решений для трех из 20 сетей. На рис. 4.17, б показаны три "наихудшие" границы решений для трех других сетей из этой же группы. На этих рисунках видно, что границы решений, построенные с помощью алгоритма обратного распространения, являются выпуклыми по отношению к области классификации вектора наблюдения х. Статистические данные о производительности, вероятности корректной классификации и конечной среднеквадратической ошибке, вычисленной для обучающего множества, приведены в табл.
4.5. Напомним, что вероятность корректной классификации для оптимального байесовского классификатора составляет 81,51%. 4.9. Извлечение признаков Скрытые нейроны (ЬнЫеп пецгоп) играют крайне важную роль в работе многослойного персептрона, обучаемого методом обратного распространения, поскольку они выступают в роли детекторов признаков (Теашге дегесгог). В ходе обучения скрытые нейроны постепенно "выявляют" характерные черты данных обучения. Это осуществляют с помощью нелинейного преобразования входных данных в новое, скрытое пространство (ЬЫоеп зрасе) (или пространство признаков (Теапзге зрасе)). Эти термины будут использоваться во всей книге.
В новом пространстве классы (если взять для примера задачу классификации) легче отделить друг от друга, чем в исходном пространстве. Это утверждение уже было проиллюстрировано на примере решения задачи ХОК в разделе 4.5. 4.9. Извлечение признаков 269 О 2 4 б а) -4 -б -4 -2 О 2 б б) Рис. 4.17. Графики трех "лучших" (а) и трех "наихудших" (б) границ решений с точностью классификации 80,39; 80,40; 80,43 и 77,24; 73,01 и 71,59% соответственно 270 Глава 4.
Многослойный персептрон Чтобы перевести обсуждение в математический контекст, рассмотрим многослойный персептрон с одним слоем, состоящим из т1 нелинейных скрытых нейронов, и одним слоем линейных выходных нейронов размерности тз — — М. Выбор линейных нейронов в выходном слое обусловлен необходимостью сфокусировать внимание только на роли скрытых нейронов в работе многослойного персептрона. Синаптические веса сети нужно настроить так, чтобы минимизировать среднеквадратическую ошибку (по Х образам) между целевым выходом (желаемым откликом) и фактическим выходным сигналом сети, генерируемым в ответ на тс-мерный вектор входного сигнала.
Пусть я (и) — выходной сигнал скрытого нейрона 7, генерируемый в ответ на представление и-го входного вектора. Он является нелинейной функцией образа (вектора), подаваемого на входной слой сети. С каждым нейроном связана сигмоидальная функция активации. Выходной сигнал нейрона к выходного слоя описывается выражением уь(п) = ~ юь,.г,(п), 1с = 1, 2, ..., М; и = 1, 2, ..., Ю, (4.69) гДе 1сьс — смещение, свЯзанное с нейРоном к. ФУнкциЯ стоимости, котоРУю следУет минимизировать, записывается в виде (4.70) Заметим, что здесь подразумевается использование пакетного режима обучения.
Используя (4.69) и (4.70), можно довольно легко переписать функцию стоимости в более компактной матричной форме: (4.71) где 'й~ — матрица синаптических весов размерности М х т1, относящаяся к выходному слою сети. Матрица Х выходов скрытых нейронов (за вычетом их среднего значения) имеет размерность т1 х Х. Эта матрица состоит из сигналов, полученных в результате обработки Х входных образов (входных сигналов)„т.е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
