84959 (Оптимизация размера нейросети обратного распространения)

2016-08-02СтудИзба

Описание файла

Документ из архива "Оптимизация размера нейросети обратного распространения", который расположен в категории "". Всё это находится в предмете "математика" из , которые можно найти в файловом архиве . Не смотря на прямую связь этого архива с , его также можно найти и в других разделах. Архив можно найти в разделе "остальное", в предмете "математика" в общих файлах.

Онлайн просмотр документа "84959"

Текст из документа "84959"

Оптимизация размера нейросети обратного распространения

Ларько А.А., инженер, ЗАО “Инфоцентр”

Рассматривается новая “кривая обобщения” - график зависимости критерия (условно названным волновым), основанного на теореме Байеса, от размера (структуры) нейросети. Вычислительные эксперименты показывают, что локальные минимумы данного критерия хорошо соответствуют свойству традиционной зависимости - ошибки обобщения от размера нейросети. Критерий может быть использован для определения оптимального размера нейросети при отсутствии тестовой выборки.

1. Задача определения оптимального размера нейросети

При создании нейросетей важной задачей является нахождение оптимального размера сети – такого числа скрытых слоёв и нейронов в слоях, которые дадут минимум ошибки обобщения, особенно в случае отсутствия независимой тестовой выборки или сложностью разделить выборку данных на обучающую и тестовую часть.

Поэтому широко используется парадигма “кривых обучения” - зависимостей ошибок обучения и обобщения от размеров нейросети [1,2]. Оптимуму соответствуют локальные минимумы или моменты выхода графиков на асимптоты.

Другим классом кривых обучения являются зависимости внутренних свойств нейросети от её размера, сопоставляемые затем с ошибкой обобщения. Например – анализ [1] внутреннего представления задачи, связь ошибки обучения и максимума суммы модулей весов синапсов, приходящихся на нейрон сети, NIC – критерий, сопоставление вектора средних значений модулей весов синапсов [3] и ошибки обобщения. Такие критерии позволяют обходиться без тестовой выборки.

В работе предлагается новый вариант кривой обобщения – зависимость волнового критерия, от размера (структуры) нейросети. В формализованном виде задача состоит в выборе наилучшей модели (гипотезы, объясняющей наблюдаемые данные) из некоторого доступного множества. Для решения этой задачи надо оценить степень достоверности той или иной гипотезы. Обозначим весь набор имеющихся данных , а гипотезы, объясняющие эти данные (в нашем случае - нейросети), как . Предполагается, что каждая такая гипотеза объясняет данные с большей или меньшей степенью вероятности . Теорема Байеса дает решение обратной задачи - определить степень достоверности гипотез , исходя из их успехов в объяснении данных. Согласно этой теореме, достоверность гипотезы пропорциональна её успеху, а также её априорной вероятности , известной из других соображений, не относящихся к данной серии наблюдений:

(1)

Наилучшая модель определяется максимизацией .

Условием максимума вероятности является минимум ошибки данных на обучающем наборе данных. Наиболее широко используемым методом минимизацией ошибки данных, является метод наименьших квадратов (МНК). В предлагаемом критерии используется модифицированная оценка ошибки по МНК , имеющая вид:

и (2)

где - среднеквадратичная ошибка, N – количество примеров в наборе данных используемых для обучения, - допуск на точность отклика нейросети (выраженный в процентах), Np – количество правильных ответов нейросети на обучающем наборе данных, Kd – значение оценки ошибки данных.

Для максимизации вероятности , в предлагаемом критерии используется известный факт из теории автоматического регулирования - чем меньше колебательность переходного процесса, тем больше устойчивость регулятора. Как показано в работе [4], устойчивость модели напрямую связана с обобщающей способностью модели (нейросети). Оценка колебательности функции ошибки нейросети имеет вид:

(3)

где N – количество примеров в наборе данных используемых для обучения, - допуск на точность отклика нейросети выраженный в процентах, F - количество колебаний функции ошибки данных (численно равное количеству раз смены знака ошибки, на обучающем наборе данных), f – неравномерность колебаний функции ошибки данных, K – значение оценки колебательности функции ошибки нейросети.

Так как в выражении (1), значение знаменателя, для всех нейросетей обученных на конкретном наборе данных одинаково, условно будем считать его равным единице, тогда максимум , будет соответствовать минимуму волнового критерия W равного:

(4)

где K – значение оценки колебательности, Kd – значение оценки ошибки данных.

2. Данные для экспериментальной проверки и результаты

Были взяты 4 базы данных fmtrain, mat1, mat2, mat3, имеющие независимые тестовые наборы, доступные на страничке http://www-ee.uta.edu/eeweb/IP/training_data_files.htm , все задачи представляют задачи регрессии с учителем. Использовались нейросети с одним скрытым слоем и сигмоидной функцией активации, при обучении использовались разные методы оптимизации (градиентный спуск, сопряжённых градиентов, BFGS, модифицированный ParTan) и разные целевые функции (минимум суммы модулей ошибки, минимум среднеквадратичной ошибки, минимум модуля максимальной ошибки). Использовались программные средства NeuroPro 0.25, Deductor Studio. Всего было проанализировано около 1000 нейросетей.

На рисунке представлены графики, для базы данных fmtrain: среднего значения ошибки обобщения (выраженные в процентах доли неправильно решённых примеров в тестовом наборе данных), среднего значения волнового критерия (приведённого к общему масштабу). Вдоль оси ординат отложено число нейронов в скрытом слое нейросети.

Для определения коэффициента корреляции между ошибкой обобщения полученной экспериментальным путём и оценкой ошибки обобщения вычисленной по волновому критерию, было сделано следующее: каждой нейросети (модели) поставлена в соответствие ошибка обобщения, выраженная числом правильно решённых примеров, проведено ранжирование нейросетей по убыванию числа решённых примеров и по возрастанию оценки ошибки обобщения, вычисленной по волновому критерию.

В результате эксперимента определены значения: K - коэффициента корреляции между множествами ранжированных нейросетей, E - ошибки обобщения лучшей нейросети найденной опытным путём, W - ошибки обобщения лучшей нейросети найденной с помощью волнового критерия.

Результаты эксперимента приведены в таблице.

Нейросети (модели)

К

Е,%

W,%

Нейросети базы данных fmtrain

0,96863

14

14

Нейросети базы данных mat1

0,99666

14

14

Нейросети базы данных mat2

0,99993

14,7

14,7

Нейросети базы данных mat3

0,99794

13,7

14,7

Коллектив нейросетй вида базы данных fmtrain

0,92953

4,59

4,59

Множество моделей, состоящее из нейросетей и моделей полученных методами параметрической статистики, база данных - отрезок функции y = sin(x)

0,97912

0

0

Рис. Зависимость ошибки обобщения (процент неправильно решённых примеров тестового набора данных) от числа нейронов в скрытом слое нейросети (сплошной линией показан результат эксперимента, штриховой линией значения волнового критерия).

Как видно из экспериментальных данных предложенный волновой критерий хорошо соответствует кривой обобщения, предоставляя возможность исключить проверку на тестовом наборе данных и обучать нейросеть на всём доступном наборе данных, не разделяя его на обучающий и тестовый фрагменты.

3. Заключение

Предложен новый вариант кривой обучения – зависимость значения волнового критерия от обобщающих способностей нейросети (в частности от размера нейросети). Экспериментально показано, что с его помощью возможно достаточно надёжное определение оптимального размера нейросети, обеспечивающего минимум ошибки обобщения.

Также данный критерий может быть применён и для выбора лучшей модели из множества моделей полученных разными методами математической статистики.

Возможность использования данного критерия в качестве целевой функции не исследовалась, но формальных препятствий в этом направлении нет.

Список литературы

Свежие статьи
Популярно сейчас
Как Вы думаете, сколько людей до Вас делали точно такое же задание? 99% студентов выполняют точно такие же задания, как и их предшественники год назад. Найдите нужный учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
5161
Авторов
на СтудИзбе
438
Средний доход
с одного платного файла
Обучение Подробнее