ВКР: Оптимизация эволюционного метода поиска архитектур глубоких нейросетей с использованием сжатия моделей

Аннотация

Число задач, требующих нейросетевой обработки, неуклонно растет . Уве-личиваются объемы обрабатываемых данных. Вследствие этого усложняют-ся архитектуры нейросетей, что влечет за собой большие временные затраты на их построение и обучение.

Работа посвящена оптимизации методов автоматического построения ар-хитектур глубоких нейросетей. Один из способов решения задачи определе-ния хорошей архитектуры – использование эволюционных методов поиска архитектур, предполагающих обучение популяции нейронных сетей с целью оценки их качества. Одним из таких методов является CoDeepNEAT: бла-годаря способу представления генотипов, выделяющему отдельные популя-ции для слоев сети и схем соединения слоев, он дает возможность выпол-нять поиск архитектур глубоких нейросетей. Для оптимизации эволюцион-ного поиска возможно использование MorphNet – способа автоматической оптимизации нейронных сетей, основанного на изменении размеров слоев имеющейся архитектуры. Предлагается использовать MorphNet для оптими-зации популяций нейросетей, возникающих на этапах эволюционного метода CoDeepNEAT, путем их сжатия, тем самым ускоряя поиск за счет сокраще-ния времени, необходимого на оценку качества сетей.

Предложенный подход реализован и исследован на задаче классификации изображений на кластере «Polus».

Исследования предложенного подхода показали, что разработанный ме-тод позволяет добиться ускорения по сравнению с методом CoDeepNEAT без существенных потерь в точности генерируемых сетей.
























2

Содержание


1 Введение


2 Обзор основных подходов к оптимизации архитектур нейронных сетей

5

5

5

6

6

7

7

7

8

9

9

11

13

13

14

15

16







3

7 Заключение

8 Список литературы
29

29




































































4

• Введение

Задачи глубокого обучения требуют подходящей для них нейросетевой архитектуры. Нахождение хорошей архитектуры может быть непростой задачей. В последние годы активно развиваются методы автоматического построения нейросетей, особенно глубо-ких нейросетей. В этом случае временные затраты возрастают еще больше.

Для автоматизации процесса построения архитектур можно использовать нейроэ-волюционные методы. Они переносят задачу нахождения наилучшей архитектуры в область естественного отбора: нейронные сети представляются в виде генотипов, кон-курируют между собой, скрещиваются и мутируют. Таким образом находится наиболее подходящая для решения задачи архитектура.

Актуальным является разработка методов, позволяющих сократить временные рас-ходы на построение нейросетей. Методам поиска архитектур может потребоваться мно-го времени для решения задачи.

Эволюционный метод поиска архитектур предполагает обучение составляющих по-пуляцию нейронных сетей с целью оценки их приспособленности к решению задачи. MorphNet — способ автоматической оптимизации нейронных сетей, основанный на из-менении размеров слоев архитектуры с помощью регуляризации, вызывающей разре-женность. Предлагается использовать MorphNet для оптимизации популяций нейросе-тей, возникающих на этапах нейроэволюции. Сжатие архитектуры сетей, возникающих по ходу поиска, может помочь ускорить процесс. Подход MorphNet позволяет оптимизи-ровать нейронную сеть по целевому ресурсу, в качестве которого выступает количество операций с плавающей точкой. Применение соответствующего регуляризатора способ-но ускорить обучение оптимизированной сети.



1.1 Цель работы

Целью работы является оптимизация методов автоматического построения архитек-тур глубоких нейросетей. В работе рассматривается применение метода MorphNet [1] для оптимизации построения архитектур глубоких сетей с помощью нейроэволюцион-ного метода CoDeepNEAT [2] применительно к задаче классификации изображений с помощью сверточных нейронных сетей. В качестве критерия оптимизации выступает время работы нейроэволюционного метода.



1.2 Постановка задач

Задачами магистерской диссертации являются: