Резюме (Вероятностный метод для адаптивного времени вычислений в нейронных сетях), страница 2

Пространственная адаптация глубины (числа слоёв) СНС в зависимости от объекта улучшает соотношение между скоростью икачеством работы СНС, а также повышает интерпретируемостьмодели.3. Варьирование глубины СНС может осуществляться вероятностной моделью с латентными переменными.Практическая значимость.

Полученные результаты расширяютобласть практической применимости СНС за счёт улучшения соотношения между скоростью и качеством работы и повышения интерпретируемости.6Mетодология и методы исследования. Использована методология глубинного обучения, аппарат вероятностного моделирования, языки программирования Python, CUDA, MATLAB, библиотеки NumPy,MatConvNet, TensorFlow.Достоверность результатов обеспечивается детальным изложением используемых методов, алгоритмов, доказательствами теорем, а такжеописанием экспериментов и публикацией исходного кода, что обеспечивает воспроизводимость.Основные положения, выносимые на защиту:1. Метод перфорирования свёрточных сетей, позволяющий пространственно варьировать объём вычислений в СНС.2.

Метод пространственно-адаптивного времени вычислений длянастройки глубины (числа слоёв) СНС в зависимости от объекта и пространственной позиции.3. Вероятностная модель с латентными переменными для адаптации глубины СНС, а также метод стохастической вариационнойоптимизации для настройки модели.4. Экспериментальная валидация предложенных методов, включающая сравнение с аналогами.Личный вклад в положения, выносимые на защиту. Результатыполучены диссертантом лично. В работах по теме диссертации диссертантом предложены ключевые научные идеи, реализованы и проведены эксперименты, написан текст статей. Результаты из подраздела 4.4работы «PerforatedCNNs: Acceleration through Elimination of RedundantConvolutions» (NIPS 2016) получены Айжан Ибрагимовой и не включеныв текст диссертации.

Вклад остальных соавторов заключается в рецензировании программного кода экспериментов, технической помощи в постановке экспериментов, обсуждениях полученных результатов, правкахтекста статей, постановке решаемой задачи и общем руководстве исследованиями.Публикации и апробация работыВо всех публикациях по теме диссертации соискатель является главным автором.Публикации повышенного уровня.1. Figurnov M., Ibraimova A., Vetrov D. P., Kohli P. PerforatedCNNs:Acceleration through Elimination of Redundant Convolutions //7Advances in Neural Information Processing Systems 29. 2016.

P.947–955. Конференция ранга A*, индексируется SCOPUS.2. Figurnov M., Collins M. D., Zhu Y., Zhang L., Huang J., Vetrov D.,Salakhutdinov R. Spatially Adaptive Computation Time for ResidualNetworks // The IEEE Conference on Computer Vision and PatternRecognition (CVPR). 2017. P. 1039–1048. Конференция ранга A*,индексируется SCOPUS.3. Figurnov M., Sobolev A., Vetrov D. Probabilistic adaptive computationtime // Bulletin of the Polish Academy of Sciences: TechnicalSciences. 2018. Vol. 66, no. 6.

P. 811–820. Журнал индексируетсяWeb of Science (Q2) и SCOPUS (Q3).Прочие публикации.1. Figurnov M., Vetrov D. P., Kohli P. PerforatedCNNs: Accelerationthrough Elimination of Redundant Convolutions // InternationalConference on Learning Representations (ICLR) Workshop. 2016.Доклады на конференциях и семинарах.1. Семинар научной группы байесовских методов, г. Москва, 20февраля 2015 г. Тема: «Ускорение свёрточных нейронных сетей».2. Рождественский коллоквиум по компьютерному зрению, Сколтех, г.

Москва, 28 декабря 2015 г. Тема: «PerforatedCNNs:Acceleration through Elimination of Redundant Convolutions».3. Семинар ИППИ РАН «Структурные модели и глубинное обучение», г. Москва, 21 марта 2016 г. Тема: «Acceleration ofConvolutional Neural Networks through Elimination of RedundantConvolutions».4. Международная конференция по обучению представлений«International Conference on Learning Representations 2016»,дополнительная секция (воркшоп), г. Сан-Хуан, Пуэрто-Рико,США, 3 мая 2016 г. Тема: «PerforatedCNNs: Acceleration throughElimination of Redundant Convolutions».5.

Международная конференция по нейронным системам обработки информации «Conference on Neural Information ProcessingSystems 2016», основная секция, г. Барселона, Испания, 7 декабря2016 г. Тема: «PerforatedCNNs: Acceleration through Eliminationof Redundant Convolutions».6. Семинар компании OpenAI, г. Сан-Франциско, Калифорния,США, 1 марта 2017 г. Тема: «Spatially Adaptive Computation Timefor Residual Networks».87. Семинар научной группы байесовских методов, г.

Москва, 10марта 2017 г. Тема: «Spatially Adaptive Computation Time forResidual Networks».8. Международный саммит «Машины могут видеть», г. Москва,9 июня 2017 г. Тема: «Spatially Adaptive Computation Time forResidual Networks».9. Международная конференция по компьютерному зрению и распознаванию образов «IEEE Conference on Computer Vision andPattern Recognition 2017», основная секция, г.

Гонолулу, Гавайи,США, 22 июля 2017 г. Тема: «Spatially Adaptive Computation Timefor Residual Networks».10. Рождественский коллоквиум по компьютерному зрению, Сколтех, г. Москва, 26 декабря 2017 г. Тема: «Spatially AdaptiveComputation Time for Residual Networks».Содержание работыОбъем и структура работы. Диссертация состоит из введения, четырёх глав и заключения. Полный объём диссертации составляет 116страниц, включая 30 рисунков и 7 таблиц.

Список литературы содержит167 наименований.Во введении обосновывается актуальность проводимых в даннойдиссертационной работе исследований, формулируется цель и задачи работы, излагается научная новизна работы и положения, выносимые на защиту.Первая глава носит обзорный характер и состоит из двух частей.В первой части приводится обзор методов глубинного обучения, в частности свёрточных нейронных сетей (СНС). Описываются решаемые СНСзадачи: классификация и сегментация изображений, детекция объектов идр. Формулируется задача обучения с учителем, в которой на сегодняшний день наиболее эффективны методы глубинного обучения.

Излагаются методы стохастической оптимизации и алгоритм обратного распространения ошибки для настройки параметров (обучения) нейронных сетей. Также описаны методы инициализации параметров нейронных сетей, существенно влияющие на итоговое качество работы из-за невыпуклости оптимизируемого функционала. Затем рассматриваются наиболее распространённые слои нейронных сетей: полносвязный слой, различные функции активации, слой дропаута, софтмакс.

Далее описывают9ся слои, специфичные для СНС: свёрточный слой, слой пулинга, батчнормализация и др. Приводится историческая справка о конкурсе поклассификации изображений ImageNet и примеры свёрточных нейронных архитектур, наилучшим образом зарекомендовавших себя на практике: AlexNet, VGG-16, остаточная сеть (ResNet). Во второй части главырассматриваются методы обучения параметров случайных переменных,требуемые для настройки нейросетей со стохастическими переменными.Описывается метод REINFORCE, применимый к широкому классу вероятностных распределений, но обладающий высокой дисперсией градиентов; трюк репараметризации, применимый лишь для узкого класса непрерывных переменных, но имеющий низкую дисперсию градиентов; релаксация Гумбель-Софтмакс, позволяющая обучать параметры дискретныхпеременных при помощи репараметризации.Во второй главе предлагается метод перфорации СНС, позволяющий ускорить работу СНС за счёт уменьшения пространственной избыточности.

Метод назван по аналогии с методом перфорации циклов, ускоряющим программы за счёт пропуска некоторых итераций в циклах.Сначала описывается перфорированный свёрточный слой, являющийся модификацией обычного свёрточного слоя и имеющий такие жеразмерности входа, выхода и тензора весов. Ключевой гиперпараметрперфорированного свёрточного слоя –– маска перфорации, подмножествопространственных позиций выхода свёрточного слоя. Степенью перфорации называется доля пространственных позиций, не лежащих в маске перфорации. Значения выходов слоя в пространственных позициях измаски перфорации вычисляются точно, то есть равны значениям обычного свёрточного слоя. Значения остальных пространственных позиций интерполируются значением ближайшей позиции, вычисленной точно.

Возможны и другие методы интерполяции, например, замена пропущенныхзначений на нули. Из определения ясно, что перфорированный свёрточный слой является обобщением стандартного свёрточного слоя. Эквивалентность с ним достигается в том случае, если маска перфорации содержит все пространственные позиции.Предлагается несколько способов генерации масок перфорации, тоесть выбора подмножества пространственных позиций, рис. 1. Равномерная маска получается равновероятным выбором позиций без возвращения.

Её недостатком является то, что полученные позиции часто образуют компактные группы, что увеличивает среднее расстояние до точек измаски перфорации. Решётчатая маска строится как декартово произве10а) Равномернаяб) Решётчатаяв) Структурнаяг) ВажностнаяРис. 1 — Примеры масок перфорации.дение подмножеств позиций по каждой из координат, выбираемых псевдослучайной схемой генерации последовательностей целых чисел [25].Если число позиций делит нацело размерность выхода, то маска представляет собой регулярную решётку. В противном случае в решётке присутствуют нерегулярности.