Резюме (Вероятностный метод для адаптивного времени вычислений в нейронных сетях), страница 3

Структурная маска перфорации содержит позиции, используемые в следующем слое пулинга максимальное число раз.Эта маска основана на наблюдении, что при некоторых параметрах слояпулинга, например, при ядре размера 3 × 3 и шаге 2 (такие параметрыприменяются в сетях Network in Network и AlexNet), различные выходы свёрточного слоя используются разное число раз. Наконец, важностная маска перфорации учитывает относительный вклад пространственных позиций в функцию потерь. Назовём важностью позиции на выходе свёрточного слоя для конкретного изображения приближение первого порядка по Тейлору абсолютной величины изменения функции потерьпри замене истинного значения в этом выходе на ноль. Важность всехвыходных позиций может быть эффективно подсчитана при помощи алгоритма обратного распространения ошибки.

Важность пространственной позиции определим как сумму важностей позиций по всем каналам,усреднённую по объектам обучающей выборки. Важностная маска перфорации содержит пространственные позиции с наибольшей важностью.На выборке ImageNet в важностной маске преобладают центральные позиции, поскольку классифицируемый объект как правило центрирован.Также автоматически появляется решётка, характерная для структурноймаски перфорации.Преимуществом перфорированного свёрточного слоя является возможность эффективной реализации, то есть получение сокращения времени вычислений, близкое к снижению числа операций.

Для этого предлагается произвести сведение вычисления слоя к матричному умножению:из входного тензора вырезаются подтензоры, соответствующие выход11тензор Uматрица данных Mтензор Vядра Kim2row=×" ′1′%1X′" Рис. 2 — Сведение вычисления свёрточного слоя к матричному умножению.ным значениям из маски перфорации, и помещаются в строки матрицыданных (см. рис. 2). Умножение матрицы данных на матрицу ядра позволяет получить точные значения свёрточного слоя в пространственных позициях из маски перфорации.

Интерполяция пропущенных значений выполняется неявно путём индексации операций чтения в следующем слое.За счёт этого метод также достигает сокращения потребляемой памяти.Экспериментальная валидация метода производится на задаче классификации изображений. Сначала предложенные виды масок перфорации сравниваются на стандартной задаче ускорения одного свёрточного слоя сети AlexNet (выборка ImageNet). Показывается, что наилучшими являются решётчатая и важностная маски перфорации.

Затем на сетиNetwork in Network (выборка CIFAR-10) демонстрируется превосходствосоотношения скорости и качества работы перфорации над более простыми базовыми методами, такими как увеличение шага свёрточного слояи уменьшение разрешения входного изображения. Наконец, перфорацияиспользуется для ускорения целых сетей AlexNet и VGG-16 на выборкеImageNet, что свидетельствует о применимости перфорации для ускорению СНС большого размера. Рассматриваемые сети можно ускорить в двараза на CPU и на GPU с увеличением ошибки не более, чем на 2,6%.

Теоретические ускорения как правило близки к эмпирическим, что доказывает эффективность предлагаемой реализации перфорированного свёрточного слоя.В третьей главе рассматривается метод пространственноадаптивного времени вычислений (ПАВВ) для остаточных сетей. Данныйметод позволяет фокусировать вычислений на важных областях изображения, рис.

3.Сначала метод адаптивного времени вычислений (АВВ) [24], предложенный ранее для РНС, применяется к остаточным сетям, распростра1224222018161412108Рис. 3 — Детектированные объекты (слева) и карта стоимости вычисленийпредлагаемого метода ПАВВ (справа) для валидационного изображениявыборки данных COCO.

Метод ПАВВ использует больше вычислений вобластях изображения, которые похожи на объект.-+ч ы56x56x256 28x28x512224x224x31я14x14x102423+ы7x7x20484Рис. 4 — Метод адаптивного времени вычислений для остаточной сетиResNet-101.нённой архитектуре СНС. Остаточная сеть состоит из остаточных модулей, функций вида U l = U l−1 + f (U l−1 ), где f (U l−1 ) –– свёрточная нейронная подсеть, называемая остаточной функцией.

Последовательностьостаточных модулей с одинаковыми размерностями выхода будем называть остаточным блоком. В методе АВВ каждый остаточный модуль дополнительно возвращает вероятность остановки, число из отрезка [0; 1].Остаточные модули и их вероятности остановки вычисляются последовательно. Как только кумулятивная сумма вероятностей остановки достигает единицы, все последующие остаточные модули в текущем блоке пропускаются. Определим распределение остановки как вычисленные вероятности остановки, где последнее значение заменено на остаток. Величина остатка выбирается исходя из условия нормировки вероятностногораспределения. Выход блока определяется как взвешенная сумма выходов остаточных модулей с весами, равными соответствующим значениям вероятности.

Наконец, вводится стоимость вычислений, равная суммечисла выполненных остаточных модулей и величины остатка. Миними13зация стоимости вычислений увеличивает вероятность остановки у всехмодулей, кроме последнего, что приводит к более ранней остановке. Стоимость вычислений используется как регуляризатор для исходной функции потерь. Описанный метод применяется к каждому остаточному блоку сети независимо, а стоимости вычислений блоков суммируются. Такимобразом, в каждом блоке выполняются лишь первые несколько модулей,рис. 4.

Доказывается, что метод АВВ обобщает модель остаточной сети.Предлагается метод ПАВВ, идея которого заключается в применении АВВ к каждой пространственной позиции блока. У каждой позиции имеется своя вероятность остановки, а выход блока в некоторой пространственной позиции определяется как взвешенная комбинация значений остаточных модулей блока в этой же позиции. Пространственная позиция остаточного модуля называется активной, если её кумулятивнаясумма вероятностей остановки не превышает единицу.

Ясно, что на выходы блока влияют лишь значения в активных позициях, поэтому разумно вычислять только эти значения. Значения остаточных функций в неактивных позициях доопределяются нулями, что эквивалентно копированию предыдущих значений. Эффективная реализация остаточного модуля, вычисляемого лишь в активных позициях, может быть осуществленапри помощи перфорированного свёрточного слоя, предложенного во второй главе, с заменой пропускаемых значений на ноль. Доказывается, чтометод ПАВВ является обобщением метода АВВ, а значит, и остаточнойсети.Для экспериментальной валидации методы АВВ и ПАВВ применяются к модели остаточной сети ResNet-101.

Описывается проблема мёртвых остаточных модулей, присущая АВВ и ПАВВ: при «неправильной»инициализации модели последние остаточные модули блоков никогда неиспользуются. Для её решения предлагается несколько эвристик инициализации.Сначала рассматривается задача классификации изображений (выборка ImageNet). В качестве базового метода для сравнения АВВ и ПАВВиспользуется неадаптивная остаточная сеть с близким числом операций сплавающей запятой. При увеличении разрешения на этапе теста, что является стандартной практикой, ПАВВ превосходит АВВ и базовые методыпо соотношению точности и числа операций.

Показано, что превосходство ПАВВ сохраняется при увеличении разрешения на этапе обучения.Далее решается задача детекции объектов на выборке COCO. В нейиспользуются изображения с высоким разрешением, например, 1000 ×14600, что значительно превосходит стандартные 224 × 224 для классификации ImageNet. Механизм ПАВВ позволяет уменьшить время вычислений для малоинформативного фона. Используется метод детекции объектов Faster R-CNN [26], в котором остаточная сеть, извлекающая признаки,заменяется на ПАВВ. Показано, что такой подход достигает лучшего соотношения между скоростью и величиной усреднённой средней точности(mean average precision, mAP) по сравнению с базовым подходом, состоящим в использовании неадаптивной модели остаточной сети ResNet дляизвлечения признаков.

Пример детекций и карты стоимости вычисленийприведён на рис. 3.В конце главы приводятся эксперименты, показывающие, что карты стоимости вычислений ПАВВ хорошо коррелируют с визуальной значимостью. Для этого используется большая выборка cat2000, полученнаяпутём демонстрации изображений людям и измерения позиций фиксаций их глаз. Целевая карта получается как сглаженная гистограмма этихпозиций.

Используются модели ПАВВ, заранее обученные на ImageNetи COCO; дообучение на задаче предсказания визуальной значимости непроводится. Однако выполняется параметрическая обработка карт стоимости вычислений, направленная на сглаживание и учёт центральногосмещения в целевых картах из выборки cat2000. Показывается преимущество обработанных карт стоимости вычислений над базовым методом,центрированной гауссианой. Таким образом ПАВВ автоматически обучается фокусироваться на тех регионах изображения, которые кажутся важными людям, что повышает интерпретируемость СНС.В четвертой главе предлагается метод вероятностного адаптивноговремени вычислений. В его основе лежит вероятностная модель, в которой дискретные латентные переменные задают число выполняемых итераций.