Диссертация (1137108), страница 13
Текст из файла (страница 13)
↑ (%)10(%)10(%)(%)10Память ↓ Ошибка ↑ (%)1234(5)601234(5)г) conv3, ближайший соседд) conv3, замена нулёме) conv3, барицентрическаяРисунок 2.9 — Сравнение различных методов интерполяции перфорированных значений назадаче ускорения одного слоя сети AlexNet.655На рис. 2.9 приведены результаты сравнения рассматриваемых способов интерполяции.
Измеряется теоретическое ускорение (сокращение числа операций), чтобы исключить влияние реализаций схем интерполяции. Замена перфорированных значений на ноль не позволяет успешноускорить слой conv3. По сравнению с интерполяцией методом ближайшего соседа, барицентрическая интерполяция немного улучшает результаты для структурной маски в слое conv2 и решётчатой маски в слое conv3, однако работает так же или хуже в других случаях. В целом, интерполяцияметодом ближайшего соседа показывает хорошое соотношение между сложностью метода (числом доступов к памяти для интерполяции значения) и достигаемой точностью.2.4.5Сравнение эмпирического и теоретического ускоренияДостижение эмпирических ускорений, которые были бы близки к теоретическим (теоретическое ускорение –– сокращение числа операций), достаточно затруднительно [124].
Предлагаемыйметод позволяет в целом добиться этого (см. таблицу 4). К примеру, для теоретического ускорения в 4 раза эмпирическое ускорение слоя conv2 сети AlexNet составляет 3,8 раза для CPU и 3,5раза для GPU. Результаты почти всегда ниже теоретического ускорения из-за дополнительныхдоступов к памяти, требуемых для чтения маски перфорации. Тип маски перфорации практически не влияет на эмпирическое ускорение. Различие между эмпирическим ускорением на CPU иGPU показывает важность выбора степеней перфорации каждого слоя в зависимости от целевогоустройства.2.5ЗаключениеВ данной главе разработан перфорированный свёрточный слой, позволяющий пространственно варьировать и снижать объём вычислений.
Перфорированный свёрточный слой требует небольшой модификации свёрточного слоя и достигает эмпирического ускорения, близкого ктеоретическому, как на CPU, так и на GPU. По сравнению с базовыми методами, использованиеперфорации достигает меньшей ошибки, более гибко и не меняет архитектуру СНС (число параметров в полносвязных слоях, а также размеры промежуточных представлений). Сохранение архитектуры позволяет легко использовать перфорированные СНС в существующих моделях компьютерного зрения и выполнять лишь дообучение сети, а не обучение с нуля. Кроме того, перфорацияможет быть скомбинирована с методами ускорения, использующими другие типы избыточностив сети, чтобы улучшить соотношение между скоростью и качеством.
Можно сделать вывод, чтосокращение пространственной избыточности промежуточных представлений сети позволяет повысить скорость работы СНС.56Таблица 4 — Эмпирические ускорения свёрточных слоёв для равномерной маски перфорации сr = 75%. Теоретическое ускорение составляет 4×. Результаты усреднены по 5 запускам.NINAlexNetVGG-16CPU GPU CPU GPU CPU GPUconv1 4,4× 2,7× 3,2× 2,7× 2,5× 2,2×conv2 3,8× 3,5× 3,3× 3,0× 2,6× 2,1×conv3 3,7× 3,3× 4,1× 3,7× 3,2× 2,5×conv4--3,9× 3,5× 3,1× 2,6×conv5--3,6× 3,4× 3,5× 2,8×conv6----3,5× 2,9×conv7----3,4× 2,9×conv8----3,6× 3,6×conv9----3,6× 3,7×conv10----3,6× 3,7×conv11----3,7× 3,6×conv12----3,7× 3,6×conv13----3,8× 3,6×В дальнейшем мы исследуем связь перфорированных СНС и моделей визуального внимания, рассмотрев маски перфорации, зависящие от входа.
Таким образом, маска перфорации можетсфокусироваться на наиболее значимых частях входа. В отличие от недавних работ, посвящённых визуальному вниманию [17; 19; 137], которые используют прямоугольные части изображений, перфорированная СНС может обрабатывать непрямоугольные и даже несмежные значимыечасти изображения за счёт выбора соответствующих масок перфорации в свёрточных слоях.57Глава 3.
Пространственно-адаптивное время вычислений3.1 ВведениеСущественным недостатком глубинных СНС является высокая вычислительная стоимость.Естественный способ решения этой проблемы состоит в использовании внимания для фокусирования вычислений аналогично тому, как работают биологические системы зрения [15].Разработанные на сегодняшний день модели внимания, применимые к СНС, обладают существенными недостатками. Класс т.н. «glimpse-based» моделей внимания [16—19] предполагает, что рассматриваемая задача может быть решена путём обработки небольшого числа регионовизображения, как правило, прямоугольников. Таким образом, эти модели не пригодны для задач сомногими выходами (например, детекция объектов) и попиксельного предсказания (сегментацияизображений, генерация изображений).
Кроме того, выбор позиций «взглядов» требует построения отдельной предсказательной сети либо разработки эвристической процедуры [138]. С другойстороны, т.н. модели мягкого пространственного внимания (soft spatial attention models) [20; 21]не позволяют сэкономить вычисления, поскольку требуют подсчёта выходов модели во всех пространственных позициях для выбора весов внимания.Предлагаемый в данной главе метод основан на механизме адаптивного времени вычислений (АВВ), изначально предложенного в работе [24] для рекуррентных нейронных сетей. Как будет показано, механизм АВВ может быть использован для динамического определения выполняемого числа слоёв в остаточных сетях [12; 70] (сходство остаточных сетей с рекуррентными сетями отмечалось, в частности, в работах [139; 140]).
Затем предлагается метод пространственноадаптивного времени вычислений (ПАВВ), который адаптирует число слоёв в каждой пространственной позиции сети. Помимо остаточных сетей, метод ПАВВ также может быть применён,например, к свёрточным сетям с длинной краткосрочной памятью (convolutional long short-termmemory) [141], модели, используемой для обработки видеопоследовательностей [142].24222018161412108Рисунок 3.1 — Детектированные объекты (слева) и карта стоимости вычислений предлагаемогометода ПАВВ (справа) для валидационного изображения выборки данных COCO. Метод ПАВВиспользует больше вычислений в областях изображения, которые похожи на объект.58Метод ПАВВ встраивает явную модель внимания в остаточную сеть.
При этом допускается совместное обучение (end-to-end training) параметров методом обратного распространенияошибки. ПАВВ явно задаёт детерминированное правило, по которому в каждой пространственной позиции вычисления прекращаются, как только признаки становятся «достаточно хорошими».Поскольку ПАВВ сохраняет соответствие между изображением и картами признаков, он хорошоподходит для широкого класса задач компьютерного зрения, включая задачи со многими выходами и попиксельное предсказание.Предложенная модель валидируется на задаче классификации изображений на выборкеImageNet [96].
Демонстрируется превосходство модели над адаптивным временем вычислений(без пространственной адаптивности) и базовыми методами, не использующими адаптивность.Затем метод используется для извлечения признаков в модели Faster R-CNN [30] для задачи детекции изображений на сложной выборке данных COCO [143]. Пример полученных детекций икарты стоимости вычислений приводится на рис. 3.1. Предлагаемый метод достигает существеннолучшего соотношения числа операций и точности по сравнению с неадаптивными остаточнымисетями. Наконец, демонстрируется, что полученные карты вычислений хорошо коррелируют сфиксациями взгляда человека.
Это означает, что предложенный метод выучивает разумную модель внимания человека даже без явного обучения для этой задачи.3.2 Предлагаемый методВ данном разделе предлагается метод адаптивного времени вычислений (АВВ), которыйадаптивно выбирает число остаточных модулей в остаточной сети (см. подраздел 1.1.8). Общаясхема метода АВВ проиллюстрирована на рис. 3.2. Затем описывается способ применения метода АВВ на уровне пространственных позиций, а не остаточных модулей. Полученный метод мыбудем называть методом пространственно-адаптивного времени вычислений (ПАВВ).3.2.1Метод адаптивного времени вычисленийНачнём с неформального описания метода.
К каждому остаточному модулю добавляется дополнительная ветка выходов, которая возвращает вероятность остановки, число на отрезке [0; 1].Остаточные модули и их вероятности остановки вычисляются последовательно, как показано нарис. 3.3. Как только кумулятивная сумма вероятностей остановки достигает единицы (минус малая константа), все последующие остаточные модули в текущем блоке пропускаются.
Определимраспределение остановки как вычисленные вероятности остановки, где последнее значение заменено на остаток. Величина остатка выбирается исходя из условия нормировки вероятностногораспределения. Выход блока определяется как взвешенная сумма выходов остаточных модулей с59-+ч ы56x56x256 28x28x512224x224x31яы7x7x204814x14x10242+43Рисунок 3.2 — Остаточная сеть со 101 свёрточным слоем ResNet-101.
Каждый остаточныймодуль состоит из трёх свёрточных слоёв. Адаптивное время вычислений применяется ккаждому блоку остаточной сети для обучения стратегии остановки вычислений, зависящей отвходного объекта.е я0.1H1F10.1H2U1F20.2H3U2F30.90.1 U1 + 0.1 U2 +0.2 U3 + 0.6 U4H43UF44UF5U5в хвхч ыхРисунок 3.3 — Адаптивное время вычислений для одного блока остаточных модулей.Вычисления останавливаются, как только суммарная вероятность остановки достигает 1 − ε. Вданном случае остаток R = 1 − h1 − h2 − h3 = 0,6, число выполненных модулей N = 4,стоимость вычислений ρ = N + R = 4,6. См.
алгоритм. 3.1. Адаптивное время вычисленийпредлагает детерминированную и допускающую совместное обучение стратегию для выбораобъёма вычислений в зависимости от объекта.60весами, равными соответствующим значениям вероятности. Наконец, вводится стоимость вычислений, равная сумме числа выполненных остаточных модулей и величины остатка. Минимизациястоимости вычислений увеличивает вероятность остановки у всех остаточных модулей, кроме последнего, что приводит к тому, что вычисления останавливаются раньше.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
