Диссертация (1137108), страница 25
Текст из файла (страница 25)
—2017.160.Eslami A., Heess N., Weber T., Tassa Y., Szepesvari D., Kavukcuoglu K., Hinton G. E. Attend, Infer,Repeat: Fast Scene Understanding with Generative Models // Advances in Neural InformationProcessing Systems. — 2016.161.Jernite Y., Grave E., Joulin A., Mikolov T. Variable Computation in Recurrent Neural Networks //International Conference on Learning Representations.
— 2017.162.Wu Z., Nagarajan T., Kumar A., Rennie S., Davis L. S., Grauman K., Feris R. BlockDrop: DynamicInference Paths in Residual Networks // arXiv. — 2017.163.Veit A., Belongie S. Convolutional Networks with Adaptive Computation Graphs // arXiv. — 2017.164.Wang X., Yu F., Dou Z.-Y., Gonzalez J. E. SkipNet: Learning Dynamic Routing in ConvolutionalNetworks // arXiv. — 2017.165.Blei D. M., Ng A. Y., Jordan M. I. Latent dirichlet allocation // JMLR. — 2003.166.Deerwester S., Dumais S. T., Furnas G.
W., Landauer T. K., Harshman R. Indexing by latentsemantic analysis // Journal of the American society for information science. — 1990. — Vol. 41,no. 6.167.Gal Y., Ghahramani Z. A theoretically grounded application of dropout in recurrent neural networks // Advances in neural information processing systems. — 2016.112Список рисунков1.11.21.32.12.22.32.42.52.62.72.82.93.13.2Сведение вычисления свёрточного слоя к матричному умножению. . . . . . . . .
. . . 25Топ-5 ошибка лучшего решения конкурса ImageNet [97] по годам. Начиная с 2012года все победившие решения основаны на свёрточных нейронных сетях. Ошибкачеловека на этой задаче –– 5,1%. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29Остаточная сеть со 101 свёрточным слоем ResNet-101. . . . . . . . . .
. . . . . . . . . 31Схема работы перфорированного свёрточного слоя. Дорогостоящий свёрточный слойзаменяется на приближённый аналог –– перфорированный свёрточный слой,зависящий от гиперпараметра –– маски перфорации. Применение слоёв нелинейностиReLU и пулинга снижает погрешность аппроксимации. . .
. . . . . . . . . . . . . . .Маски перфорации для слоя conv2 сети AlexNet. Степень перфорации r = 80,25%. .Примеры значений важности G(x,y; V ), где V –– выход свёрточного слоя conv2 сетиAlexNet. Изображения взяты из выборки ImageNet. . . . . . . . . . . . . . . . . .
. .Примеры значений B(x,y) и маски перфорации. Сеть AlexNet, слой conv2, выборкаданных ImageNet. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Эффективность (число операций скалярных операций сложения и умножения всекунду) при умножении матрицы данных M на матрицу ядра K для различныхстепеней перфорации. Сеть AlexNet, слой conv2. Процессор (CPU) –– Intel Corei5-4460, видеоускоритель (GPU) –– nVidia GTX 980. . . .
. . . . . . . . . . . . . . . .Ускорение одного слоя сети AlexNet для различных типов масок. В этомэксперименте дообучение не проводилось. Результаты усреднены по 5 запускам. . . .Ускорение одного слоя сети NIN для выборки CIFAR-10 с разными маскамиперфорации без дообучения. Результаты усреднены по 5 запускам. . . . . . . .
. . . .Сравнение перфорации всей сети с решётчатой и важностной масками и базовыхметодов (изменение размера входного изображения и увеличение шага свёрточныхслоёв) для задачи ускорения сети Network in Network на выборке данных CIFAR-10. .Сравнение различных методов интерполяции перфорированных значений на задачеускорения одного слоя сети AlexNet. .
. . . . . . . . . . . . . . . . . . . . . . . . . . .. 42. 44. 45. 46. 47. 49. 50. 53. 54Детектированные объекты (слева) и карта стоимости вычислений предлагаемогометода ПАВВ (справа) для валидационного изображения выборки данных COCO.Метод ПАВВ использует больше вычислений в областях изображения, которыепохожи на объект. . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57Остаточная сеть со 101 свёрточным слоем ResNet-101. Каждый остаточный модульсостоит из трёх свёрточных слоёв. Адаптивное время вычислений применяется ккаждому блоку остаточной сети для обучения стратегии остановки вычислений,зависящей от входного объекта. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . 591133.3Адаптивное время вычислений для одного блока остаточных модулей. Вычисленияостанавливаются, как только суммарная вероятность остановки достигает 1 − ε. Вданном случае остаток R = 1 − h1 − h2 − h3 = 0,6, число выполненных модулейN = 4, стоимость вычислений ρ = N + R = 4,6.
См. алгоритм. 3.1. Адаптивноевремя вычислений предлагает детерминированную и допускающую совместноеобучение стратегию для выбора объёма вычислений в зависимости от объекта. . . . .3.4 Пространственно-адаптивное время вычислений для одного блока остаточныхмодулей. Мы применяем адаптивное время вычислений к каждой пространственнойпозиции блока. Как только кумулятивная вероятность остановки в некоторой позициидостигает единицы, мы помечаем её как неактивную.
См. алгоритм 3.2.Предлагаемый метод обучается выбирать объём вычислений для каждойпространственной позиции блока. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.5 Остаточный модуль с активными и неактивными позициями. Данное преобразованиеможет быть эффективно реализовано при помощи перфорированного свёрточногослоя, описанного в главе 2. . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.6 Вычисление вероятностей остановки для метода пространственно-адаптивноговремени вычислений. Вероятности подсчитываются полносвёрточно, благодаря чемуметод применим к изображениям произвольного разрешения. Метод переходит вадаптивное время вычислений, если все веса свёрточного слоя с ядром размера 3 × 3равны нулю. . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.7 Валидационная подвыборка ImageNet. Сравнение ResNet, АВВ, ПАВВ исоответствующих базовых методов. Величина ошибки показывает одно стандартноеотклонение, подсчитанное по изображениям. Все сети обучены на изображенияхразрешения 224 × 224. ПАВВ работает лучше АВВ и базовых методов приприменении к изображениям с большим разрешением, чем у обучающихизображений. Преимущество возрастает с ростом разрешения.
. . . . . . . . . . . . .3.8 Карты стоимости вычислений для каждого блока для метода ПАВВ с τ = 0,005 ивалидационного изображения выборки ImageNet. Заметим, что первый блокреагирует на низкоуровневые особенности изображения, а последние два блокапытаются локализовать объект. . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .3.9 Карты стоимости вычислений для метода ПАВВ с τ = 0,005 для изображений извалидационной выборки ImageNet. Над картами указана полная стоимостьвычисления ρ. ПАВВ фокусирует вычисления на важных для решения задачиклассификации регионах изображения. .
. . . . . . . . . . . . . . . . . . . . . . . . .3.10 Валидационная выборка ImageNet. Сравнение ПАВВ при различных обучающихразрешениях. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.11 Детекции и карты стоимости вычислений базовой сети ПАВВ (τ = 0,005) дляподвыборки testdev выборки COCO. Параметр τ = 0,005. ПАВВ выделяет намногобольше вычислений регионам изображения, похожим на объект.
. . . . . . . . . . . .. 59. 65. 65. 65. 72. 72. 73. 75. 771143.12 Выборка визуальной значимости cat2000. Слева направо: изображение; целевая картазначимости, полученная усреднением фиксаций взглядов людей; обработанная картавычислений ПАВВ (обучена на COCO, τ = 0,005) после применения софтмакса стемпературой 1/5.
Обратите внимание на центральное смещение выборки. МетодПАВВ работает хорошо на типах изображений, не присутствующих в обучении,таких как картины и фракталы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804.14.24.34.44.54.6Релаксированный блок адаптивных вычислений. . . . . . . . . . . . .
. . . . . . . . .Стоимость вычислений является разрывной функцией от вероятности остановки напервой итерации h1 . Прочие вероятности остановки выбраны как h2 = h3 = h4 = 31 . .Параметры релаксированной модели ВПАВВ (ResNet-32, τ = 0,01) периодическитестируются в релаксированной, дискретной и пороговой моделях. В ходе обучениязазор функции потерь и точности между моделями имеет небольшое значение.
. . . .Обучение модели ВПАВВ (ResNet-32, τ = 0,1) с использованием предложеннойрелаксации и метода REINFORCE для различного числа латентных переменных M .Метод REINFORCE показывает существенно большую дисперсию градиентов и непозволяет добиться сопоставимых результатов при M > 84.
Слева: Десятичныйлогарифм дисперсии градиентов в зависимоссти от итерации обучения. Справа:число операций и точность на тестовой выборке после завершения обучения. . . . .Сравнение метода ПАВВ с ВПАВВ для различных значений штрафа за количествовычислений τ . Результаты усреднены по пяти запускам, показано одно стандартноеотклонение от среднего. Слева: ResNet-32, справа: ResNet-110.
. . . . . . . . . . . .Карты стоимости вычислений для тестовых изображений выборки CIFAR-10. Слеванаправо: изображение, ПАВВ, ВПАВВ. Для ПАВВ (ResNet-110, τ = 0,005) показаныкарты стоимости вычислений. Для ВПАВВ (ResNet-110, τ = 0,005) показано среднеечисло остаточных модулей на пространственную позицию. Оба метода удаляютбольше внимания наиболее информативным частям изображения. . . . .
. . . . . . .. 87. 95. 97. 97. 98. 99115Список таблиц1234567Описание СНС, используемых в экспериментах. Время работы, потребление памятии число операций сложения и умножения поделено на размер батча. Измеряетсяобъём памяти, занимаемый активациями слоёв сети во время прямого распространения.Результаты ускорения свёрточного слоя conv2 сети AlexNet. Вверху приведенырезультаты предлагаемого метода (перфорации) после дообучения. Внизу показаныранее опубликованные результаты. Результат метода [125] взят из статьи [126].Эксперимент с уменьшением пространственного размера ядра (3 × 3 вместо 5 × 5)демонстрирует, что перфорация дополняет метод [129], который также уменьшаетпространственный размер ядра.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Результаты ускорения СНС. Стрелки показывают увеличение или уменьшениеметрики. Ускорение измеряется по реальному времени. Операции –– число операцийв свёрточных слоях, их уменьшение –– теоретическое ускорение). Память –– объёмпамяти, требуемый для хранения активаций сети. Ошибка дообуч. –– ошибка послеобучения с нуля (для NIN) или дообучения (AlexNet, VGG16) параметров ускореннойсети.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
