Диссертация (1137108), страница 26
Текст из файла (страница 26)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Эмпирические ускорения свёрточных слоёв для равномерной маски перфорации сr = 75%. Теоретическое ускорение составляет 4×. Результаты усреднены по 5 запускам.48515456Валидационная выборка ImageNet. Сравнение моделей ResNet, АВВ, ПАВВ исоответствующих базовых методов. Все модели обучены на изображенияхразрешения 224 × 224.
Через (x ± y) обозначается среднее значение x и стандартноеотклонение y. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74Результаты метода Faster R-CNN с ПАВВ на валидационной выборке COCO. Числоопераций это среднее (± одно стандартное отклонение) число операций с плавающейзапятой для базовой сети по отношению к ResNet-101, который выполняет 1,42 · 1011операций. ПАВВ улучшает соотношение между числом операций и метрикой mAPпо сравнению с использованием модели ResNet без адаптивности. .
. . . . . . . . . . . 78Результаты на валидационной подвыборке cat2000. Значком † отмечены результатыдля тестовой выборки. Карты стоимости вычислений ПАВВ могут бытьиспользованы как модель визуальном значимости даже без явного обучения СНС наэтой задаче. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79116Список алгоритмов1.11.21.33.13.23.24.14.24.3Стохастический градиентный спуск по минибатчам. . . . . . . . . . . . . . . . . . .Стохастический градиентный спуск с моментом по минибатчам. . . . . . . . . . . .Стохастический градиентный метод оптимизации с адаптивной длиной шагаADAM [53].
Все операции выполняются поэлементно. . . . . . . . . . . . . . . . .Адаптивное время вычислений для одного блока остаточных модулей. Обратитевнимание, что хранение промежуточных выходов остаточных модулей не требуется.Пространственно-адаптивное время вычислений для одного блока остаточныхмодулей . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Пространственно-адаптивное время вычислений для одного блока остаточныхмодулей (продолжение) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Дискретный адаптивный блок вычислений. . . . . . . . . . . . . . . . .
. . . . . . .Пороговый адаптивный блок вычислений. . . . . . . . . . . . . . . . . . . . . . . .Релаксированный адаптивный блок вычислений. . . . . . . . . . . . . . . . . . . . .141516626667919293.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
