Нейронные сети (Темы 1-11) МТИ Ответы на тест

Представлены ответы на все вопросы по предмету "Нейронные сети.ои(sa)".
Итоговый набранный балл 100 из 100 (Скриншот прилагаю).
ВНИМАНИЕ! Перед тем как купить работу, обязательно убедитесь, что ваши вопросы совпадают с представленными ниже. Для этого рекомендую сначала запустить тест и сверить хотя бы несколько вопросов.

---

УЧЕБНЫЕ МАТЕРИАЛЫ

1. Введение в нейронные сети
2. Полносвязные нейронные сети
3. Элементы теории оптимизации
4. Обучение нейронных сетей
5. Сверточные нейронные сети
6. Рекуррентные нейронные сети. 1 Часть
7. Рекуррентные нейронные сети. 2 Часть
8. Tips and Tricks
9. Pytorch
10. Векторные представления слов
11. Нейронные сети-трансформеры

---

СПИСОК ВОПРОСОВ:

Алгоритм Backpropagation:

• Состоит в случайном подборе весов модели до тех пор, пока не будет достигнут оптимальный набор параметров, минимизирующий ошибку
• Используется только для оптимизации полносвязных нейросетей
• Последовательном вычислении градиентов по весам модели, начиная с последнего слоя, по предактивациям соответствующего слоя и градиентам по весам следующего

Архитектура полносвязной нейронные сети основана на идее

• обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых
• Построения разделяющей гиперплоскости
• Минимизации лосс-функции без использования градиентных методов

Все описанные в лекции алгоритмы обладают общим свойством. Каким?

• Для всех требуется вычисление матрицы Гессе оптимизируемой функции
• Для всех требуется вычисление градиентов оптимизированной функции
• Для всех требуется подсчет значения оптимизируемой функции в данной точке

Градиентные методы оптимизации

• Представляют собой итерационные алгоритмы
• Аналитически ищут решение задачи оптимизации
• Вопреки названию, не используют градиенты

Задача классификации – это задача

• Обучения с учителем
• Обучения без учителя
• Обучения с подкреплением

Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:

• Выбора семейства F
• Оценки качества выбранной функции f из семейства F
• Поиска наилучшей функции из семейства F

Идея Momentum состоит в:

• Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг
• Использовании идеи физической инерции посредством добавления моментных членов, "скоростей"
• приближенном, а значит - более быстром("моментальном") вычислении градиентов в текущей точке

Лучший способ борьбы с переобучением:

• Изменение архитектуры модели
• Регуляризации
• Увеличение количества данных

Метод подбора адаптированного learning rate на основе оценки исторических градиентов:

• Nesterov Momentum
• RMSProp
• Adagrad

Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:

• ADAM
• Adagrad
• Adadelta

Начальная инициализация весов нейросети:

• Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми
• Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.
• Может быть любой

Нейронные сети бывают следующих видов:

• Полносвязные и рекуррентные
• Рекуррентные, сверточные и трансформеры
• Рекуррентные, сверточные, полносвязные и трансформеры

Нейронные сети, наиболее часто применяющиеся в CV – это

• Полносвязные
• Сверточные
• Рекуррентные

Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи

• Минимизации средней нормы градиента эмпирического риска по весам модели
• Минимизации эмпирического риска
• Минимизации средней нормы матриц весов модели

Обучение с учителем характеризуется

• Целью обучить агента принимать оптимальные решения в среде
• Отсутствием размеченной выборки
• Наличием размеченной выборки

Отметьте верные высказывания о функциях активации:

• Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU - кусочно-линейная
• Функция Leacky ReLU - всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке
• Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения

Переобучение – это эффект, возникающий при

• Излишней сложности модели по отношению к сложности обучающей выборки, из-за чего происходит “заучивание” данных
• Слишком долгом обучении модели, из-за чего она теряет свою предсказательную способность вследствие увеличения энтропии весов
• Усталости специалиста по машинному обучению от того, что его модели слишком долго учатся

При прямом проходе через Feed Forward Neural Network:

• Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации
• Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров
• Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации

Производная сигмоиды выражается через саму сигмоиду аналитически, как

• sigm’ = sigm(1 - sigm)
• sigm’ = 5sigm^(5)
• sigm’ = 100sigm/sin(sigm)

Условия Каруша-Куна-Таккера применимы для решения:

• Любой задачи оптимизации
• Задачи выпуклой оптимизации
• Задачи оптимизации произвольной функции на выпуклом множестве Q

Функции активации в нейронных сетях:

• Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
• Линейны и нужны для проверки работоспособности модели
• Активируют нейросеть в разных режимах работы