Курсовая работа: Реализация методов оптимизации для нейронных сетей на машинно-ориентированных языках программировни

Содержание

Введение..................................................................................................................3
Раздел 1. Предварительные сведения...................................................................5
1.1 Методы оптимизации функции потерь………………………………5
1.2 Логистическая регрессия………………………………...……….…..9
1.3 Работу с машинным кодом с помощью PyPy 3……………………..11
Раздел 2. Экспериментальная часть...............................................................….13
Заключение.....................................................................................…..….........…16
Список использованных источников и литературы.....................…...........…...18
Приложения……………………………………………………………………...20

















Введение

Наиболее важную роль в искусственных нейронных сетях играют методы оптимизации, которые существенно влияют на процесс обучения. Конечная точность в процессе обучения зависит от согласования значений весов искусственных нейронов с функцией потерь, которую с каждой эпохой необходимо минимизировать. Если оптимизация проходит быстро и сходится к глобальному минимуму, то повышается точность распознавания и сокращается время обучения.
Одним из самых известных методов оптимизации является стохастический градиентный спуск SGD [1], который был модифицирован в SGDM [2] и SGDM с условием Нестерова [3]. Позднее, на базе градиентного подхода были предложены новые методы оптимизации: AdaGrad [4], ADADELTA [5], RMSProp[6] и Adam [7]. В настоящее время наиболее распространенные методы в машинном обучении -- это SGDM с модификацией Нестерова и Adam.
Достижение глобального минимума за меньшее количество итераций (эпох) с требуемой точностью по сей день остается актуальной проблемой в методах оптимизации. Особенно остро встает вопрос нахождения минимума в машинном обучении, где процесс оптимизации