4.Оперативный анализ данных(Ф) (1069494), страница 3
Текст из файла (страница 3)
Для всех методов: построить графики зависимостей:времени обучения модели от предела сходимостикачества обучения от предела сходимостивремени обучения модели от размера выборкиДля метода градиентного спуска:качество обучения от скорости обучениявремя обучения от скорости обученияРис.
1.7 Зависимости точности обучения от размера выборкиГрафик построен средствами MS Excel. Для метода градиентногоспуска использовалась скорость обучения = 0.01, для метода наискорейшегоспуска = 0.001. Для всех методов предел сходимости = 0.01, безрегуляризации, нормализации и множителя. Из графика видно, что дляиспользуемой модели точность не меняется от изменения размера тестовойвыборки. Цель построения подобных графиков – выявить остальныезависимости или их отсутствие.Также для подтверждения предыдущего тезиса был построендополнительный график с логарифмической шкалой на оси X рис 1.8.Термины, значение которых изучается самостоятельно:18- переобучение, недообучение;- робастность, робастное оценивание, методы оценивания качества обучения;- методы линейной оптимизации (например, метод золотого сечения)- Якобиан, матрица Якоби- Гессиан функции, матрица ГессеРис.
1.8 Зависимости точности обучения от размера выборкиЛабораторная работа 2. Логистическая регрессия в задаче распознаваниясимволовЛабораторная работа проводится на второй вкладке стенда. Параметрыдля модели те же самые, что и для линейной регрессии, но методызначительно различаются.Исследоания проводить по параметрам и условиям предстваленные вфайле Excel «4. Исследования Линейная регрессия Таблицы.xls»Задание 1. Подобрать параметры таким образом, чтобы для методаградиентного спуска процент ошибок распознавания на тестовой выборкесоставил менее 8%.
Время обучения менее 5 минут.Рекомендуемые интервалы для параметров:- предел сходимости (эпсилон из теоретической части) – [0.001 - 10]- размер выборки (количество изображений в обучающей выборке) – [10 –50000]- скорость обучения (лямбда из теоретической части) – [0.1 - 10]19- параметр регуляризации (альфа из теоретической части) – [0.1 - 10]- величина множителя – [0.1 - 255]Задание 2. Построить графики зависимостей:- качества обучения от размера выборки- качества обучения от величины предела сходимости- влияние регуляризации на качество и скорость обучения- для градиентного спуска влияние скорости обучения на качество и времяобученияПример зависимости качества обучения от скорости обучения дляградиентного спуска.
Использовалась выборка из 50000 изображений, пределсходимости = 0.01, без регуляризации, нормализации и множителя.Задание 3. В отчете объяснить влияние нормализации на качество обучения.Дополнение. В ходе работы модели должны были получиться вот такие«усредненные» изображения, по которым в дальнейшем ведется распознавание. Этиизображения и есть вектор параметров, что должен был вычислиться в процессе обучения.На каждую цифру – вектор параметров из 784 элементов, все цифры указаны по порядку иих размер увеличен для наглядности в 10 раз.202122Термины, значение которых изучается самостоятельно:- нейронные сети, персептрон- преобразование Хаффа6.Содержание отчета по лабораторной работе6.1 Цель лабораторной работы6.2.Теоретические основы предметной области6.3 Задачи лабораторной работы6.4.Результаты, полученные в лабораторной работе6.5 Выводы.237.Контрольные вопросыПри ответе указывайте источник.
Если на ответ натолкнулаконкретная формула, то вплоть до нее.1. Как происходит собственно процесс обучения и распознавания? Какмашина может дать ответ на вопрос, какой это символ, имея тольконужное изображение и матрицу параметров?2. Как оценить, насколько уверенно модель распознает символы?3. Как улучшить качество обучения для логит-регрессии?4. Насколько сильно на результат влияет регуляризация и почему?5. Насколько сильно на результат влияет нормализация и почему?6. Насколько сильно на результат влияет множитель и почему?7. Если посмотреть на результат обучения модели, то в левом верхнемуглу заметно белое пятно.
Это влияние так называемого bias\thresholdнейрона. Как видно из картинок, для нашей модели использованиеэтого приема вообще не имеет смысла и оказывает небольшое (совсемнебольшое) негативное влияние. Какое именно?8. Вводная часть из предыдущего вопроса.
Вопрос: зачем используютнейрон-смещение в нейронных сетях (на примере персептрона)?9. Для обучения нейронных сетей (и не только) используются в частностиметоды прямого и обратного распространения ошибки. Почему неиспользуют градиентный спуск, например?10.Почему слагаемое регуляризации складывают со значением функциистоимости, а не отнимают? Почему не умножают или делят?11.Назовите 3 метода регуляризации. Опишите плюсы и минусы каждогои в каких случаях следует использовать каждый из них.12.На примере графика зависимости процента ошибок от скоростиобучения видно, что значение скорости должно лежать в интервале от0.5 до 5, иначе результаты неудовлетворительны. Почему значениеменьше 0.5 не подходит? Почему не подходит более 5? Может лиоказаться так, что есть подходящие значения скорости далеко за24пределами данного интервала (менее 0.001 или более 1000, например),а данный интервал лишь локальный минимум, но не глобальный?13.Метод градиентного спуска иногда “зацикливается” на одних и тех жезначениях при определенных значениях скорости обучения (=2, =3) ипредела сходимости.
Объясните, почему это происходит и как этопредотвратить?14.Можно ли все вычисления или их часть перенести на GPU? Почему? Ис какой целью это желание вообще может появиться? Какиебиблиотеки можно использовать для этой цели? Назовите задачи, длярешения которых сегодня применяют вычисления на GPU илианалогичных (в данном контексте) устройствах.15.Альтернативы вычислениям на GPU?16.Почему нельзя остановить поток, который производит все вычисления?Почему вообще нельзя взять и остановить любой поток?17.Похож ли данный метод (логит-регрессия) на нейронные сети и чем?18.Как может помочь преобразование Хаффа улучшить качествообучения?19.Как скажется на скорости и качестве обучения увеличение размераисходных изображений в несколько раз (в 2 раза, в десять раз)? (P.S.рассмотреть два случая: масштабирование исходных изображений иновые изображения лучшего качества)20.Почему метод оптимизации BFGS или CG в общем достигает лучшихрезультатов, нежели градиентный спуск, хотя и у одного, и у другогоодна задача – найти минимум функции?21.Можно ли для градиентного спуска указать отрицательную илинулевую скорость обучения и к каким последствиям это приведет? Длявсех ли исходных данных для обучения оптимальная скоростьобучения одинакова и почему (допустим, мы сменим изображенияцифр на котиков, нужно ли поменять параметр скорости или нет)?2522.Почему в программе нельзя указать количество изображений втестовой выборке равным нулю? Ошибка в коде программы илиограничение методов? Почему нельзя указать отрицательное число?23.Какими функциями из языка программирования R можновоспользоваться для написания регрессионных моделей? Как насчетпримера кода?268.Литература1.
Тоноян С.А., Балдин А.В., Елисеев Д.В. Анализ избыточностихранения темпоральных данных средствами реляционных СУБДhttp://engjournal.ru/catalog/it/hidden/1273.html. 2014г.2. Тоноян С.А., Сараев Д.В. Темпоральные модели базы данных и ихсвойства. http://engjournal.ru/catalog/it/hidden/1333.html. 2014.3. Тоноян С.А., Балдин А.В., Елисеев Д.В. Язык запросов к миварномупредставлению реляционных баз данных, содержащих архивинформации из предыдущих кадровых систем.http://engjournal.ru/catalog/it/hidden/1053.html. 2013г.4. Барсегян А.А., Куприянов М.С., Холод И.И.
«Анализ данных». БХВПетербург 2009г. 512с.5. Куприянов М.С, Холод И.И0, Барсегян А.А. «Анализ данных ипроцессов». БХВ-Петербург 2009г. 512с.6. Джестон Д., Нелис И. «Управление бизнес процессами». Пер с англ. СПетербург 208г -512с.7. Тоноян С.А. Черненький В.М., Балдин А.В., Информационнаяуправляющая система МГТУ им.
Н.Э.Баумана «ЭлектронныйУниверситет». Изд. МГТУ им. Н.Э.Баумана 2009. -376 c. 304-325.8. Тоноян С.А., Балдин А.В., Елисеев Д.В. «Методика модернизациистандартных модулей типовой конфигурации на базе технологическойплатформы «1С: Предприятие 8» с минимальными доработками».Наука и образование (МГТУ им. Н.Э. Баумана).
№ 08, август 2012URL: http://technomag.edu.ru/.9. Официальный сайт компании QlikView - http://www.qlikview.com/ru27.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
