4.Оперативный анализ данных(Ф) (1069494), страница 2
Текст из файла (страница 2)
Но на практике такие ограничения могут быть весьмасущественными. Например, выходная переменная может быть категориальной или бинарной. В таких случаях приходится использоватьразличные специальные модификации регрессии, одной из которых являетсялогистическая регрессия.4.1.3 Логистическая регрессияЛогистическая регрессия предназначенная для предсказания зависимойпеременной, принимающей значения в интервале от 0 до 1. Такая ситуацияхарактерна для задач оценки вероятности некоторого события на основезначений независимых переменных.
Кроме того, логистическая регрессияиспользуется для решения задач бинарной классификации, в которыхвыходная переменная может принимать только два значения — 0 или 1, «Да»или «Нет» и т. д.Таким образом, логистическая регрессия служит не для предсказаниязначений зависимой переменной, а скорее для оценки вероятности того, чтозависимая переменная примет заданное значение.Предположим, что выходная переменная у может принимать двавозможных значения — 0 и 1. Основываясь на доступных данных, можновычислить вероятности их появления: Р(у = 0) = 1 - р; Р(у = 1) =р.
Иными10словами, вероятность появления одного значения равна 1 минус вероятностьпоявления другого, поскольку одно из них появится обязательно и их общаявероятность равна 1. Для определения этих вероятностей используетсялогистическая регрессия:log(p/(l-p)) = β0 +( β1x1 + β2x2 +... + βnxn)(2)Правая часть формулы (2) эквивалентна обычному уравнению линейнойрегрессии (1). Однако вместо непрерывной выходной переменной у в левойчасти отношения вероятностей двух взаимоисключающих событий (в нашемприоре — вероятность появления 0 и вероятность появления 1).функция вида log(p/(l-p)) называется логит - преобразованием иобозначается logit(р). Использование логит - преобразования позволяетограничить диапазон изменения выходной переменной в пределах [0; 1].4.1.4 Байесовская классификацияБайесовский подход объединяет группу алгоритмов классификации,основанных на принципе максимума апостериорной (условной) вероятности:для объекта с помощью формулы Байеса определяется апостериорнаявероятность принадлежности к каждому классу и выбирается тот класс, длякоторого она максимальна.Особое местов даннойобласти занимает простаябайесовскаяклассификация, в основе которой лежит предположение о независимостипризнаков, описывающих классифицируемые объекты.
Это предположениезначительно упрощает задачу, поскольку вместо сложной процедуры оценкимногомернойплотностивероятноститребуетсяоценканесколькиходномерных.4.1.5 Деревья решенийДеревья решений (деревья классификаций) — популярная классификационная методика, в которой решающие правила извлекаются непосредственно из исходных данных в процессе обучения. Дерево решений — этодревовидная иерархическая модель, где в каждом узле производится11проверка определенного атрибута (признака) с помощью правила. Порезультатам проверки формируются два или более дочерних узла, в которыепопадают объекты, для которых значения данного атрибута удовлетворяют(или не удовлетворяют) правилу в родительском узле.
Каждый конечныйузел дерева (лист) содержит объекты, относящиеся к одному классу. Примерпростого дерева решений приведен на рис. 1.2Рис. 1.2 Пример дерева решенийКлассический алгоритм построения деревьев решений используетстратегию «разделяй и властвуй». Начиная с корневого узла, гдеприсутствуют все обучающие примеры, происходит их разделение на два илиболее подмножества на основе значений атрибута, выбранных в соответствиискритерием(правилом)разделения.Длякаждогоизполученныхподмножеств создается дочерний узел.
Затем процесс ветвления повторяетсядля каждого дочернего узла до тех пор, пока не будет выполнено одно изусловий остановки алгоритма.В настоящее время разработано большое количество алгоритмовпостроения деревьев решений. Они отличаются способом отбора атрибутовдля разбиения в каждом узле, условиями остановки и методикой упрощенияпостроенного дерева. Упрощение дерева заключается в том, что после егопостроения удаляются те узлы, правила в которых имеют низкую ценность,поскольку относятся к небольшому числу примеров.
Упрощение позволяетсделать дерево решений компактней124.1.6 Искусственные нейронные сетиНейронные сети, или искусственные нейронные сети, представляютсобой модели, которые в процессе функционирования имитируют работуголовного мозга. Нейронная сеть состоит из простейших вычислительныхэлементов — искусственных нейронов, связанных между собой. Каждыйнейрон имеет несколько входных и одну выходную связь.
Каждая входнаясвязь обладает весом, на который умножается сигнал, поступающий по ней свыходадругогонейрона.Каждыйнейронвыполняетпростейшеепреобразование — взвешенное суммирование своих входов (рис. 1.3).Рис. 1.3. Искусственный нейрон.В нейронных сетях нейроны объединяются в слои, при этом выходынейронов предыдущего слоя являются входами нейронов следующего слоя.
Вкаждом слое нейроны выполняют параллельную обработку данных. Примернейронной сети представлен на рис. 1.4.Первый слой называется входным, его нейроны обеспечивают ввод в сетьвходного вектора X = (х1, х2, х3) и распределяют его по нейронам следующегослоя. Нейроны последнего слоя, обеспечивающие вывод результатов,называются выходными и образуют выходной слой. Между входным ивыходным нейронами расположены один или несколько промежуточныхслоев, называемых скрытыми.
Именно в скрытых слоях производитсяоснвная обработка данных.13Рис. 1.4. Пример нейронной сетиВ процессе работы нейронной сети значения входных переменных х,передаютсяпомежнейроннымсвязямиумножаютсянавесовыекоэффициенты ωi, полученные значения суммируются в нейроне. Также вкаждомнейронеактивационнойвыполняетсяфункцииf(S),простоеобычнопреобразованиенелинейной.сВпомощьюрезультатепреобразования значений входного вектора всеми нейронами сети на еевыходе формируется вектор результата (выходной вектор) Y = (у1, у2).4.1.7 Метод k ближайших соседейЭтот алгоритм относит любой новый пример к классу, которомупринадлежит большинство ero ближайших соседей в обучающем множестве.Под соседством в данном случае подразумевается не расположение объектовили наблюдений рядом в обучающем множестве, а то, что их мноrомерныевекторы в пространстве признаков близки друг к другу.
Соседклассифицируемого объекта считается ближайшим в пространствепризнаков, если евклидов о расстояние между ними является наименьшим.Если k = 1, то новый объект относится к тому же классу, что и eroближайший сосед.144.2 Практическая реализация.В лабораторной работе проводиться исследование один из важных задачмашинного обучения - задача распознавания объектов на изображениях.Задача состоит в определении, является ли предъявленное изображениеизображением интересующего нас объекта.В лабораторной работе используются изображения из базы данныхMNIST [3] .
Это 70 тысяч черно-белых изображений рукописных “арабских”цифр размером 28*28 пикселей.В ходе выполнения лабораторной работы проводится исследование иоценка распознаных изображений с применеим разных методов икомбинации параметров.5. Задачи и порядок выполнения работы5.1 Задачиисследование и оценка распознавания образов с применением моделилинейной регрессии с множеством параметров;исследование и оценка распознавания образов с применением моделилогистической регрессии с множеством параметров.На рис.1.5 представлена снимок изображений из базы MNIST, котоыеявляются объектомы исследования в лабораторной работе, где проводитсяоценка полученных результатов по распознованию образов.База данных разделена на 50 тысяч изображений. Для обучения моделииспользуется 10 000 экземпляров и 10 тысяч для тестирования подтверждения результатов.
Для курса был разработан специальный стенддля тестирования качества модели при различных параметрах.15 Рис. 1.5 Пример изображений из базы MNIST.В процессе выполнения лабораторных работ студентамнеобходимо построить несколько зависимостей (например,зависимость качества обучения от скорости обучения). Инструментдля этого предлагается студентам найти самостоятельно.5.2. Порядок выполнения работыЛабораторные работы выполняются на программном стенде, экраннаяформа которого представлен на рис.1.6 Исследованные проводимых в даннойлабораторной работе следующие подобрать параметры модели так, чтобы удовлетворитьтребования по точности и скорости обучения; построить графики зависимости скорости, точности обучения отпараметров модели для каждого метода.16Также можно проверить результаты вычислений в третьей вкладкестенда.
Для этого матрицу параметров нужно сохранить, нажав на кнопкуво всплывающем окне с результатами. Будет сформирован файл, которыйзатем нужно открыть во вкладке. Кнопками можно перемещаться помассиву с тестовой выборкой и проверить, что машина действительноможет распознать изображения. Также в этой вкладке можно проверить,насколько хорошо модель обучилась и при необходимости подправитьпараметры. Порядок элементов в массиве тестовых изображений неменяетсяЛабораторная работа 1.
Линейная регрессия в задаче распознаваниясимволовИсследоания проводить по параметрам и условиям предстваленные вфайле Excel «4. Исследования Линейная регрессия Таблицы.xls»Задание 1. Подобрать параметры таким образом, чтобы точностьраспознавания составила как минимум 50%. Время обучения моделиограниченно 5-ю минутами.Внешний вид окна для лабораторной работы рис .Рис.1.6 Интерфейс пользователяРекомендуемые интервалы для параметров:предел сходимости (эпсилон из теоретической части) – [0.001 - 10]размер выборки (количество изображений в обучающей выборке) – [10 – 50000]17скорость обучения (лямбда из теоретической части) – [0.001 - 1]параметр регуляризации (альфа из теоретической части) – [0.1 - 10]величина множителя – [0.1 - 255]Задание 2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
