ММО1 (2015 Учебное пособие ММО (Сенько))

Методы машинного обучения и поиск достоверныхзакономерностей в данных(Распознавание и регрессионный анализ)Сенько О.В.Содержание1. Введение1.1 Области применения.1.2 Основные понятия1.3 Методы распознавания и регрессии с максимальной обобщающей способностью1.4 Способы обучения1.4.1 Метод максимального правдоподобия1.4.2 Метод минимизации эмпирического риска1.5 Эффект переобучения1.6 Методы оценивания обобщающей способности.1.7 Существующие методы и модели для решения задач прогнозирования ираспознавания2. Линейная регрессия2.1 Методы настройки моделей2.2 Одномерная регрессия2.3 Многомерная регрессия2.4 Методы регуляризации по Тихонову.3.

Методы распознавания3.1 Методы оценки эффективности алгоритмов распознавания (ROC анализ)3.2 Статистические методы распознавания3.2.1 Байесовский метод, основанный на аппрокимации с помощью нормальныхраспределений3.2.2. Наивный байесовский классификатор3.2.3 Линейный дискриминант Фишера3.2.4 Метод q-ближайших соседей4 Модели распознавания, основанные на различных способах обучения4.1 Введение4.2 Метод Линейная машина4.3 Нейросетевые методы4.3.1 Модель искусственного нейрона4.3.2 Многослойный перцептрон4.4 Решающие деревья и леса4.4.1 Решающие деревья4.4.2 Решающие леса4.5Комбинаторно-логическиеметоды,основанныенапринципечастичнойпрецедентности4.6 Методы, основанные на голосовании по системам логических закономерностей4.7 Метод мультимодельных статистически взвешенных синдромов4.8 Метод опорных векторов.4.8.1 Линейная разделимость4.8.2 Случай отсутствия линейной разделимости4.8.3 Построение оптимальных нелинейных разделяющих поверхностей с помощьюметода опорных векторов.Литература1.

Введение.1.1 Области применения.. Задачи диагностики и прогнозирования некоторой величинызначениям переменныхX1,Yпо доступнымчасто возникают в различных, Xnобластях человеческой деятельности. В частности могут быть упомянуты:-задачи диагностики хода технологического процесса по показаниям различныхдатчиков;-задачи диагностики состояния технического оборудования;-задачи медицинской диагностики по совокупности клинических и лабораторныхпоказателей;-задачипрогнозированиясвойствещёнесинтезированногохимическогосоединения по его молекулярной формуле;-прогноз значений финансовых индикаторов.Для решения подобных задач могут быть использованы методы, основанные наиспользовании точных знаний.

Например, могут использоваться методы математическогомоделирования, основанные на использовании физических законов. Однако сложностьточных математических моделей нередко оказывается слишком высокой. Кроме тогопри использовании физических моделей часто требуется знание различных параметров,характеризующих рассматриваемое явление или процесс. Значения некоторых из такихпараметров частоизвестны только приблизительно или неизвестны вообще. Все этиобстоятельства ограничивают возможности эффективного использованияфизическихмоделей.В прикладных исследованиях нередко возникают ситуации, когда математическоемоделирование,основанноенаиспользованииточныхзаконовоказываетсязатруднительны, но в распоряжении исследователей оказывается выборка прецедентов результатов наблюдений исследуемого процесса или явления, включающих значенияпрогнозируемойвеличины Yи переменныхX1,, X n .

В этих случаяхдля решения задач диагностики и прогнозирования могут быть использованы методы,основанные на обучении по прецедентам.1.1Основные понятия.Предположим, что задача прогнозирования решается для некоторого процесса илиявления F . Множество объектов, которые потенциально могут возникать в рамках F ,называется генеральной совокупностью, далее обозначаемой  .Поиск алгоритма, вычисляющего осуществляется по выборке прецедентов, котораяобычно являетсяY , X1,случайной выборкой с известными значениямиобъектов из, X n , Выборку прецедентов также принято называть обучающей выборкой.St  {s1  ( y1 , x1 ),Обучающая выборка имеет видгдеy j - значение переменнойx j - вектора переменныхm - число объектов в, sm  ( ym , x m )} ,для объекта s j ;X1,, Xnдля объекта s j ;St .В процессе обучения производится поиск эмпирических закономерностей,связывающих прогнозируемую переменную Yс переменнымиX1,, Xn .Данные закономерности далее используются при прогнозировании.Методы, основанные на обучении по прецедентам, также принято называтьМетодами машинного обучения (Machine learning)Прогнозируемая величина Yможет иметь различную природу:-принимать значения из отрезка непрерывной оси;-принимать значения из конечного множества;-являться кривой, описывающей вероятность возникновения некоторогокритического события до различных моментов времени.Задачи распознавания.

Задачи, в которых прогнозируемая величина принимаетзначения из множества, содержащего несколько элементов принято называтьзадачей распознавания, Например, к задачам распознавания относятся задачипрогнозированиякатегориальныходинаковым значениемпеременных.ПодмножестваобъектовсY обычно принято называть классами.

Поэтому задачараспознавания часто формулируется в следующем виде. Предположим, чтомножество объектов K1 ,является объединением непересекающихся классов, K l . Тогда задача распознавания состоит в поиске по обучающей выборкеSt алгоритма, относящего произвольный объект sклассов K1 ,объектаиз множества  к одному из, K l . При этом искомый номер класса вычисляется по описаниюs , представляющему собой вектор значений на s переменных X 1 , , X nЗадачи регрессии. Задачи, в которыхпрогнозируемая величинапринимаетзначения из некоторого подмножества оси вещественных чисел R , обычнопринято называть задачами регрессии.Приведём конкретный пример закономерности, которая может быть использованапри решении задачи регрессии.Рис.

1.1На рисунке 1 изображена закономерность, описывающая линейную связь междупеременными Y и X . Видно, что график линейной функции 0.3  2X проходитдостаточно близко к значениям переменной Y . Поэтому данная функция можетбыть использована для предсказания значений Y по соответствующим значениямX.Рис. 1.2На рисунке 2 показана закономерность, которая может быть использована длярешения задачи распознавания:класса K2 ( обозначены)объекты класса K1 (обозначеныизи)обучающей выборке St находятся поразные стороны прямой, проходящей через точки .1.3.

Методы распознавания и регрессии с максимальнойобобщающей способностьюДля каждой задачи регрессии или распознавания существует объективно оптимальныйметод, для которого обобщающая способность объективно является наилучшей. Для задачрегрессионного анализа оптимальным является алгоритм A , вычисляющий прогноз Yдля произвольного вектора x равный условному математическому ожиданию Y в точкеx :A(x)  E (Y | x) .Для задач распознавания наиболее высокой точностью обладает байесовскийклассификатор.

Пусть в точкевстречаются с вероятностямиx  RnP( K1 | x),объекты из классов K1 ,, P ( K L | x) .Тогда распознаваемый объект со значением вектораможет быть отнесён в класс, KLпрогностических переменныхxK i только в случае выполнения набора неравенстваP( K i | x)  P( K i | x) при i {1,, l} . Иными словами распознаваемый объектможет быть отнесён к одному из классов, вероятность принадлежности которому в точкеxмаксимальна . Таким образом, максимально точное решение задач регрессии можетбыть легко получено, если в каждой точке известны условных математических ожиданийE (Y | x) .

Аналогично максимально точное решение задач распознавания может бытьполучено при знании условных вероятностейP( K1 | x),, P ( K l | x) .1.4 Способы обучения.1.4.1 Метод максимального правдоподобия.Условные математические ожиданияE (Y | x) могут быть вычислены, когда известнаплотность совместного распределения переменныхУсловные вероятностиP( K1 | x),, X n -- p (Y , X 1 ,, Xn) ., P( Kl | x) могут быть вычислены, когда известныплотности совместного распределения переменныхK1 ,Y , X1,X1,, X n для каждого из классов, K l , а также вероятности каждого из классов во всей генеральной совокупности.Плотности совместного распределения принципе могут быть получены с использованиемизвестного метода максимального правдоподобия.Метод максимального правдоподобия (ММП) используется в математической статистикедля аппроксимации вероятностных распределений по выборкам данных.