ROC-анализ. Цифровые методы диагностики и прогнозирования систем (2015 Лекции (Сенько))

Цифровые методы диагностики и прогнозирования систем

Содержание

1. Введение

   1. Области применения.

   2. Основные понятия

   3. Методы распознавания и регрессии с максимальной обобщающей способностью

   4. Способы обучения

      1. Метод максимального правдоподобия

      2. Метод минимизации эмпирического риска

   5. Эффект переобучения

   6. Методы оценивания обобщающей способности.

   7. Существующие методы и модели для решения задач прогнозирования и распознавания

2. Линейная регрессия

2.1 Методы настройки моделей

2.2 Одномерная регрессия

2.3 Многомерная регрессия

2.4 Методы регуляризации по Тихонову.

3. Методы распознавания

3.1 Методы оценки эффективности алгоритмов распознавания (ROC анализ)

3.2 Статистические методы распознавания

3.2.1 Байесовский метод, основанный на аппрокимации с помощью нормальных распределений

3.2.2. Наивный байесовский классификатор

3.2.3 Линейный дискриминант Фишера

3.2.4 Метод q-ближайших соседей

4 Модели распознавания, основанные на различных способах обучения

4.1 Введение

4.2 Метод Линейная машина

4.3 Нейросетевые методы

4.3.1 Модель искусственного нейрона

4.3.2 Многослойный перцептрон

4.4 Решающие деревья и леса

4.4.1 Решающие деревья

4.4.2 Решающие леса

4.5 Комбинаторно-логические методы, основанные на принципе частичной прецедентности

4.6 Методы, основанные на голосовании по системам логических закономерностей

4.7 Метод мультимодельных статистически взвешенных синдромов

4.8 Метод опорных векторов.

4.8.1 Линейная разделимость

4.8.2 Случай отсутствия линейной разделимости

4.8.3 Построение оптимальных нелинейных разделяющих поверхностей с помощью метода опорных векторов.

_{5 Практическое использование}

_{5.1 Применение методов распознавания и регрессионного анализа в различных областях}

5.2 Программная система «РАСПОЗНАВАНИЕ»

Литература

1. Введение.

1.1 Области применения.

. Задачи диагностики и прогнозирования некоторой величины по доступным значениям переменных часто возникают в различных областях человеческой деятельности. В частности могут быть упомянуты:

• задачи диагностики хода технологического процесса по показаниям различных датчиков;

• задачи диагностики состояния технического оборудования;

• задачи медицинской диагностики по совокупности клинических и лабораторных показателей;

• задачи прогнозирования свойств ещё не синтезированного химического соединения по его молекулярной формуле;

• прогноз значений финансовых индикаторов.

Для решения подобных задач могут быть использованы методы, основанные на использовании точных знаний. Например, могут использоваться методы математического моделирования, основанные на использовании физических законов. Однако сложность точных математических моделей нередко оказывается слишком высокой. Кроме того при использовании физических моделей часто требуется знание различных параметров, характеризующих рассматриваемое явление или процесс. Значения некоторых из таких параметров часто известны только приблизительно или неизвестны вообще. Все эти обстоятельства ограничивают возможности эффективного использования физических моделей.

В прикладных исследованиях нередко возникают ситуации, когда математическое моделирование, основанное на использовании точных законов оказывается затруднительны, но в распоряжении исследователей оказывается выборка прецедентов - результатов наблюдений исследуемого процесса или явления, включающих значения прогнозируемой величины и переменных . В этих случаях для решения задач диагностики и прогнозирования могут быть использованы методы, основанные на обучении по прецедентам.

1. Основные понятия.

Предположим, что задача прогнозирования решается для некоторого процесса или явления . Множество объектов, которые потенциально могут возникать в рамках , называется генеральной совокупностью, далее обозначаемой .

Поиск алгоритма, вычисляющего осуществляется по выборке прецедентов, которая обычно является случайной выборкой объектов из с известными значениями , Выборку прецедентов также принято называть обучающей выборкой.

Обучающая выборка имеет вид ,

где - значение переменной для объекта ;

- вектора переменных для объекта ;

- число объектов в .

В процессе обучения производится поиск эмпирических закономерностей, связывающих прогнозируемую переменную с переменными .

Данные закономерности далее используются при прогнозировании.

Методы, основанные на обучении по прецедентам, также принято называть

Методами машинного обучения (Machine learning)

Прогнозируемая величина может иметь различную природу:

• принимать значения из отрезка непрерывной оси;

• принимать значения из конечного множества;

• являться кривой, описывающей вероятность возникновения некоторого критического события до различных моментов времени.

Задачи распознавания. Задачи, в которых прогнозируемая величина принимает значения из множества, содержащего несколько элементов принято называть задачей распознавания, Например, к задачам распознавания относятся задачи прогнозирования категориальных переменных. Подмножества объектов с одинаковым значением обычно принято называть классами. Поэтому задача распознавания часто формулируется в следующем виде. Предположим, что множество объектов является объединением непересекающихся классов . Тогда задача распознавания состоит в поиске по обучающей выборке алгоритма, относящего произвольный объект из множества к одному из классов . При этом искомый номер класса вычисляется по описанию объекта , представляющему собой вектор значений на переменных

Задачи регрессии. Задачи, в которых прогнозируемая величина принимает значения из некоторого подмножества оси вещественных чисел , обычно принято называть задачами регрессии.

Приведём конкретный пример закономерности, которая может быть использована при решении задачи регрессии.

Рис. 1.1

На рисунке 1 изображена закономерность, описывающая линейную связь между переменными и . Видно, что график линейной функции проходит достаточно близко к значениям переменной . Поэтому данная функция может быть использована для предсказания значений по соответствующим значениям .

Рис. 1.2

На рисунке 2 показана закономерность, которая может быть использована для решения задачи распознавания: объекты класса K1 (обозначены ) и класса K2 ( обозначены ) из обучающей выборке St находятся по разные стороны прямой, проходящей через точки .

1. Методы распознавания и регрессии с максимальной обобщающей способностью

_{Для каждой задачи регрессии или распознавания существует объективно оптимальный метод, для которого обобщающая способность объективно является наилучшей. Для задач регрессионного анализа оптимальным является алгоритм} , вычисляющий прогноз для произвольного вектора равный условному математическому ожиданию в точке : _.

Для задач распознавания наиболее высокой точностью обладает байесовский классификатор. Пусть в точке объекты из классов

встречаются с вероятностями .

Тогда распознаваемый объект со значением вектора прогностических переменных может быть отнесён в класс только в случае выполнения набора неравенства при . Иными словами распознаваемый объект может быть отнесён к одному из классов, вероятность принадлежности которому в точке максимальна _. Таким образом, максимально точное решение задач регрессии может быть легко получено, если в каждой точке известны условных математических ожиданий . Аналогично максимально точное решение задач распознавания может быть получено при знании условных вероятностей .

1.4 Способы обучения.

1.4.1 Метод максимального правдоподобия.

Условные математические ожидания могут быть вычислены, когда известна плотность совместного распределения переменных _-- . Условные вероятности могут быть вычислены, когда известны плотности совместного распределения переменных для каждого из классов , а также вероятности каждого из классов во всей генеральной совокупности. Плотности совместного распределения принципе могут быть получены с использованием известного метода максимального правдоподобия.

Метод максимального правдоподобия (ММП) используется в математической статистике для аппроксимации вероятностных распределений по выборкам данных. В общем случае ММП требует априорных предположений о типе распределений. Чаще всего используется гипотеза о нормальности распределения. Значения параметров , задающих конкретный вид распределений, ищутся путём максимизации функционала правдоподобия, представляющего собой произведение плотностей вероятностей на объектах обучающей выборки. Рассмотрим в качестве примера задачу распознавания двух классов и по единственному признаку . При этом предполагается, что классы и распределены нормально, то есть точки, описывающие объекты из данных классов, имеют плотности распределения и соответственно при значении признака равном . До пустим, что нам неизвестны параметры и , являющиеся математическими ожиданиями признака в классах и . Математические ожидания и могут быть найдены с помощью ММП по обучающей выборке , где при и при . При этом подбираются такие значения и , при которых достигают максимума функционалы правдоподобия

(1)