ROC-анализ. Цифровые методы диагностики и прогнозирования систем (2015 Лекции (Сенько)), страница 5

Оценка элемента матрицы ковариаций для класса вычисляется по формуле

,

где - k-я компонента вектора . Матрицу ковариации, состоящую из элементов обозначим . Очевидно, что согласно формуле Байеса максимум достигается для тех же самых классов для которых максимально произведение . На практике для классификации удобнее использовать натуральный логарифм , который согласно вышеизложенному может быть оценён выражением , где ,

- не зависящее от слагаемое;

Таким образом объект с признаковым описанием будет отнесён построенной выше аппроксимацией байесовского классификатора к классу, для которого оценка является максимальной. Следует отметить, что построенный классификатор в общем случае является квадратичным по признакам. Однако классификатор превращается в линейный, если оценки ковариационных матриц разных классов оказываются равными.

Задача к разделу Байесовские методы

Пусть априорные вероятности классов и равны 0.3 и 0.7 соответственно. Предположим, что значения некоторого признака для обоих классов распределены нормально. Для класса , . Для класса , . Выделить на числовой оси области значений признака , при которых байесовский классификатор относит классифицируемые объекты классу .

Решение. Как было показано байесовский классификатор относит объект, для которого , классу . при выполнении неравенства

Откуда следует, что

_.

Введём дополнительные обозначения

Нетрудно показать, что неравенство (1) эквивалентно неравенству

Введём обозначение . Неравенство (2) эквивалентно неравенству при или неравенству при .

_{Неравенство} выполняется всегда при . При неравенство эквивалентно одновременному выполнению неравенств

Неравенство не выполняется при . При неравенство эквивалентно одновременному выполнению неравенств

3.2.2 Линейный дискриминант Фишера

Рассмотрим вариант метода Линейный дискриминант Фишера (ЛДФ) для распознавания двух классов и . В основе метода лежит поиск в многомерном признаковом пространстве такого направления , чтобы средние значения проекции на него объектов обучающей выборки из классов и максимально различались. Проекцией произвольного вектора на направление является отношение . В качестве меры различий проекций классов на используется функционал

,

где - среднее значение проекции векторов, описывающих объекты из класса ;

• выборочная дисперсия проекций векторов, описывающих объекты из класса .

Смысл функционала ясен из его структуры. Он является по сути квадратом отличия между средними значениями проекций классов на направление , нормированным на сумму внутриклассовых выборочных дисперсий

Можно показать, что достигает максимума при

, (1)

где . Таким образом оценка направления, оптимального для распознавания и может быть записана в виде (1).

Распознавание нового объекта по признаковому описанию производится по величине проекции с помощью простого порогового правила: при объект относится к классу и относится к классу

в противном случае.

Граничный параметр подбирается по обучающей выборке таким образом, чтобы проекции объектов разных классов на оптимальное направление оказались бы максимально разделёнными. Простой, но эффективной, стратегией является выбор в качестве порогового параметра средней проекции объектов обучающей выборки на направление . Метод ЛДФ легко обобщается на случай с несколькими классами.

При этом исходная задача распознавания классов сводится к последовательности задач с двумя классами и :

Зад. 1. Класс , класс

………………………………………………………………………………

Зад. L. Класс , класс

Для каждой из L задач ищется оптимальное направление и пороговое правило.В результате получается набор из L направлений . При распознавании нового объекта по признаковому описанию вычисляются проекции на

Распознаваемый объект относится к тому классу, соответствующему максимальной величине проекции. Распознавание может производится также по величинам .

3.2 3 Логистическая регрессия

Целью логистической регрессии является аппроксимация плотности условных вероятностей классов в точках признакового пространства. При этом аппроксимация производится с использованием логистической функции:

.

График логистической функции приведён на рисунке

Рис.

В методе логистическая регрессия связь условной вероятности класса с прогностическими признаками осуществляются через переменную , которая задаётся как линейная комбинация признаков:

Таким образом условная вероятность в точке векторного пространства задаётся в виде

Оценки регрессионных параметров могут быть вычислены по обучающей выборке с помощью различных вариантов метода максимального правдоподобия.

Метод k-ближайших соседей

Простым, но достаточно эффективным подходом к решению задач распознавания является метод k-ближайших соседей. Оценка условных вероятностей ведётся по ближайшей окрестности точки , содержащей k признаковых описаний объектов обучающей выборки. В качестве оценки за класс выступает отношение , где - число признаковых описаний объектов обучающей выборки из внутри . Окрестность задаётся с помощью функции расстояния , заданной на декартовом произведении , где - область допустимых значений признаковых описаний. В качестве функции расстояния может быть использована стандартная эвклидова метрика .

Для задач с бинарными признаками в качестве функции расстояния может быть использована метрика Хэмминга, равная числу совпадающих позиций в двух сравниваемых признаковых описаниях.

Окрестность ищется путём поиска в обучающей выборке векторных описаний, ближайших в смысле выбранной функции расстояний, к описанию распознаваемого объекта . Единственным параметром, который может быть использован для настройки (обучения) алгоритмов в методе k–ближайших соседей является собственно само число ближайших соседей.

Для оптимизации параметра k обычно используется метод, основанный на скользящем контроле. Оценка точности распознавания производится по обучающей выборке при различных k и выбирается значение данного параметра, при котором полученная точность максимальна.

Разнообразные статистические методы распознавания рассмотрены в курсе лекций [3]. Следует отметить также книги [16],[17].