ММО1 (1185324), страница 5

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Решение. Как было показано байесовский классификатор относит объект, для которого , классу . при выполнении неравенства

Откуда следует, что

_.

Введём дополнительные обозначения

Нетрудно показать, что неравенство (1) эквивалентно неравенству

Введём обозначение . Неравенство (2) эквивалентно неравенству при или неравенству при .

_{Неравенство} выполняется всегда при . При неравенство эквивалентно одновременному выполнению неравенств

Неравенство не выполняется при . При неравенство эквивалентно одновременному выполнению неравенств

3.2.2 Линейный дискриминант Фишера

Рассмотрим вариант метода Линейный дискриминант Фишера (ЛДФ) для распознавания двух классов и . В основе метода лежит поиск в многомерном признаковом пространстве такого направления , чтобы средние значения проекции на него объектов обучающей выборки из классов и максимально различались. Проекцией произвольного вектора на направление является отношение . В качестве меры различий проекций классов на используется функционал

,

где - среднее значение проекции векторов, описывающих объекты из класса ;

• выборочная дисперсия проекций векторов, описывающих объекты из класса .

Смысл функционала ясен из его структуры. Он является по сути квадратом отличия между средними значениями проекций классов на направление , нормированным на сумму внутриклассовых выборочных дисперсий

Можно показать, что достигает максимума при

, (1)

где . Таким образом оценка направления, оптимального для распознавания и может быть записана в виде (1).

Распознавание нового объекта по признаковому описанию производится по величине проекции с помощью простого порогового правила: при объект относится к классу и относится к классу

в противном случае.

Граничный параметр подбирается по обучающей выборке таким образом, чтобы проекции объектов разных классов на оптимальное направление оказались бы максимально разделёнными. Простой, но эффективной, стратегией является выбор в качестве порогового параметра средней проекции объектов обучающей выборки на направление . Метод ЛДФ легко обобщается на случай с несколькими классами.

При этом исходная задача распознавания классов сводится к последовательности задач с двумя классами и :

Зад. 1. Класс , класс

………………………………………………………………………………

Зад. L. Класс , класс

Для каждой из L задач ищется оптимальное направление и пороговое правило.В результате получается набор из L направлений . При распознавании нового объекта по признаковому описанию вычисляются проекции на

Распознаваемый объект относится к тому классу, соответствующему максимальной величине проекции. Распознавание может производится также по величинам .

3.2 3 Логистическая регрессия

Целью логистической регрессии является аппроксимация плотности условных вероятностей классов в точках признакового пространства. При этом аппроксимация производится с использованием логистической функции:

.

График логистической функции приведён на рисунке

Рис.

В методе логистическая регрессия связь условной вероятности класса с прогностическими признаками осуществляются через переменную , которая задаётся как линейная комбинация признаков:

Таким образом условная вероятность в точке векторного пространства задаётся в виде

Оценки регрессионных параметров могут быть вычислены по обучающей выборке с помощью различных вариантов метода максимального правдоподобия.

Метод k-ближайших соседей

Простым, но достаточно эффективным подходом к решению задач распознавания является метод k-ближайших соседей. Оценка условных вероятностей ведётся по ближайшей окрестности точки , содержащей k признаковых описаний объектов обучающей выборки. В качестве оценки за класс выступает отношение , где - число признаковых описаний объектов обучающей выборки из внутри . Окрестность задаётся с помощью функции расстояния , заданной на декартовом произведении , где - область допустимых значений признаковых описаний. В качестве функции расстояния может быть использована стандартная эвклидова метрика .

Для задач с бинарными признаками в качестве функции расстояния может быть использована метрика Хэмминга, равная числу совпадающих позиций в двух сравниваемых признаковых описаниях.

Окрестность ищется путём поиска в обучающей выборке векторных описаний, ближайших в смысле выбранной функции расстояний, к описанию распознаваемого объекта . Единственным параметром, который может быть использован для настройки (обучения) алгоритмов в методе k–ближайших соседей является собственно само число ближайших соседей.

Для оптимизации параметра k обычно используется метод, основанный на скользящем контроле. Оценка точности распознавания производится по обучающей выборке при различных k и выбирается значение данного параметра, при котором полученная точность максимальна.

Разнообразные статистические методы распознавания рассмотрены в курсе лекций [3]. Следует отметить также книги [16],[17].

Характеристики

Список файлов книги