ММО и поиск достоверных закономерностей в данных. Учебное пособие. Сенько (1185322), страница 5

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Задача к разделу Байесовские методы

Пусть априорные вероятности классов и равны 0.3 и 0.7 соответственно. Предположим, что значения некоторого признака для обоих классов распределены нормально. Для класса , . Для класса , . Выделить на числовой оси области значений признака , при которых байесовский классификатор относит классифицируемые объекты классу .

Решение. Как было показано байесовский классификатор относит объект, для которого , классу . при выполнении неравенства

Откуда следует, что

_.

Введём дополнительные обозначения

Нетрудно показать, что неравенство (1) эквивалентно неравенству

Введём обозначение . Неравенство (2) эквивалентно неравенству при или неравенству при .

_{Неравенство} выполняется всегда при . При неравенство эквивалентно одновременному выполнению неравенств

Неравенство не выполняется при . При неравенство эквивалентно одновременному выполнению неравенств

3.2.2 Линейный дискриминант Фишера

Рассмотрим вариант метода Линейный дискриминант Фишера (ЛДФ) для распознавания двух классов и . В основе метода лежит поиск в многомерном признаковом пространстве такого направления , чтобы средние значения проекции на него объектов обучающей выборки из классов и максимально различались. Проекцией произвольного вектора на направление является отношение . В качестве меры различий проекций классов на используется функционал

,

где - среднее значение проекции векторов, описывающих объекты из класса ;

• выборочная дисперсия проекций векторов, описывающих объекты из класса .

Смысл функционала ясен из его структуры. Он является по сути квадратом отличия между средними значениями проекций классов на направление , нормированным на сумму внутриклассовых выборочных дисперсий

Можно показать, что достигает максимума при

, (1)

где . Таким образом оценка направления, оптимального для распознавания и может быть записана в виде (1).

Распознавание нового объекта по признаковому описанию производится по величине проекции с помощью простого порогового правила: при объект относится к классу и относится к классу

в противном случае.

Граничный параметр подбирается по обучающей выборке таким образом, чтобы проекции объектов разных классов на оптимальное направление оказались бы максимально разделёнными. Простой, но эффективной, стратегией является выбор в качестве порогового параметра средней проекции объектов обучающей выборки на направление . Метод ЛДФ легко обобщается на случай с несколькими классами.

При этом исходная задача распознавания классов сводится к последовательности задач с двумя классами и :

Зад. 1. Класс , класс

………………………………………………………………………………

Зад. L. Класс , класс

Для каждой из L задач ищется оптимальное направление и пороговое правило.В результате получается набор из L направлений . При распознавании нового объекта по признаковому описанию вычисляются проекции на

Распознаваемый объект относится к тому классу, соответствующему максимальной величине проекции. Распознавание может производится также по величинам .

3.2 3 Логистическая регрессия

Целью логистической регрессии является аппроксимация плотности условных вероятностей классов в точках признакового пространства. При этом аппроксимация производится с использованием логистической функции:

.

График логистической функции приведён на рисунке

Рис.

В методе логистическая регрессия связь условной вероятности класса с прогностическими признаками осуществляются через переменную , которая задаётся как линейная комбинация признаков:

Таким образом условная вероятность в точке векторного пространства задаётся в виде

Оценки регрессионных параметров могут быть вычислены по обучающей выборке с помощью различных вариантов метода максимального правдоподобия.

Метод k-ближайших соседей

Простым, но достаточно эффективным подходом к решению задач распознавания является метод k-ближайших соседей. Оценка условных вероятностей ведётся по ближайшей окрестности точки , содержащей k признаковых описаний объектов обучающей выборки. В качестве оценки за класс выступает отношение , где - число признаковых описаний объектов обучающей выборки из внутри . Окрестность задаётся с помощью функции расстояния , заданной на декартовом произведении , где - область допустимых значений признаковых описаний. В качестве функции расстояния может быть использована стандартная эвклидова метрика .

Для задач с бинарными признаками в качестве функции расстояния может быть использована метрика Хэмминга, равная числу совпадающих позиций в двух сравниваемых признаковых описаниях.

Окрестность ищется путём поиска в обучающей выборке векторных описаний, ближайших в смысле выбранной функции расстояний, к описанию распознаваемого объекта . Единственным параметром, который может быть использован для настройки (обучения) алгоритмов в методе k–ближайших соседей является собственно само число ближайших соседей.

Для оптимизации параметра k обычно используется метод, основанный на скользящем контроле. Оценка точности распознавания производится по обучающей выборке при различных k и выбирается значение данного параметра, при котором полученная точность максимальна.

Разнообразные статистические методы распознавания рассмотрены в курсе лекций [3]. Следует отметить также книги [16],[17].

4 Модели распознавания, основанные на различных способах обучения

Статистические методы распознавания нередко обеспечивали достаточно высокую точность в прикладных исследованиях. Однако в различных областях науки и практической деятельности возникали задачи диагностики и прогнозирования, которые могли быть сведены к задачам распознавания. При этом исследователям удавалось собрать обучающую выборку весьма ограниченного объёма. а число показателей, которые потенциально могли быть использованы оказывалось достаточно большим. Для решения таких задач стали предлагаться новые подходы, не содержащие предположений о лежащих в основе изучаемого процесса вероятностных распределений. Оказалось, что такие подходы часто имеют более высокую эффективность, чем статистические методы.

4.1 Метод Линейная машина

. Метод «Линейная машина» предназначен для решения задачи распознавания с классами . .

_{В процессе обучения классам} ставятся в соответствие линейные функции от переменных , являющиеся оценками за классы . То есть для произвольного вектора значений переменных

Для того, чтобы распознать объект , описание которого задаётся вектором . вычисляются значения функций в точке . Объект будет отнесён классу , если выполняется набор неравенств:

Таким образом алгоритм распознавания задаётся матрицей вещественных параметров

.

Обучения ведётся по выборке , где являются значениями дискретной прогнозируемой переменной, указывающей на номер класса, которому принадлежит соответствующий объект. Обучение состоит в поиске таких значений параметров из матрицы , при которых максимальное число объектов оказывается правильно распознанным. Обозначим через номер класса, которому принадлежит объект из обучающей выборки. Максимальная точность на соответствует выполнению максимального числа блоков неравенств:

Каждый из блоков соответствует одному из объектов выборки включает неравенство. Таким образом суммарное число неравенств составляет .

Поиск оптимальной матрицы коэффициентов производится с помощью релаксационного алгоритма, подробно описанного в книге [10].

Приведём графический пример алгоритма распознавания, построенного с помощью метода линейная машина. Имеется задача распознавания с классами 1, 2, 3 по признакам и

Рис. 1 Области, соответствующие отнесению распознаваемых объектов классам методом линейная машина, вычисляющим оценки за классы по формулам (1).

Предполагается, что с использованием метода ЛМ для каждого класса найдены линейные функции оценок:

для класса 1;

для класса 2; (1)

Характеристики

Список файлов книги