ММО1 (1185324), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

.

Рис 3.1. Ломаная (I) соединяет точки на двумерной плоскости в декартовой системе координат, которые являются соседними в ряду (1.1) .

Однако сохранение высокого значения при высоких значениях соответствует существованию решающего правила, при котором точность распознавания обоих классов высока. Наиболее эффективному распознающему оператору, обеспечивающему полное распознавание классов соответствует совпадение линии I с прямой, связывающей точки (0,1) и (1,1). Отсутствию распознающей способности соответствует совпадение с прямой II, связывающей точки (0, 1) и (1,0). В целом эффективность распознающего оператора может характеризоваться формой линии I. Чем ближе линия I к прямой, связывающей точки (0,1) и (1,1), тем лучше распознающий оператор и соответствующий ему метод распознавания. Наоборот, приближенность линии I к прямой, связывающей точки (0,1) и (1,1), соответствует низкой эффективности соответствующего метода распознавания.

На рисунке 3 сравниваются линии, характеризующие эффективность распознающих операторов, принадлежащих к трём методам распознавания, при решении задач диагностики двух видов аутизма по психометрическим показателям. Изучалась эффективность

-линейного дискриминанта Фишера (ЛДФ) с соответствующей линией обозначенной ;

- метода опорных векторов (МОВ) c линией, обозначенной ;

-метода статистически взвешенные синдромов (СВС) c линией, обозначенной .

Рис. 3.2 Сравнение трёх метод распознавания с помощью

Методы распознавания используются при решении многих задач идентификации объектов, представляющих важность для пользователя. Эффективность идентификации для таких задач удобно описывать в терминах:

«Чувствительность» - доля правильно распознанных объектов целевого класса

«Ложная тревога» - доля объектов ошибочно отнесённых в целевой класс.

Пример кривой, связывающей параметры «Чувствительность» и «Ложная тревога» представлен на рисунке 4.

Рис. 3.3 Вид ROC кривой в координатах чувствительность (ось Y) и ложная тревога (ось X )

Анализ, основанный на построении и анализе линий, связывающих параметры «Чувствительность» и «Ложная тревога» принято называть анализом Receiver Operating Characteristic или ROC-анализом.

Отметим, что по мере увеличения числа пороговых точек , что обычно происходит при возрастании объёма выборки, ломаная линия I постепенно приближается к некоторой кривой. Поэтому линию Линии, связывающих параметры «Чувствительность» и «Ложная тревога» принято называть ROC-кривыми. В качестве меры близости к прямой, связывающей точки (0,0) и (1,1), соответствующей абсолютно точному распознаванию, используется площадь под ROC – кривой.

Задача к разделу «Методы оценки эффективности алгоритмов распознавания»

Банк использует 2 метода распознавания для повышения прибыли при кредитовании. Используемая технология основана на распознавании в заёмщиков, для которых риск отказа от выплат по кредиту является высоким. Предполагается, что доход банка с одного добросовестного заёмщика составляет 10000 условных единиц (у.е.). Потери банка при отказе от выплат по кредиту составляет 45000 у.е. Доля заёмщиков, отказывающихся от выплат по кредиту составляет 0.05. В таблице приведены значения чувствительности и ложной тревоги при некотором наборе пороговых значений для методов распознавания A и B.

Таблица 1

Вопросы. Позволяют ли приведённые в таблице 1 данные сделать вывод о потенциальной возможности увеличении дохода банка при использовании метода A или метода B? Какой из двух методов позволяет получить более высокий доход?

Решение. Средний доход банка на одну поданную заявку на кредит в случае, когда методы распознавания не используются очевидно может быть найден по формуле

,

При использовании метода распознавания с чувствительностью и уровнем ложной тревоги . Величина потерь, произошедших непосредственно из-за отказов от выплат по кредиту, которая без применения методов распознавания была равна , становится равной . Величина дохода, полученная на добросовестных заёмщиков, которая без применения методов распознавания была равна , в случае применения метода распознавания оказывается равной . Таким образом величина дохода в случае использование метода распознавания рассчитывается по формуле

3.2 Байесовские методы

Ранее было показано, что максимальную точность распознавания классов обеспечивает байесовское решающее правило, относящее распознаваемый объект, описываемый вектором переменных (признаков) к классу , для которого условная вероятность максимальна.

Байесовские методы обучения основаны на аппроксимации условных вероятностей классов в точках признакового пространства с использованием формулы Байеса. Формула Байеса позволяет рассчитать условные вероятности классов в точке признакового пространства:

,

где - плотность распределения вероятности для класса ; - вероятность класса безотносительно к признаковым описаниям (априорная вероятность).

При этом в качестве оценок априорных вероятностей могут быть взята доля объектов класса в обучающей выборке, которая далее будет обозначаться . Плотности вероятностей восстанавливаются исходя из предположения об их принадлежности фиксированному типу распределения. Чаще всего используется многомерное нормальное распределения. Плотность данного распределения в общем виде представляется выражением

где - математическое ожидание вектора признаков

- матрица ковариаций признаков ; - детерминант матрицы .

Для построения распознающего алгоритма достаточно оценить вектора атематических ожиданий и матрицы ковариаций для классов

соответственно. Оценка вычисляется как среднее значение векторов признаков по объектам обучающей выборки из класса :

,

где - число объектов класса в обучающей выборке.

Оценка элемента матрицы ковариаций для класса вычисляется по формуле

,

где - k-я компонента вектора . Матрицу ковариации, состоящую из элементов обозначим . Очевидно, что согласно формуле Байеса максимум достигается для тех же самых классов для которых максимально произведение . На практике для классификации удобнее использовать натуральный логарифм , который согласно вышеизложенному может быть оценён выражением , где ,

- не зависящее от слагаемое;

Таким образом объект с признаковым описанием будет отнесён построенной выше аппроксимацией байесовского классификатора к классу, для которого оценка является максимальной. Следует отметить, что построенный классификатор в общем случае является квадратичным по признакам. Однако классификатор превращается в линейный, если оценки ковариационных матриц разных классов оказываются равными.

Задача к разделу Байесовские методы

Пусть априорные вероятности классов и равны 0.3 и 0.7 соответственно. Предположим, что значения некоторого признака для обоих классов распределены нормально. Для класса , . Для класса , . Выделить на числовой оси области значений признака , при которых байесовский классификатор относит классифицируемые объекты классу .

Характеристики

Список файлов книги