Лекции. ММО. Сенько (all in one) (1185303), страница 7
Текст из файла (страница 7)
Однако при решении конкретныхпрактических задач потери, связанные с неправильнойклассификацией объектов, принадлежащих к одному из классов,значительно превышают потери, связанные с неправильнойклассификацией объектов других классов. Для оптимизации потерьнеобходимо использование методов распознавания с учётомпредпочтительной точности распознавания для некоторых классов.Одним из возможных подходов является фиксирование порога дляточности распознавания одного из классов.
Оптимальное решающееправило в задаче распознавания с двумя классами K1 и K2 ,обеспечивающее максимальную точность распознавания K2 прификсированной точности распознавания K1 , описывается критериемНеймана-Пирсона.Сенько Олег Валентинович ()МОТП, лекция 424 / 35Распознавание при заданной точности распознавания некоторыхклассовКритерий Неймана-Пирсона Максимальная точность распознаванияK2 при точности распознавания K1 равной α обеспечиваетсяправилом: Объект с описанием x относится в класс K1 , еслиP (K1 | x) ≥ ηP (K2 | x)где параметр η определяется из условияZP (K1 | x)p(x)dx = αΘΘ = {x | P (K1 | x) ≥ ηP (K2 | x)}Sp(x) - плотность распределения K1 K2 в точке x. КритерийНеймана-Пирсона может быть использован, если известны плотностираспределения распознаваемых классов. Плотности могут бытьвосстановлены в рамках Байесовских методов обучения на основегипотез о виде распределений.
,Сенько Олег Валентинович ()МОТП, лекция 425 / 35Распознавание при заданной точности распознавания некоторыхклассовКритерий Неймана-Пирсона может быть использован, если известныплотности распределения распознаваемых классов. Плотности могутбыть восстановлены в рамках Байесовских методов обучения наоснове гипотез о виде распределений.
Однако существуютэффективные средства регулирования точности распознавания припредпочтительности одного из классов, которые не требуют гипотез овиде распределения. Данные средства основаны на структурераспознающего алгоритма. Каждый алгоритм распознавания классовK1 , . . . , Kl может быть представлен как последовательное выполнениераспознающего оператора R и решающего правила :A = R ⊗ C.Оператор оценок вычисляет для распознаваемого объекта sвещественные оценки γ1 , . . .
, γL за классы K1 , . . . , Kl соответственно.Сенько Олег Валентинович ()МОТП, лекция 426 / 35Распознавание при заданной точности распознавания некоторыхклассовРешающее правило производит отнесение объекта s по векторуоценок γ1 , . . . , γL к одному из классов. Распространённым решающимправилом является простая процедура, относящая объект в тот класс,оценка за который максимальна.В случае распознавания двух классов K1 и K2 распознаваемый объектs будет отнесён к классу K1 , если γ1 (s) − γ2 (s) > 0 и классу K2 впротивном случае.
Назовём приведённое выше правило правиломC(0) . Однако точность распознавания правила C(0) может оказатьсяслишком низкой для того, чтобы обеспечить требуемую величинупотерь, связанных с неправильной классификацией объектов, насамом деле принадлежащих классу K1 . Для достижения необходимойвеличины потерь может быть использовано пороговое решающееправило C(δ).Сенько Олег Валентинович ()МОТП, лекция 427 / 35Распознавание при заданной точности распознавания некоторыхклассовПрравило C(δ): распознаваемый объект s будет отнесён к классу K1 ,если γ1 (s) − γ2 (s) > δ и классу K2 в противном случае.
Обозначимчерез pci (δ, s) вероятность правильной классификации правилом C(δ)объекта s , на самом деле принадлежащего Ki , i ∈ {1, 2}. При δ < 0pc1 (δ, s) ≥ pc1 (0, s) , но pc2 (δ, s) ≤ pc2 (0, s). Уменьшая δ , мыувеличиваем pc1 (δ, s) и уменьшаем pc2 (δ, s) . Напротив, увеличивая δ ,мы уменьшаем pc1 (δ, s) и увеличиваем pc2 (δ, s). Зависимость междуpc1 (δ, s) и pc2 (δ, s) может быть приближённо восстановлена пообучающей выборке Set , включающей описания объектов {s1 , . .
. , sm }.Сенько Олег Валентинович ()МОТП, лекция 428 / 35Распознавание при заданной точности распознавания некоторыхклассовПустьγ1 (s1 ) . . . γ1 (sm )γ2 (s1 ) . . . γ2 (sm )является матрицей оценок за классы K1 и K2 объектов из Set . Пустьγ(s1 ) = γ1 (s1) − γ2 (s1 ), . . . , γ(sm ) = γ1 (sm ) − γ2 (sm ).Предположим, что величины [γ(s1 ), . . .
, γ(sm )] принимают r значенийΓ1 , . . . , Γr . Рассмотрим r пороговых решающих правил[C(Γ1 ), . . . , C(Γr )] Для каждого из правил C(Γi ) обозначим черезνc1 (Γi ) долю K1 среди объектов обучающей выборки,удовлетворяющих условию γ(s∗ ) ≥ Γi , а через νc2 (Γi ) обозначим долюK2 среди объектов обучающей выборки, удовлетворяющих условиюγ(s∗ ) < Γi .Сенько Олег Валентинович ()МОТП, лекция 429 / 35Распознавание при заданной точности распознавания некоторыхклассов.
ROC анализ.Отобразим результаты расчётов{[νc1 (Γ1 ), νc2 (Γ1 )] . . . , [νc1 (Γr ), νc2 (Γr )]}как точки на в декартовой системе координат. Соединив точкиотрезками прямых, получим ломаную линию (I), соединяющую точки(1,0) и (0,1). Данная линия графически отображает аппроксимацию пообучающей выборке взаимозависимости между pc1 (δ, s) и pc2 (δ, s) привсевозможных значениях δ . Соответствующий пример представлен нарисунке 2.Сенько Олег Валентинович ()МОТП, лекция 430 / 35Распознавание при заданной точности распознавания некоторыхклассов. ROC анализ.Рис.2Взаимозависимость между νc1 и νc2 наиболее полно оцениваетэффективность распознающего оператора R. Отметим, что νc1постепенно убывает по мере роста νc2 .
.Сенько Олег Валентинович ()МОТП, лекция 431 / 35Распознавание при заданной точности распознавания некоторыхклассов. ROC анализ.Однако сохранение высокого значения νc1 при высоких значениях νc2соответствует существованию решающего правила, при которомточность распознавания обоих классов высока. Таким образомэффективному распознающему оператору соответствует близостьлинии I к прямой, связывающей точки (0,1) и (1,1). То есть наиболеевысокой эффективности соответствует максимально большая площадьпод линией I. Отсутствию распознающей способности соответствуетблизость к прямой II, связывающей точки (0, 1) и (1,0).На рисунке 3сравниваются линии, характеризующие эффективность распознающихоператоров, принадлежащих к трём методам распознавания, прирешении задачи распознавания двух видов аутизма попсихометрическим показателям .Сенько Олег Валентинович ()МОТП, лекция 432 / 35Распознавание при заданной точности распознавания некоторыхклассов.
ROC анализ.Рис.3- линейный дискриминант Фишера;- метод опорных вектор;- статистически взвешенные синдромы.Сенько Олег Валентинович ()МОТП, лекция 433 / 35ROC анализ.Методы распознавания используются при решении многих задачидентификации объектов, представляющих важность дляпользователя. Эффективность идентификации для таких задач удобноописывать в терминах: «Чувствительность» - доля правильнораспознанных объектов целевого класса «Ложная тревога» - доляобъектов ошибочно отнесённых в целевой класс. Пример кривой,связывающей параметры «Чувствительность» и «Ложная тревога»представлен на рисунке 4. Анализ, основанный на построении ианализе линий, связывающих параметры «Чувствительность» и«Ложная тревога» принято называть анализом Receiver OperatingCharacteristic или ROC-анализом.
Линии, связывающих параметры«Чувствительность» и «Ложная тревога» принято называтьROC-кривыми.Сенько Олег Валентинович ()МОТП, лекция 434 / 35ROC анализ.Рис.4. Пример ROC кривойСенько Олег Валентинович ()МОТП, лекция 435 / 35Лекция 5Прицип частичной прецедентности, тестовый алгоритм,модель АВОЛектор – Сенько Олег ВалентиновичКурс «Математические основы теории прогнозирования»4-й курс, III потокСенько Олег Валентинович ()МОТП, лекция 21 / 24Содержание лекции1Тестовый алгоритм2Представительные наборы3Алгоритмы вычисления оценокСенько Олег Валентинович ()МОТП, лекция 22 / 24Принцип частичной прецедентности. Тестовый алгоритм.Существует ряд методов распознавания, основанных на принципечастичной прецедентности. Данный принцип подразумевает поиск пообучающей выборке фрагментов описаний, позволяющих разделитьраспознаваемые классы K1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
