Дуда Р., Харт П. - Распознование образов и анализ сцен, страница 4

Эти априорные вероятности отражают исходное знание того, с какой степенью уверенности можно предсказать ясень или березу до их действительного появления. Предполагается, что величины Р(оз,) и Р(оз,) неотрицательны и сумма их раьна единице '). т) При обозначениях обычно используется прописная Р для функции распределения и строчная р для функции плотности распределения вероятностей. Функция плотности распределения вероятносте» неотрицательна, и интеграл от нее равен единице. 2.1.

Введение 21 Допустим сначала, что требуется решить, какой из видов древесины появится следующим, не видя ее. Единственная информация, которой мы располагаем, это величины априорных вероятностей. Если решение необходимо принять, исходя из столь малой информации, то разумно воспользоваться следующим Раиаюп(им аравилохц принять решение а„если Р(а,))Р(ае), и а, в противном случае. Эта процедура может показаться странной в том смысле, что в любом случае принимается одно и то же решение, хотя и известно о возможности появления обоих видов древесины. Насколько она Ф Рис. 2Л. Пример плотности распределения, услоппоа по классу.

хороша, зависит от величины априорных вероятностей. Если Р(а,) намного больше, чем Р(ае), то наше решениеотдавать предпочтение а, должно большей частью оправдываться. Если Р(а,)= =Р(а,), то у нас 50 шансов из 100 быть правыми. Вообще вероятность ошибки равна в данном случае меньшей из величин Р (а,) и Р(а,), а из дальнейшего станет видно, что при таких условиях никакое другое правило решения не даст меньшей вероятности ошибки. В большинстве случаев при выборе решения не ограничиваются столь малой информацией.

В нашем примере в качестве определяющего признака можно взять яркость х оттенка древесины. Разные куски древесины выглядят светлее или темнее, так что естественно выразить это различие с помощью вероятностных законов, а х рассматривать как непрерывную случайную величину, распределение которой зависит от состояния природы, пусть Р(х1аз)— условная плотность распределения величины х в состоянии ап т. е. функция плотности распределения случайной величины х при условии, что состояние природы есть а;.

В этом случае Различие междУ Р(х(а,) и Р(хаас) отРажает Различие ЯРкости оттенков ясеня и березы (рис. 2.1). Гл. 2. Б весовская теория решений Допустим, что известны как априорные вероятности Р(а/), так и условные плотности р(к)а/). Предположим далее, что мы измеряем яркость оттенка древесины и находим, что это есть х. Ответ на вопрос, в какой мере зто измерение повлияет на наше представление об истинном состоянии природы, дает правило Байесш р(х) а/) Р (а/) (1) Р (а/<х) = где 2 р(к) = ~~.", р(к<а/) Р(а/). /=! (2) Правило Байеса показывает, как наличие измеренной величины х позволяет из априорной вероятности Р (а/) получить апостериорную 1,0 О,В 0,0 0,4 0,2 0,0 Рис. 2.2.

Аяостсриорные вероятности дяя Р (ат)=2/3, Р (ае)= 1/3. вероятность Р (а/)х). Зависимость Р (а/(х) от х для случая Р (а,)=2/3 н Р(а,)=1/3 показана на рис. 2.2. Если при наблюдении получено значение х, для которого Р(айх) больше, чем Р(а,)к), то естественно склониться к решению, что истинное состояние природы есть а,. Аналогично, если Р(а,)х) больше, чем Р(а,)х), то естественно склониться к выбору а,. Чтобы обосновать это, вычислим вероятность ошибки при принятии решения, когда наблюдалось определенное значение х: Р(а, <х), если принимается решение а„ Р (ошибка <х) =— Р(ае <х), если принимается решение а,. Очевидно, что в каждом из случаев, когда наблюдается одно и то же значение х, вероятность ошибки можно свести к минимуму, принимая решение а„если Р(а,)х)'= Р(ае)к), и а„если Р(ае)х)) )Р(а,)х).

Разумеется, мы не можем дважды наблюдать точно то же самое значение величины х. Будет ли зто правило минимизировать среднюю вероятность ошибки? Да, поскольку средняя веро- 2,2. Байесовсная теория решений — непрерывный случай 23 ятность ошибки определяется выражением ч Р (ошибка) = ~ Р (ошибка, х)йх= = ~ Р (ошибка~я) р(х)с(х, Ф и если для каждого х вероятность Р(ошибка~х) достигает наименьшего значения, то и интеграл должен быть минимальным. Этим мы обосновали следующее байесовское решающее правило, обеспечивающее наименьшую вероятность ошибки: в„если Р (в, ~ х) > Р (о, ~ х); Принять решение в, в противном случае.

Самим видом решающего правила подчеркивается роль апостериорных вероятностей. Используя уравнение (1), можно выразить это правило через условные и априорные вероятности. Заметим, что р(х) в уравнении (1) с точки зрения принятия решения роли не играет, янляясь всего-навсего масштабным множителем, обеспечивающим равенство Р(в,1х)+Р(о,1х)=1. Исключив его, получим следующее решающее правило, полностью эквивалентное прежнему: в„если р(х~в,) Р(в,) ) р(я~ о,) Р(в„); Принять решение в, в противном случае.

Чтобы пояснить существо вопроса, рассмотрим крайние случаи. Пусть для некоторого х получено, что р(х1в,)=р(х1о,), так что конкретное наблюдение не дает информации о состояний природы. В этом случае решение, которое мы примем, целиком зависит от априорных вероятностей.

С другой стороны, если Р(в,)=-Р(о,), то состояния природы априорно равновозможны, и вопрос о принятии решения опирается исключительно на р(х~ве) — правдоподобие вй прн данном х. В общем случае при выборе решения важны обе указанные величины, что и учитывается правилом Байеса, обеспечивающим наименьшую вероятность ошибки. 2.2. БАЙЕСОВСКАЯ ТЕОРИЯ РЕШЕНИЙ вЂ” НЕПРЕРЫВНЫЙ СЛУЧАЙ Дадим более строгую формулировку ранее рассмотренных соображений, сделав четыре следующих обобщения: 1) Допускается использование более одного признака. 2) Допускаются более двух состояний природы.

3) Допускаются действия, отличные от решения о состоянии природы. Гл. 2. Яаяееаееяея теория решений 24 4) Вводится понятие функции потерь, более общее, нежели вероятность ошибки. р(х) в ) Р(в ) Р (в,(х) =- где р (х) = ~~", р (х ~ в ) Р (в,), )=1 (4) Предположим, что мы наблюдаем определенное значение х и собираемся произвести действие а,. Если текущее состояние природы есть вп то мы понесем потери Х(а;)ве). Так как Р(в,)х) есть вероятность того, что действительное состояние природы — вп то ожидаемые потери, связанные с совершением действия а„равны Сами обобщения и связанные с ними усложнения формул не должны затенять того обстоятельства, что в основном речь идет о явлениях, по существу таких же, как в рассмотренном простом примере.

Так, использование большего числа признаков приводит всего-навсего к замене скалярной величины х вектором признаков х). Рассмотрение более чем двух состояний природы позволяет провести полезные обобщения при незначительном усложнении выражений. Применение действий, отличных от классификации, прежде всего означает возможность отбрасывания, т. е. отказа от принятия решения в неопределенных ситуациях, что целесообразно, если непринятие решения не обходится слишком дорого.

Применение функции потерь позволяет точно установить цену каждого действия. Теоретически это также дает возможность рассматривать ситуации, при которых некоторые виды ошибок имеют большую цену в сравнении с другими, хотя большинство изящных аналитических результатов достигается в предположении, что все ошибки равноценны. Отнеся сказанное к вступлению, перейдем к формальному изложению теории. Пусть ье=(вь ..., в,) есть конечное множество из з состояний природы и А =(а„..., а„) есть конечное множество из а возможных действий.

Пусть Х(а;)в)) — потери, связанные с принятием действия а;, когда состояние природы есть вр Пусть вектор признаков х есть г(-компонентная векторная случайная величина, и пусть р(х)в)) является функцией условной по состоянию природы плотности распределения случайной величины х, т. е. функцией плотности х при условии, что состояние природы — вр Наконец, пусть Р (в;) априорная вероятность того, что состояние природы есть вгь Тогда апостериорная вероятность Р(в))х) может быть вычислена из р(х)в)) посредством байесовского правила: 2.2.

Байесовскон гпеорил решений — непрерывный случай 28 просто 3 Р (я; ! х) =,~.", Л (я; ! оэ,) Р (оз, / х). (5) г=! Согласно терминологии теории решений, ожидаемые потери называются риском, а Р (яг!х) — условным риском. Всякий раз при наблюдении конкретного значения х ожидаемые потери можно свести к минимуму выбором действия, минимизирующего условный риск. Покажем теперь, что это и есть оптимальная байесовская решающая процедура. Выражаясь формально, задача состоит в том, чтобы по Р(ш;) найти байесовское решающее правило, которое бы свело к минимуму общий риск.

Решающее правило есть функция я(х), которая подсказывает, какое действие следует предпринять при любом из возможных результатов наблюдений '). Более точно, для любого х решающая фуякиия принимает одно из а значений я„..., я,. Общий риск Р— это ожидаемые потери, связанные с данным правилом принятия решений. Так как Р (я; !х) есть условный риск, связанный с действием яь а это действие определяется решающим правилом, то общий риск выражается формулой )т! = ~ )тг (я (х) ~ х) р (х) с!х, (5) где символом йх мы обозначаем бесконечно малое приращение объема, а интеграл берется по всей области существования признака.

Ясно, что если я(х) выбрано таким образом, что величина Р(я(х)!х) имеет наименьшее значение для каждого х, то н общий риск будет минимальным. Этим объясняется следующая формулировка байесовского решающего правила: для минимизации общего риска требуется вычислить условный риск согласно выражению з Р (я; ~ х) = ~ Л (аг ~ юу) Р (соу ) х) (5) г=! ') Читателю, знакомому с теорией игр, оно известно как детерминированное решающее правило. В теории игр на месте природы выступает злонамеренный противник, который могкет извлечь пользу из детерминированной стратегии, так что часто оказывается выгодным рандомизированное решающее правило.

Однако в нашем случае рандомизированное правило преимуществ не дает. С математической иллюстрацией этого читатель встретится в задаче 8. для !'= 1, ..., а и выбрать действие яы при котором Р (я, !х) минимален. (Заметим, что если минимум Р (я, ~х) достигается более чем для одного действия, то не имеет значения, какое из этих действий принято; здесь пригодно любое правило, снимающее неопределенность.) Получающийся минимальный общий риск называется байесовским риском, соответствующим наилучшему возможному образу действия. Гл. 2. Байееаваии Раория реииний 2.3, КЛАССИФИКАЦИЯ В СЛУЧАЕ ДВУХ КЛАССОВ Применим полученные результаты к исследованию задач классификации в случае двух классов.