Боровиков В.П. - Нейронные сети (778916), страница 10
Текст из файла (страница 10)
В этом и состоит смысл условной вероятности и формулы Байсса. Упражнение. Продолжим рассмотрение задачи. Предположим, вы бросили монету лва раза подряд я дважды выпадала решка, какое вы прнмеге решенно относительно правяльносгн монеты? Тспсрь мы готовы к тому, чтобы рсшнть следующую задачу. 57 Невронные семи. ЗТАТ!ЗТ!СА йеига! Ие!иойе Пусть у нас имеется некоторый объект О, который может принадлежать к одной из нескольких групп ÄÄ..., Г„. Мы проводим измерения объекта и на основе этих измерений принимаем решение — отнести объект к определенной группе. Пример 1.
Объект может быть заемщиком, группа Г! — группа хороших клиентов, которые возвратят кредит, группа Гз — группа плохих клиентов, которые не возвращают кредит. По признакам объекта мы хотим сделать выбор: объект принадлежит группе Г! или объект принадлежит группе Гъ Пример 2. Объект молит бызь пациентом, болеющим некоторым заболеванием; группа Г! — требуегся хирургическое вмешательство, группа Гз— не требуется. По симптомам больного мы хотим принять решение: делать операцию или не делать. Пример Э.
Мы анализируем подпись клиента и принимаем решение; подпись правильная нли неправильная (подделы!ая). Множество подобных задач возникает на практике. Это задача классификации или выбора определенной альтернативы из данного множества гипотез, а не задача проверки определенной гипотезы против множества альтернативных утверждений, например, пациент здоров или пациент болен. Пусть рассматриваемый нами объект описьвастся величиной х. По значению х мы хотим отнести объект к одной из совокупностей.
Обозначим через Х вЂ” множество значений величины х. Разобьем Х на к непересекающихся областей Х!, ..., Хь Будем относить обьект к группе Гь если значение х попадает в область Х. Есть много различных способов разбиения выборочного пространства и множество способов классификации. Естественно стремиться провести классификацию наилучшим способом. Как это сделать разумно? Прежде всего, необходимо ввести меру потерь или функцию потерь от неправильного решения. Очевидно, при принятии решения возникают потери, связанные с неправильной классификацией.
Эги потери могут иметь стоимостное выражение. Обозначим через г(1Д потери, связанные с отнесением объекта из группы Г, в группу Гл г', у = 1, ..., к. Пусть имеем определенное правило классификации. Тогда можно вычислить средние потери от применения данного правила. Эти потери для объекта, принадлежащего группе Гь составляют величину: А,. = ~г.(1, 1)р((хфх+ ~г(!',2)ра(х)г1х+...+ $г(с', й)р((худ, и, х, где рг(х) — плотность вероятности для объектов из совокупности Г;; Х„..., Մ— разбиение пространства.
58 Гпввв 2. нвеяение в поверию вероятностей Вычислим потери для каждой группы и составим вектор потерь 1,„,1.„...,2,„, который назовем оперативной характеристикой решающего правила. Сделаем некоторые упрощения: пусп известны априорные вероятности принадлежности объекта к данному классу. Иными словами, пусть известны: я, — априорная вероятность того, что объект принадлежит группе Г„.
я, — априорная вероятность того, что объект принадлежит группе Г,; я„— априорная вероятность того, что объект принадлежит группе Гь Заметим, эти вероятности известны до измерения характеристик объектов, т.е. до опыта, поэтому они называются априорными, Используя заданные априорные вероятности, мы можем свернуть вектор потерь и рассматривать далее математическое ожидание потери: 2 =я12ч +'А+ "+яи2т Поставим задачу: найти решающее правило, максимизирующее величину 1,.
Оказывается, решение данной задачи дается правилом Байеса'. Введем понятие информанта 5,. = — ~я,р,(х)гн+...+я,р„(х)г„,), 1=1,...,/с. Оптимальное правило составит в том, что обьект следует относить к той совокупноппи, для которой информтип максимплен. Итак, для решения задачи классификации оптимальным способом необходимо иметь: 1. Плотности вероятностей р, (х), ..., р„(х) для каждой группы. 2. Априорные вероятности я „..., я„. принадлежности объекта к группе. 3. Значения г„, представляющие убыток прн отнесении объекта, принадлежащего йи совокупности, к~-й совокупности.
Во многих практических задачах потери, возникающие из-за неверной идентификации, трудно оценить, тогда применяют критерий, минимизирующий вероятность ложной классификации. Оптимальное правило состоит в отнесении обаекнюа к той совокупности, для которой иносюпериорная вероятность имеет наибольшее значение. Пусть мы имеем объект с параметрами х, тогда объект относится к той группе, для которой я,.р,, (х) > кур, (х), ф.
~ См, например, книгу Рао С.Р. «Линсйиыс статистические методы и нх применения».— С. 439-441. Неоронные сеп)о. ЗТАТ)ЗТ(СА Мама( Ме1п)отса Самое интересное — посмотреть, как работает байесовскнй классификатор на простых примерах. Пусть распределение объекта описывается нормальным законом -! л(*) = (ъ) 1е,) ' ж — (*-н:)х: (*-н:)~.
где )х) — среднее и Х) — дисперсия 1'-й совокупности. В частном случае, если распределения одномерные, имеем картинку, представленную на рис. 2.3. Графнн плотностей распределений Д)(-2, 2) н Н(З, 2) 0,20 0,16 0,16 0,14 О,12 О,)О 0,08 0,06 О,О4 0,02 0 -0,02 -6 6 8 Х 2 4 -2 О Рпс. 2.3. График одпомсримх пормальпмх плотпостсв длл лаух групп объсктоа Пусть априорные вероятности принадлежности объекта к!4 группе равны л) Пусть распределения параметров объекта нормальные. Измеряя параметры объекта, требуется отнести его к одной из групп.
Построим байесовский классификатор. Вычислим информант для нормального распределения в общем случае. Взяв логарифм и отбросив константу, получим: 1пЯ) = — — 1п)Х,.~- — (х — )(,.)2 ) (х — )(,.)+ 1пя,. Согласно оптимальному правилу, сформулированному вьппе, объект относят к той совокупности, для которой построенный информант максимален. Это квадратичная форма от х. Сделаем предположение о равенстве корреляционных матриц рассматриваемых объектов. Тогда решающее правило может быть построено на основе линейной функции: Гпввв 2. введение в веорею вероввносвеа -! -! (п,.1 )х--р,.Е р,.
+!ояк, Именно этот алгоритм реализован в классическом дискриминантном анализе БТАГ1БТ1СА. Если имеются две группы и объект нужно отнести к одной из них, то достаточно вычислить разность 5, — Я,: Я, (х) — Я,(х) = Ь(х)-с, где 1.(х) =(и, -р,)Е х, -1 с= — (р,Х р, — р,Е р,)+1ояк, — 1ойк,. Эта функция называется линейным дискриминантом Фишера. Оптимальное решающее правило состошн в следующем: ° отнести обеект к первой совокупности, если ЦЕУ) ас; ° отнести обвеваю ко второй совокупности, если ЦУ) <с. В заключении главы подчеркнем: если классифицируются объекты, имеющие нормальное распределение с одной и той же корреляционной матрицей, но разными срсднимн, то классификатор Фишера является оптимальным.
Нейронные сети могут дать лучший результат лишь при нарушении этих предположений. Следовательно, байесовский классификатор можно использовать для тестирования нейронной сети. Гпава 3 ВВЕДЕНИЕ В ТЕОРИЮ НЕЙРОННЫХ СЕТЕЙ Идея нейронных сетей возникла в результате попыток смоделировать деятельность человеческого мозга. Мозг воспринимает воздействия, поступающие из внешней среды, и используя память, обучается на собственном опыте. Идея нейрона является обобщающей идеей: она синтезирует биологические нреданавлеипя с матемптическими образами. Такого рода идеи па стыке лзатематики и биологии характерны для пауки ХХ в.
Наша цель состоит в том, чтобы кратко описать общую модель нейронных сетей и научить читателя экспериментировать с нейронными сетями в системе БТАГБТ1СА. Ключевым является понятие нсйрона — специальной нервной клетки, способной воспринимать, преобразовывать и распространять сигналы. Общая модель нейрона состоит в следующем: нейрон (леигол) имеет несколько каналов ввода информации — дендриты и канал вывода информации — аксон. Аксон нейрона соединен с дендритами других нейронов с помощью синапсов (вупарзе).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
