Дуда Р., Харт П. - Распознование образов и анализ сцен (1033979), страница 45

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 45)

Таким образом, единственное значительное различие состоит в том, что в случае обучения с учителем мы умножаем априорную плотность для 8 на плотность компоненты Р(х„(а„О!), в то время как в случае обучения без учителя мы умножаем на плотность смеси~~~~р(х„(ап Ое)Р(ве). Предполагая, что выборка действительно принадлежит классу 1, мы видим, что незнание принадлежности какому-либо классу в случае обучения без учителя приводит к уменьшению влияния х„на б.б. Бабесоеекое обучеяяе бее учителя изменение О. Поскольку х„может принадлежать любому из с классов, мы не можем использовать его с полной эффективностью для изменения компонент (компоненты) 8, свизаиных с каким-нибудь классом.

Более того, это влияние мы должны распределить на различные классы в соответствии с вероятностью каждого класса. 6.5.3. ПРИМЕР Рассмотрим одномерную двухкомпоиентную смесь с р(х~а,) Л1(1л, 1), р (х1а„О) 1ч'(О, 1), где р, Р (в,) и Р (в,) известны. Здесь р(х~ 8) = — 'ехр 1ь — (х — р)1~+ ехр ~ — — (х — 8)е~~ . Р(вй Г 1 2 Р(вй Г 1 Р Я ~ 2 л' )Г2я 'Г 2 Рассматриваемая как функция от х, зта плотность смеси пред- ставляет собой суперпозицию двух нормальных плотностей, причем одна имеет пик при х=р, а другая при х=О. Рассматриваемая как функция от О, плотность р(х18) имеет один пик при 8=х: Предпо- ложим, что априорная плотность р (О) равномерна в интервале от а до Ь.

Тогда после одного наблюдения р (8 ~ х,) = ар (х, ) 8) р (8) = а'~Р(в,) ехр ~ — — '(х,— р)*~+ Р (а,) ехр ~ — 2 (х,— 8)'Ц, а(8(Ь, 0 в противном случае, где а и а' — нормирующие константы, независимые от О. Если вы- борка х, находится в пределах а(х,<Ь, то р(81х,) имеет пик при О=х,. В противном случае она имеет йики либо при О=а, если х, а, либо при О=Ь, если х, >Ь. Отметим, что прибавляемая константа ехр ( — (1/2)(х,— (я)е) велика, если х„близок к р.

Это соответствует тому факту, что если х, близок к р, то более вероятно, что он при- надлежит компоненте р(х!в,), и, следовательно, его влияние на нашу оценку для О уменьшается. С добавлением второй выборки х, плотность р (О!х,) обращается в р (О ~ х„хч) = (1р (хе ~ 0) р (О ( х,) = () ~Р(в,) Р(,)ехр ~ — 2 (х,— р)' — — (.,— Р)е)+ + Р (а,) Р (а,) ехр ~ — 2 (х,— р)' — 2 (х,— 8)'~ + 1 1 + Р(а,) Р(в,) ехр ~ — (х,— О); — (х,— )е)'1+ + Р (в,) Р (в,) ехр ~ — (х, — 8)' — — (х, — 8)е ~ ~, 1 е 1 если а(0(Ь, в противном случае.

о -г -г п г г в Рис. 6,5. Байесовское обучение без учителя. О 5 -Ч вЂ”.Х -Я -7 д У 2 Л Ч 5 д Рис. 6.6. Эффект сужения апуиорной плотности. бд. Бадепае»ее абуче»ие бее у»и ее зз) К сожалению, первое, что мы узнаем из этого выражения,— это то, что р (О) Х") усложняется уже при л= 2. Четыре члена суммы соответствуют четырем способам, которыми можно извлекать выборки из двухкомпонентных популяций.

Пря п выборках будет 2" членов, и нельзя найти простых достаточных статистик, чтобы облегчить понимание или упростить вычисления. Возможно использование соотношения (6 ! Х») Р(е» ) е) Р (е! Х» ) ~р(е»1е)Р(е)х»-)бе и численного интегрирования для того, чтобы получить приближенное числовое решение р(6~Х»). Это было сделано для данных табл, 6.1 при зйачениях р=2, Р (а,)=1(3 и Р (ве)=2(3 Априорная плотность р(0), равномерная яа интервале от — 4 до 4, включает данные этой таблицы.

Эти данные были использованы для рекуррентного вычисления р (6)Х»). Полученные результаты представлены на рнс. 6.5. Когда и стремится к бесконечности, мы с уверенностью можем ожидать, что р (0)Х") будет стремиться к всплеску в точке 6=2. График дает некоторое представление о скорости сходимости. Одно из основных различий между байесовокнм и подходом по максимуму правдоподобия при обучении без учителя связано с априорной плотностью р(6). Рис.

6.6 показывает, как изменяется р(6)Х»), когда предполагается, что р (6) равномерна на интервале от 1 до 3, в зависимости от более четкого начального знания о 6. Результаты этого изменения больше всего проявляются, когда и мало. Именно здесь различия между байесовским подходом и подходом по максимуму правдоподобия наиболее значительны. При увеличении а важность априорного знания уменьшается, и в этом частном случае кривые для в=25 практически идентичны.

В общем случае можно ожидать, что различие будет мало, когда число непомеченных выборок в несколько раз больше эффективного числа помеченных выборок, используемых для определения р(0). Е.вэн АППРОКСИМАЦИЯ НА ОСНОВЕ ПРИНЯТИЯ НАПРАВЛЕННЫХ РЕШЕНИЙ Хотя задачу обучения без учителя можно поставить просто как задачу определения параметров плотности смеси, ни метод максимума правдоподобия, ни байесовский подход не дают простых аналитических результатов. Точные решения даже простейших нетривиальных примеров ведут к необходимости применения численных методов; обьем вычислений при этом растет экспоненциально в зависимости от числа выборок.

Задача обучения без учителя слишком важна, чтобы отбросить ее только из-за того, что точные решения 232 Гл. б. Обучение без учиинля и гр ппироена слишком трудно найти, и поэтому были предложены многочисленч ные процедуры получения приближенных решений. Так как основное различие между обучением с учителем и без учителя состоит в наличии или отсутствии меток для выборок, очевидным подходом к обучению без учителя является использование априорной информации для построения классификатора и использования решений этого классификатора для пометки выборок.

Такой подход называется подходом принятия направленных решений при обучении без учителя и составляет основу для различных вариаций. Его можно применять последовательно путем обновления классификатора каждый раз, когда классифицируется непомеченная выборка. С другой стороны, его можно применить при параллельной классификации, то есть подождать, пока все п выборок будут классифицированы, и затем обновить классификатор.

При желании процесс можно повторять до тех пор, пока не будет больше измене. ний при пометке выборок '). Можно ввести различные эвристические процедуры, обеспечивающие зависимость любых коррекций от достоверности решения классификатора. С подходом принятия направленных решений связаны некоторые очевидные опасности.

Если начальный классификатор не достаточно хорош или если встретилась неудачная последовательность выборок, ошибки классификации непомеченных выборок могут привести к неправильному построению классификатора, что в свою очередь приведет к решению, очень приблизительно соответствующему одному из меньших максимумов функции правдоподобия. Даже если начальный классификатор оптимален, результат пометки не будет соответствовать истинной принадлежности классам; классификация исключит выборки из хвостов желаемого распределения и включит выборки из хвостов других распределений. Таким образом, если имеется существенное перекрытие между плотностями компонент, можно ожидать смещения оценок и неоптимальных результатов. Несмотря на эти недостатки, простота процедур направленных решений делает байесонский подход доступным для численных методов, а решение с изъянами чаще лучше, чем отсугствие решения.

При благоприятных условиях можно получить почти оптимальный результат при небольших вычислительных затратах. В литературе имеется несколько довольно сложных методов анализа специальных процедур направленных решений и сообщения о результатах экспериментов. Основной вывод состоит в том, что большинство этих процедур работает хорошо, если параметрические предположения правильны, если перекрытие между плотностями компонент невелико и если начальный классификатор составлен хотя бы приблизительно правильно. ') Процедуре «Базовые Изоданныеь описанная в п.

6.4А, в сущности является процедурой принятии решения етого типа. а.д. Онисание данныи и гуунаиравка 8.6. ОПИСАНИЕ ДАННЫХ И ГРУППИРОВКА Вернемся к нашей первоначальной задйче — обучению на множестве непомеченных выборок. С геометрической точки зрения эти выборки образуют облака точек в й-мерном пространстве. Предположим, что эти точки порождаются одномерным нормальным распределением. Тогда все, что мы можем узнать из этих данных, содержится в достаточных статистиках — в средней выборке и в матрице ковариаций выборок. В сущности, эти статистики составляют компактное описание данных. Средняя выборок обозначает центр тяжести облака.

Его можно рассматривать как единственную точку х, которая лучше всего представляет все данные с точки зрения минимизации суммы квадратов расстояний от х до выборок. Матрица ковариаций выборок говорит о том, насколько хорошо средняя выборок описывает данные с точки зрения разброса данных в разных направлениях. Если точки действительно нормально распределены, то облако имеет простую гиперэллипсоидную форму, и средняя выборок обычно находится в области наибольшего сгущения точек.

Конечно, если данные не распределены нормально,эти статистики могут дать сильно искаженное описание данных. На рис. 6.7 показаны четыре различных множества данных, у которых одинаковые средние и матрицы ковариаций. Очевидно, статистики второго порядка не в состоянии отобразить структуру произвольного множества данных. Предположив, что выборки отобраны из смеси а нормальных распределений, мы можем аппроксимировать большее разнообразие ситуаций.

В сущности, это соответствует представлению, что выборки образуют гиперэллипсоидные облака различных размеров и ориентаций. Если число компонентных плотностей не ограничено, таким образом можно аппроксимировать практически любуюфункцию плотности и использовать параметры смеси для описания данных. К сожалению, мы видели, что задача определения параметров смеси не является тривиальной. Более того, в ситуациях, где а рг1ог! относительно мало известно о природе данных, предположение об особых параметрических формах может привести к плохим или бессмысленным результатам.

Вместо нахождения структуры данных, мы бы навязали им свою структуру. В качестве альтернативы можно использовать один нз непараметрических методов, описанных в гл. 4, для оценки плотности неизвестной смеси. Если говорить точно, результирующая оценка в сущности является полным описанием того, что можно узнать изданных. Области большой локальной плотности, которые могут соответствовать существенным подклассам популяции, можно определить по максимумам оцененной плотности.

Характеристики

Список файлов книги