Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 22
Текст из файла (страница 22)
б) Обобщая вышеприведенные результаты, покажите. каков общий вид распределений, для которых байесовскпй классификатор является квадратичным. 4.2. Перечислите все случаи, когда байесовский критерий дает линейную разделяющую функцию. 4.3. Два распределения определяются следующими параметрами: 4 Вычислите ошибки, обусловленные байесовским классификатором и решающии, правилом, основанным на вычислении расстояния. 4.4. Используя те же данные, что и в задаче 4.3, а такхсе ~, = [ 1 н ~, = [ ], 5 К.
Фукувага 130 ГЛ. 4. ЛИНЕЙНЫЕ КЛАССИФИКАТОРЫ Таблица к задаче 41С2 Р(Х/«1,) Р(Х/1»,) Р(Х/«>,) Р(Х/«1, ) хз х, ха х, х, 1/ /24 1/ 0 +1 +1 +1 +1 0 1/ 1/ 1,' '/з /24 1/ 0 — 1 +1 — 1 +1 0 1/ 'в % 1/ — 1 +1 — 1 +1 — 1 — 1 -ф-1 +1 +1 +1 411. Предложите такой способ задания требуемого выхода, чтобы для синтеза кусочно-линейного классификатора можно было применить метод минимизации среднеквадратичной ошибки.
найдите оптимальну1о линейную разделяющую функцию, минимизирующую вероятность ошибки. 4.5. Используя те же данные„что в задаче 4.4, найдите линейную разделяющую функцию, максимизирующую критерий Фишера. 4.6. В з 4.3 была рассмотрена разделяющая функция, минимизирующая среднеквадратичную ошибку. Эта функция была построена по конечному числу имеющихся объектов. Повторите построение, предполагая, что вместо выборки объектов заданы две плотности вероятности. 4.7. Осуществить совместную нормировку для данных задачи 4.3. 4.8.
Предложите истинную функцию штрафа 1.(1) итеративной процедуры (4.77). 4.9. Две монеты имеют различные вероятности того, что в результате бросания выпадает событие «герб». Эти вероятности соответственно равны 0,55 и 0,45. Предполагая, что сделано и бросаний, найти разделяющую функцию, классифицирующую зти две монеты. Исследовать зависимость мен(ду числом бросаний и и вероятностью ошибки классификации.
4.10. Синтезировать линейную разделяющую функцию по данным, приведенным в следующей таблице, предполагая, что априорные вероятности равны, т. е. Р(4е~) = Р(е12) = 0,5: Глава о ОЦЕНИВАНИЕ ПАРАМЕТРОВ Как говорилось в предыдущих главах, если известны плотности вероятности классов, то для классификации объектов можно определить граничную поверхность, разделяющую пространство признаков на области. Следующий вопрос заключается в том, как по имеющейся выборке объектов оценить эти плотности вероятности? Эта задача является очень сложной, если нельзя сделать предположение о структуре многомерной плотности вероятности. Однако, если можно задать вид этой функции, то задача сводится к определению конечного набора параметров.
Для этого можно использовать хорошо известные статистические методы оценки параметров. Оценивание параметров плотностей вероятности известного вида и классификацию объектов на ос.нове этих плотностей называют параметрическим методом классификаи,ии. Первая задача, которая здесь возникает, заключается в том, чтобы оценить основные параметры плотности вероятностей, такие, как вектор математического ожидания, ковариационную матрицу и т. д.
в предположении, что эти параметры не являются случайными величинами. Далее обсуждение будет распространено на случай, когда эти параметры — случайные величины. Такие задачи называют точечным оиениванием. Другим важным вопросом в распознавании образов являются оценка вероятности ошибок решения, отношения правдоподобия, собственных значений и собственных векторов.
Поскольку вероятности ошибок и отношение правдоподобия представляютсо- 4)ой сложные функции относительно параметров, непосредственное применение для ннх стандартных методов оценивания не ,дает приемлемых результатов. В этой главе будут рассмотрены методы оценивания этих величин по имеющимся выборочным данным. Оценивание собственных значений и собственных векторов в большей степени относится к задачам выбора признаков и поэтому будет рассмотрено в гл.
8. .54' ГЛ. 5. ОЦЕНИВЛНИЕ ПАРАМЕТРОВ 132 1зз ражением ч = Е Цй, — О)(') /Е (()8, — О((') . (5.5) (5.6)' (5 1) Ж п1;,;„= (1/Х) ~ х'. х'.... х1», ~л (5.7) Ю = (1/Ж) 1.1 т;,, = т11 (5.8) Третьим вопросом этой главы является оценивапие доверительных интервалов, содержащих с заданной вероятностью истинное значение параметра. Этот вид оценивания называют интервальным оцениванием. 5 5.1. Оценивание неслучайных параметров До того как обсудить различные оценки, введем терминологию оценивания неслучайного параметра, часто встречающуюся в литературе. 5.1.1. Терминология. Пусть 0 и 6 — соответственно истинный вектор параметров и его оценка. Значение 0 является функцией С от наблюдаемых и-мерных случайных векторов Х1, Х2, ... ..., Х„, извлекаемых из оцениваемого распределения.
Следовательно, оценка является случайным вектором. Если пе оговорено особо, то предполагают, что векторы Х;. независимы и одинаково распределены. Таким образом, Е = С(Х,, ..., Х„) = а(Х), ГдЕ Х вЂ” ВЕКтОр С ПХх1Ч КОМПОНЕПТаМИ Х = ~Х1, Х,'... Х' 1', который вводится для упрощения выкладок. Так как наблюдаемые объекты являются случайными векторами, то Й вЂ” также случайный вектор, который обозначают нли через О, или через 6(Х). 1. Несмещенная оценка. Еслн Е(Д) ~ .
( Сх(Х„..., ХА) р(Х„..., Х~) с1Х1...ИХ Б' У = ~ а (7) р (7),а = о, (5.3) У то Я является несмещенной оценкой параметра 0; в противном случае оценку (5.3) называют смещенной оценкой. 2. Состоятельная оценка. Если оценка (5.1) сход11тся по Веро ятности к параметру 0 при Ж вЂ” э- со, т.
е. 11П1 Рг (~,Й вЂ” 0,(( е) = 1, (1.4) то 6 называют состоятельной оценкой параметра 1.1. 3. Эффективная оценка. Когда сравнивают две оценки параметра 6, основанные на одной и той же выборке, эффективность второй оценки Й2 относительно первой оценки 81 определяют вы- х..х . х,х ° х,хх х.хх х ° %ха х~х ~:Э х~Х 5 5,1. ОцениВАние неслучлйных пАРАметров Когда оценка Й1 такая, что всегда т~ ( 1 для всех возможных оценок 62, то 61 называ1от аффективной оценкой. 4.
Достаточная оценка. Оценку параметра 0 называют достаточной, если она содержит всю информацию о О, содержащуюся в наблюдаемых объектах. Другими словами, 01(Х) — достаточная оценка тогда и только тогда, когда для любых других оценок 02(Х), ..., 0~(Х) (для которых якобиан соответствующего преобразования не равен нулю) условная плотность вероятности оценок 02(Х), ..., Ою(Х) при фиксированной оценке 01(Х) не зависит от параметра 0: Р(О~, ..., Й !О~, 0) = ~(о„..., о„) Таким образом, наилучшая оценка из тех, которые можно найти, должна быть несмещенной, состоятельной, эффективной и достаточной. 5.1.2.
Оценки моментов. Основными параметрами, характеризующими плотность вероятности, являются моменты. В качестве их оценок обычно используют выборочные моментьь. Общий выборочный момент порядка 11+ 12+ ... + 1„определяется как среднее от моментов порядка 11+12+... +1„отдельных случайных выборочных объектов где х„— й-я компонента 1-го объекта. Так как векторы Х; выбирают случайно, то можно предположить, что Х, являются взаимно независимыми и одинаково распределенными случайными векторами. Поэтому Е(х'~,х..х„) = (1Л) Х Е ~х! х'.*... х!"1= где т;,, 1„, — истинный '(11.'+ ..., '+1„)'-й момент порядка 11 + ". + 1 этого распределения. Следовательно, выборочный момент представляет собой несмещенную оценку.
ГЛ, 5, ОЦЕНИВЛНИЕ ПАРАМЕТРОВ 134 135 (5,15) (5.9) (5.10) и Е((М вЂ” ЛХ) (М вЂ” М)') = (1/У)Х Я = (1~Л ) ~ Х,Х,'. (5 16) (5.11) (5.17) Дисперсию этой оценки можно вычислить следующим образом: Уаг ш;,1, 1,„= Е п11,...1„— т;,, 1„' = (1!У') 2„е [[х! ... х'." — т~,;„)~) = = (1(М) Чаг [х', ... х'"~ . Другими словами, дисперсия оценки равна произведению 1/Ж на дисперсию отдельного случайного объекта. Поэтому, если дисперсия отдельного объекта ограничена, то выборочный момент является состоятельной оценкой. В большинстве приложений внимание сосредоточено на моментах первого и второго порядков — выборочном векторе средних значений и выборочной автокорреляционной матрице, которые определяются соответственно следу1ощим образом: М м=(1~л),"~ х,, Все компоненты вектора М и матрицы 8 в формулах (5.10) и (5.11) являются частными случаями выражений (5.8) и (5.9).
Поэтому оценки (5.10) и (5.11) являются несмещенными и состоятельными, так как их дисперсии уменьшаются в 1/Ж раз по сравнению с первоначальной ограниченной дисперсией. Ситуация несколько меняется, когда рассматривают центральные моменты, такие, как дисперсии и ковариационные матрицы. Определим оценку ковариационной матрицы следующим образом: ~ = (1~к) Х [х,г — м) [х, — и)'. Используя вместо истинного вектора математического ожидания М, значение которого неизвестно, выборочный вектор средних значений М, получим х = (1/л) Х [(х,. м) (м ю)[ [(х,. м) (м м)[ 1=1 = (1ПЧ) Х (Х. — М) (Х вЂ” М) — (М вЂ” М) 1,М вЂ” М) . (5.13) Математическое ожидание оценки Х будет равно Е(2) = Х вЂ” Е((М вЂ” М)(М вЂ” М)'[ = Х вЂ” (1/Л') Х =:Х, (514) % 5,1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
