Фукунага - Введение в статистическую теорию распознования образов, страница 3

Рассматривается также более простая задача нахождения верхней границы вероятност.1 Ошибки. В различных постановках задач распознавания образов входная информация представляет собой некоторую последовательность объектов из одного н того же класса. Хорошо известно, что класс можно описать с большей уверенностью, если мы наблюдаем последовательность объектов, а не один объект. Поэтому глава 3 включает также последовательную проверку гипотез. В главе 4 исследуется линейный классификатор. Хотя байесовский классификатор является оптимальным, на практике его часто трудно реализовать из-за его сложности, особенно когда размерность пространства высока.

Поэтому мы часто вынуждены рассматривать более простой классификатор. Линейный или кусочно-линейный классификаторы являются самыми простыми и наиболее часто употребляемыми. В главе 4 рассматриваются различные процедуры построения линейных классификаторов. Сюда Относятся процедуры построения байесовского классификатора для некоторых типов распределений, оптимального линейного классификатора в смысле минимума вероятности ошибки или в смысле минимума среднеквадратичной ошибки и т. д.

Рассматривается также случай, когда входные данные являются бинарными. 15 ГЛ. 1. ВВЕДЕНИЕ $1.2. ОБ30Р содеРжАния книги по глАБАм В главе 5 рассматривается задача оценивания параметров. В предыдущих главах предполагалось, что подлежащие классификации распределения известны.

Однако на практике мы имеем лишь конечное число объектов и должны по ним оценить распределения. Если функциональный вид распределения известен, плотность вероятности можно оценить, заменяя неизвестные параметры их оценками. Например, нормальное распределение можно оценить с помощью оценок вектора средних значений и ковариационной матрицы. Этот метод оценивания плотностей вероятности называют параметрическим. Оцениваемые параметры могут быть случайными величинами или неизвестными константами; оба эти случая рассматриваются в главе 5.

Поскольку оценки параметров зависят от множества объектов, по которым они вычисляются, и могут меняться от одного множества объектов к другому, было бы желательно установить для оценки некоторый доверительный интервал. Задача этого типа носит название интерва.гьное оценивпние и также рассматривается в главе 5. Как упоминалось выше, в теории распознавания образов вероятность ошибки является важным параметром, и нам часто приходится оценивать этот параметр по имеющимся объектам.. Однако оценивание ошибки несколько отличается от обычного оценивания параметров, главным образом потому, что при оценивании ошибки мы должны использовать имеющиеся объекты как для построения классификатора, так и для его проверки Параметрический вариант задачи 'оценивания ошибки рассматривается в главе 5. В главе 6 рассматривается оценивание плотности вероятности без предположения о том, что она имеет какой-либо определенный вид.

Этот подход называют непа раметрическим. Вначале вводится оценка Парзена плотности вероятности, идея которой заключается в построении вокруг каждого объекта симметричных функций — ядер и их последующем суммировании. После изучения математических свойств этой оценки рассматриваются различные ее варианты с разными типами ядер. Одним из важных методов непараметрической классификацип является решающее правило Й-ближайших соседей, по которому неизвестный объект классифицируется в зависи310сти от того, к каким классам принадлежат й ближайших к нему и уже расклассифицированных объектов.

Кроме того, в главе 6 рассматривается наиболее простой метод оценивания плотности Бероятности — метод еистограмм, при котором оценка получается подсчетом числа объектов, попавших в заранее заданную область. Все методы, описанные в главе 6, не зависят от вида распределений. Однако за это преимущество приходится расплачиваться усложнением вычислепий, поскольку эти методы оспованы на использовании самих наблюдаемых объектов, вместо небольшого числа параметров. В главе 7 рассматривается последовательное оценивание параметров. В главе 5 оценки параметров определялись, исходя из информации о всех наблюдаемых объектах.

Однако на практике иногда более удобной оказывается процедура, ориентированная на последовательное поступление объектов. В этом случае из эвристических соображений выбирается некоторая начальная приближенная оценка. Затем каждый вновь поступивший объект используется для уточнения оценки. Задача заключается в том, чтобы выяснить, сходится ли оценка в каком-либо смысле к истинным значениям параметров и как быстро она сходится. Вначале рассматривается последовательное оценивание параметров линейной дискриминантной функции. В этом случае сходимость может быть доказана при условии, что два распределения линейно разделимы. Для того чтобы доказать сходимость в случае перекрывающихся распределений, вводится в рассмотрение стохастическая аппроксимация. Метод стохастической аппроксимации представляет собой итеративну1о яроцедуру нахождения корней или экстремальных точек функции регрессии при наличии случайных помех.

Оценка параметра является случайной величиной, имеющей свое распределение. Плотность вероятности оценки можно последовательно уточнять, используя теорему Байеса. Метод решения задачи, получивший название последовательного байесовского оценивания, кратко излагается в главе 7. Главы 8 — 10 посвящены выбору признаков. В главе 8 рассматривается выбор признаков при наличии одного распределения. В случае одного распределения задача классификации не возникает, а имеется лишь задача представления. Предполагается, что признаки, представительные для каждого отдельного распределения, должны привести к признакам, хорошим с точки зрения классификации этих распределений.

Выбор признаков для одного распределения — это такое отображение исходного и-мерного пространства в т-мерное пространство (т (( и), которое не искажает данного распределенпя. Так как задача классификации в явном виде не рассматривается, то нет возможности определить, какие свойства данного распределения должны быть сохранены.

Поэтому мы ограничиваемся использованием в качестве отображений лишь ортогональных линейных преобразований, в целом сохраняющих структуру распределения. Идея метода заключается в том, чтобы выбрать некоторый критерий, а затем — линейное преобразование, которое оптимизирует этот критерий. Если в качестве критерия берется среднеквадратичная ошибка, то наилучшим преобразованием является разложение Карунена — Лоева, использующее в качестве при- 16 гл. 1. Ввкдкник знаков собственные векторы ковариационной матрицы. Критерии разброса и энтропии также приводят к признакам, связанным с вычислением собственных векторов.

Поскольку собственные значения и собственные векторы играют важную роль в выборе признаков, в главе 8 рассматриваются методы их оценивания. Задача состоит в том, чтобы Определить влияние числа наблюдений и величины интервала между соседними наблюдениями (если рассматривается непрерывны11 случайный процесс) на точность оценки.

Кроме того, рассматривается задача оценивания доминирующих собственных значений и собственных векторов, поскольку число доминирующих собственных значений обычно значительно меньше, чем размерность распределения. В главе 9 рассматривается выбор признаков при наличии двух распределений. Если имеется два распределения, подлежащие классификации, то целью выбора признаков является выбор с помощью подходящего преобразования небольшого числа важных признаков, так, чтобы сохранить, насколько это возможно, разделимость классов. Поскольку свойство разделимости классов должно сохраняться при любом взаимно однозначнор преобразовании, можно рассматривать все виды преобразований, включая нелинейные. Однако в главе 9 изучаются только линейные преобразования.

Лучшим критерием разделимости классов является вероятность ошибки. Однако, поскольку в большинстве случаев для вероятности ошибки не удается получить явного математического выражения, то изыскиваются альтернативные критерии, более удобные с вычислительной точки зрения. Много критериев можно Образовать, комбинируя разными способами меры разброса точек внутри классов и между классами. Эти критерии просты и легко могут быть обобщены на случай многих классов. Более сложными критериями разделимости классов являются расстояние Бхатачария и дивергенция*), но эти критерии более тесно связаны с вероятностью ошибки. В главе 9 изуча1отся различные свойства указанных критериев разделимости классов.

Кроме того, решается задача нахождения оптимального линейного преобразования исходного пространства в пространство меньшей размерности, т. е. такого преобразования, которое приводит к минимальному уменьшени1о критерия. В главе 10 рассматриваются три задачи нелинейного преобразования исходного пространства. Первая задача — это задача Определения истинной размерности данного распределения. Истинная размерность определяется числом доминирующих слу- ") Этот критерий чаще называют дивергенцией Кульбака. (Прим. ред.) $1.2. ОБЗОР СОДКРЖАНИЯ КНИГИ ПО ГЛАВАМ чайных параметров, характеризующих распределение, и не может быть выявлена линейными преобразованиями, если наблюдаемые измерения являются нелинейными функциями этих параметров.

Истинная размерность указывает наименьшее число признаков, необходимых для представления распределения. Вторая задача — найти для целей классификации такое нелинейное преобразование, чтобы дискриминантная функция в новом пространстве была простой (например, линейной) и имела низкую размерность. Третья задача — это задача индикации. Индикация многомерных объектов на экране электронно-лучевой трубки, отображаю-. щая исходное и-мерное пространство в двумерное,— это мощное средство, помогающее понять свойства распределений.

В главе 10 рассматриваются нелинейные преобразования, предназначенные как для представления информации, так и для классификации. В главе 11 рассматривается автоматическая классификация, или классификация без учителя. Например, распределение кривых, характеризующих работу неисправной машины, может иметь несколько мод. Разделение отдельных мод без внешнего контроля помогает как обнаруживать «дефектные» кривые, так и понять природу дефектов. Автоматическая классификация включает выбор критериев и поисковых алгоритмов их оптимизации. Рассматриваются различные параметрические и непараметрические критерии. Эти критерии характеризуют разделимость классов, плотность точек внутри классов и т.