Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

В главах 8 — 10 рассматривается задача выбора признаков, которая понимается как преобразование (отображение) исходного пространства в пространство признаков меньшей размерности без потери интересующей нас информации. Линейные преобразования применяются для выбора множества признаков, минимизирующих ошибку представления объектов, порождаемых одним распределением (глава 8), или максимизирующих разделимость классов при наличии нескольких распределений (глава 9). В главе 10 рассматривается возможность использования для этих же целей нелинейных преобразований. Глава 11 посвящена автоматической классификации, или классификации без учителя.

В этом случае объекты классифицируются при минимальной априорной информации об их распределении. Автор хотел бы выразить благодарность доктору Хэнкоку и его коллегам по университету Пердью за их поддержку. Кроме того, автор пользуется случаем выразить признательность Национальному научному фонду за поддержку исследований по распознаванию образов, Значительная часть материала этой книги была предоставлена автору его бывшими и нынешними сотрудниками Д.

Л. Кеселом, доктором Л. Д. Кунтцем, доктором Т. Ф. Крайлом и доктором Д. Р. Олсеном. Особую благодарность автор выражает доктору Кунтцу как за его глубокий и детальный критический разбор всей рукописи, так и за существенный вклад, который он внес в содержание книги. Кроме того, автор хотел бы поблагодарить свою жену Рейко за печатание рукописи. Автор признателен Институту инженеров по электротехнике и электронике, Институту математической статистики и Американской телефонной и телеграфной корпорации за разрешение пользоваться материалами, опубликованными в их журналах.

Глава 1 ВВЕДЕНИЕ В данной книге рассмотрены основные математические методы, применяемые для описания статистических процессов принятия решений в задаче распознавания образов. Интуитивно ясно, что до некоторой степени процесс принятия решений человеком имеет отношение и распознаванию образов; например, в шахматной игре следующий ход делается в зависимости от ситуации ,(образа), сложившейся в данный момент времени на шахматной доске; решение о том, покупать или продавать акции на бирже, также принимается в результате анализа сложного информационного образа. Поэтому целью создания теории распознавания образов являлось выявление сложных механизмов процессов принятия решений, а также автоматизация этих процессов с помощью средств вычислительной техники. Однако ввиду сложности проблемы распознавания образов основные исследования в этой области были сосредоточены на более реальных задачах, таких как распознавание букв латинского алфавита и классификация кривых.

Задачей настоящей книги является рассмотрение математических моделей такого рода практических задач и изложение основных математических методов их решения. Несмотря на то что в литературе предложено много подходов для описания и более сложных процессов принятия решений, анализ этих подходов лежит вне круга вопросов, затронутых в данной книге. ~ 1 1. Формулировка задачи распознавания образов Многие важные приложения теории распознавания образов относятся к задачам классификации кривых и геометрических фигур.

Рассмотрим, например, задачу диагностики неисправности машины (которая может находиться как в исправном, так и в неисправном состояниях) по шуму, издаваемому в процессе ее работы и регистрируемому микрофоном. Форма кривой напряжения, измеренного на выходе микрофона, является характери- ГП 1 ВВИДИН11Е х(~у) х'йг) хф) хЯ хЯ яз х~п) х'у хг и-я ллгюлв1 б) Рис. $.1.

Кодирование объектов. в) Кривая, б) буква. Рис. 1.3. Блок-схема классификатора, стикой того, исправна машина или неисправна, и задача диагностики сводится к классификации кривых, полученных от исправных и неисправных машин. (С другой стороны, распознавание печатных букв английского алфавита соответствует задачв классификации геометрических фигур. ) Для того чтобы осуществить рассматриваемый тип классификации, вначале необходимо «закодировать» объект, т. е. измерить некоторые наблюдаемые его характеристики.

Наиболее простой путь состоит в том, чтобы в качестве таких характеристик выбрать значения х(~)), ..., х(~„) ординат кривой выходного напряжения микрофона, измеренные в различные моменты времени (рис. 1.1, а), а в случае распознавания букв — степень заштрихованности клеток х(1), ..., х(п), как показано на рис. 1.1, б. Такие п измерений образуют вектор Х.

Заметим, что даже при нормальных условиях работы машины наблюдаемые кривые отличаются друг от друга. Поэтому х® является случайной величиной и будет обозначаться полужирной буквой х (~;) . Таким же образом Х называется случайным векто- $1Л. ФОРМУЛИРОВКА ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ ром, если его компоненты являются случайными величинами, и обозначается Х. Подобные же соображения распространяются и на буквы. наблюдение-х(1) имеет разные значения для различных написвний одной и той же буквы А, и поэтому х(1) также является случайной величиной, а Х вЂ” случайным вектором.

Таким образом, каждая кривая или буква выражается вектором в п-мерном пространстве, а множество кривых или букв Образуют распределение вектора Х в п-мерном прост- ,тЯ'1,Щ ранстве. На рис. 1.2 изображен простой двумерный пример двух распределений, соответствующих исправному и неисправному состоя- Ис~равнпе спспищние нию машины. Если из прошлого опыта эти два рас- ! пределенпя вектора Х изве- ~ Неисправнпесп~щпяние стны, то можно установить между ними границу д (х), '5~ хг) = О, которая делит дву- Г мерное пространство на две области.

Таким образом, прн ~,,,~ х =у КА Ъ= РассмотРении новой кРивой Рис 1 о Ра и е т Рис, 1.2. Распределение вектора Х дли зависимости от знака исправного и неисправного состояпий функции д (х), х2) можно решить, соответствует ли эта кривая исправному или неисправному состоянию машины. Функцию д(х), хг) называ1от дискриминантной функцией, а техническое устройство, определяющее знак д(х), хв),— блоком б распознавания образов или классификатором. На рис. 1.3 о- изо- ражена блок-схема классификатора в п-мерном пространстве. Для того чтобы спроектировать классификатор, нужно изучить характеристики распределения вектора Х для каждого класса и определить соответствующую дискриминантную функцию.

Ранее был рассмотрен весьма простой способ выполнения измерений. Так как каждое из подобных измерений дает очень Ь 3.2. ОБЗОР СОДЕРЖАНИЯ КНИГИ ПО ГЛАВАМ ГЛ. К ВВЕДЕНИЕ 12 (ю«ф Дерваначальныеигмеренин Признаки - Ржание Рис. 1.4. Блок-схема системы распознавании образов. признаков и проектирование классификатора.

На практике между этими частями нет четкой границы. Действительно, классификатор можно представить как устройство для выбора признаков, которое отображает т признаков в один (дискриминантная функция). Однако в данной книге удобно разделить задачу распознавания на две части н изучать их независимо друг от друга. 5 1.2. Обзор содержания книги по главам Книга разделена на десять глав (главы 2 — 11). В главе 2 рассматриваются свойства случайных векторов и методы линейной алгебры.

Знание этого материала необходимо для понимания книги. Предполагается, однако, что читатель знаком со свойствами случайных величин и случайных векторов, мало информации об объекте, то на практике обычно требуется большое число измерений и, которое может доходить до нескольких сотен или тысяч. Такая высокая размерность затрудняет решение многих задач распознавания образов. С другой стороны, классификация, производимая человеком, обычно основывается на небольшом числе признаков, как например, максимальная величина, основная частота и т. д.

Каждое из этих измерений несет значительную информацию для целей классификации и выбирается в соответствии с физическим смыслом задачи. Очевидно, что с уменьшением числа входных величин классификатора его проектирование упрощается. Для того чтобы добиться этого, следует наметить некоторые пути для выбора или извлечения существенных информативных признаков из всей совокупности наблюдаемых.

Эту задачу называют задачей выбора информативных признаков, и она составляет другой важный раздел теории распознавания образов. Выбор признаков можно рассматривать как отображение исходного и;мерного пространства в пространство меньшей размерности. Прп этом необходимо сохранить свойство разделимости распределений, соответствующих разным классам. Следовательно, отображение должно быть выполнено без существенной потери этого свойства. Таким образом, как показано на рис. 1.4, задача распознавания образов состоит из двух частей: выбор информативных поэтому в главе 2 дается лишь краткий обзор этих вопросов. Кроме того, так как во всей книге широко используются векторы и матрицы, в главе 2 дается обзор некоторых разделов линейной алгебры; особый упор сделан на подход с точки зрения собственных значений и собственных векторов.

Главы 3 — 7 посвящены задаче построения классификатора. В главе 3 отыскивается теоретически наилучший способ построения классификатора в предположении, что распределения случайных векторов, подлежащих классификации, известны.

В этом - случае задача превращается в обычную задачу статистической проверки гипотез. Доказывается, что байесовский классификатор является оптимальным, в смысле минимизации вероятности Ошибки классификации или минимизации риска, если возможным решениям приписываются определенные стоимости. Рассматриваются также критерий Е1еймана — Пирсона и минимаксный критерий. Вероятность ошибки является ключевым параметром в распознавании образов. Это есть мера разделимости классов при данных распределениях, если предполагается использовать байесовский классификатор. Кроме того, вероятность ошибки характеризует качество классификатора по сравнению с байесовским классификатором для данных распределений. Вследствие важности этого параметра в главе 3 рассматривается задача его вычисления для данных распределений.

Характеристики

Список файлов книги