Фукунага - Введение в статистическую теорию распознования образов

82 81 Ф 94 УДК 62-50 Ке1пози ?се Рийипада ЯСНОО1 ОГ Е1 ЕСТВ1СА1 Е1ч 01ХЕЕВ1ХО Р11ВР11Е ПХ1УЕВЯ1Т'1' 1 АРАУЕТТЕ, 1ХР1АХА ОГЛАВЛЕНИЕ От редактора перевода Предисловие автора 5 ° 7 9 9 12 18 18 2? 34 в 44 57 ° 57 66 75 82 85 9? 9? 102 108 115 1!9 131 132 141 146 154 170 фПеревод на русский язык, Главная редакция физико-математической литературы издательства «Наука», 1979, 30501 — 094 1,?4,?9 1502010000 053(02)-79 176 » 1?6 1ХТВОВ11СТ10М ТО БТАТ1БТ1САЬ РАТТЕВХ ВЕС06Х1Т10М АСАЭЕМ1С РКЕЯЯ, резв тогК впо 1.опооп 1972 Введение в статистическую теорию распознавания образов.

Ф ук у н ага К.: Пер. с англ.— М.: Наука. Главная редакцин физико-математической литературы, 1979, 368 стр. Книга посвнщена одной из бурно развивающихся областей кибернетики — теории распознаванин образов в ее статистическом аспекте. С единых позиций теории распознавания образов рассматриваются основные вопросы статистических решении: проверка простых и сложных гипотез, линейные классификаторы, оценивание параметров, оцениванио плотности вероятности, последовательное оценивание параметров, выбор информативных признаков и линейное преобразование пространства для случан одного распределенин, выбор информативных признаков и линейное преобразование пространства в случае многих распределений, нелинеиное преобразование исходного пространства, двумерные отображении, автоматическан классификацин объектов и др.

Книга предназначена для специалистов в области кибернетики, математической статистики, прикладной математики. Гл а в а 1. Введение 9 11. Формулировка задачи распознавания образов 9 1.2. Обзор содержанин книги по главам Глава 2. Случайные векторы и нх свойства .. ° 9 2.1. Случайные векторы и их распределение $2.2.

Свойства распределений 2.3. Преобразование случайных векторов з 2.4. с'в г .ь Свойства сооственных значений и собственных векторо Задание на составление программ (55). Задачи (55). Глава 8. Проверка гипотез 9 3 1 Проверка простых гипотез 9 3.2. Вероятность ошибки при проверке гипотез у 33 Верхние границы веронтности ошнбги $3.4. Другие критерии проверки гипотез $ 3 5 Последовательная проверга гипотез Задание на составление программ (95) Задачи (95) Глава 4 Линейные классификаторы 9 4.1. Байесовский линейный классификатор 9 4.2.

Линейная разделнющан функция, минимизирующаи веронтность ошибки решения ».3. Линеинан разделяющая функция, минимизирующая среднеквадратичную ошибку решеннн ребуемыи выход и среднеквадратичнан ошибка решенин е 4.4. Т 9 4.5. Другие разделнющие функции Задание на составление программ (128). Зада и (129). Гл а в а 5.

О ценив ание па ра метро в 9 51. Оценивание неслучайных параметров 9 5.2. Оценивание случайных параметров $ 5.3. Интервальное оцениванпе 9 5.4. Оценивание веронтности ошибки Приложение 5.1. Вычисление систематической ошибки между С-методом и методом исключения одного объекта .. ° Задание на составление программ (173).

Задачи (174). Глава 6. Оценивание плотности вероятности 9 61. Оценка Парзена ОГЛАВЛЕНИЕ 187 195 197 6.2. Метод й ближайших соседей з 6.3. Метод гистограмм з 6.4» Разложение по базисным функциям Задание на составление программ (204). Задачи (204). Глава 7. Последовательное оценивание параметров....

206 з 7 1. Последовательная корректировка линейного классификатора 206 з 7.2. Стохастическая аппроксимация . . . , . . . . 213 1 7.3. Последовательное байесовское оценивание . . . , 226 Задание на составление программ (231). Задачи (232). Глава В. Выбор признаков и линейное преобразование пространства для случая одного распределения з 8 1, Дискретное разложение Карунена — Лоева з 8.2. Другие критерии для случая одиого распределения з 8.3. Разложение Карунена — Лоева для случайных процессов з 8.4. Оценивание собственных значений и собственных векторов Приложение 81. Вычисление Е(1Ф,' 8Ф.))з Приложение 8.2.

Ускоренное вычисление собственных значений и собственных векторов........,, 26О Задание на составление программ (263). Задачи (263). Глава 9. Выбор признаков и линейное преобразование пространства в случае многих распределений ч 9.1. Общие свойства разделимости классов ~ 9.2, Дискриминантный анализ ч 9.3. Граница Чернова и расстояние Бхатачария ~ 9.4. Дивергенция Задание на составление программ (294). Задачи (294). Глава 10.

Нелинейное преобразование исходного пространства ~ 10.1. Истинная размерность исходных данных 10.2. Улучшение разделимости с помощью нелинейного преобразования ~ 10.3. Двумерные отображения Задание па составление программ (329). Глава 11. Автоматическая классификация з 111. Алгоритм автоматической классификации з 11.2.

Параметрические критерии качества классификации $11.3. Непараметрические критерии качества классификации $11.4, Другие процедуры автоматической классификации Задание на составление программ (360). Литература 266 267 268 275 290 296 296 308 322 330 331 336 346 353 361 ОТ РЕДАКТОРА ПЕРЕВОДА Статистические методы распознавания образов, которым посвящена настоящая книга, привлекают все большее внимание специалистов в области теории и практики распознавания образов и автоматической классификации. Однако в настоящее время сложилась парадоксальная ситуация: при обилии журнальных публикаций и специальных монографий отсутствует литература, ориентированная на широкий круг читателей, впервые знакомящихся с предметом.

Более того, даже специалисты, знакомые с «классической» математической статистикой, испытывают определенные трудности при изучении статистических методов распознавания образов в силу значительной специфики задач классификации. Так, например, в большинстве задач распознавания образов отсутствует информация о виде законов распределения значений характеристик исследуемых объектов, обучающие выборки имеют малые размеры. В этих случаях приходится использовать специальные непараметрические методы.

Предлагаемая книга в определенной степени восполняет создавшийся пробел. Разумеется, она не является всеобъемлющей. Так, например, в книге очень бегло и неполно изложены методы классификации параметров (факторного анализа и экстремальной группировки), адаптивные методы классификации и выбора информативных переменных. В кинге почти не отражено бурно развивающееся направление в распознавании образов — методы классификации для малых выборок и в условиях пропущенных наблюдений.

Определенный отпечаток на структуру и содержание книги наложило то обстоятельство, что она была написана на основе курса лекций автора для студентов и аспирантов ряда университетов США и Японии. Книга построена по принципу «от простого к сложному» — первые главы содержат элементарные сведения по математической статистике, затем излагаются «классические» статистические методы распознавания образов и в заключительных главах приведены последние результаты в этой области.

К достоинствам книги следует отнести стиль изложения— она написана простым языком,' вней, в отличие от большинства от РедАктоРА пеРеводА монографий, не опускаются «очевидные» промежуточные выкладки и результаты, что значительно облегчает понимание основных идей и особенностей используемого математического аппарата при проведении доказательств. Усвоению материала способствуют хорошо подобранные задачи. Следует подчеркнуть, что многие из них достаточно близки к реальным задачам распознаваиия, возникающим на практике. Современные методы решения задач распознавания образов и автоматической классификации, как правило, могут быть реализованы лишь с использованием ЭВМ. Для того чтобы обратить внимание читателя на особенности реализации тех или иных алгоритмов на ЭВМ, в книге даны задания на составление программ по каждому разделу и тестовые материалы для их проверки. Все это позволяет использовать книгу как учебное пособие при подготовке специалистов в области технической кибернетики.

В процессе перевода и редактирования были выявлены и устранены ошибки, опечатки и неточности оригинала, причем специальных оговорок и ссылок в тексте не делается. Л. А. Дорофеюк ПРЕДИСЛОВИЕ АВТОРА Эта книга представляет собой введение в статистическую теорию распознавания образов. Эта теория охватывает широкий круг задач, и в ней трудно выделить единую «сквозную» точку зрения или универсальный метод. Распознавание образов применяют как для решения технических задач, таких как чтение букв и анализ кривых, так и для моделирования функций мозга в биологии и психологии.

Однако теория статистических решений и теория оценивания, являющиеся предметом этой книги, могут рассматриваться как основные направления исследований в распознавании образов. Статистические решения и теория оценивания изучаются в разных разделах математической статистики, статистической теории связи, теории управления и т. д. Очевидно, однако, что для каждой области применения характерны свои цели и своя точка зрения. Для того чтобы работающим в области распознавания образов не было необходимости искать то, что им нужно, по разным книгам, в настоящей книге излагаются основы этих статистических теорий с точки зрения распознавания образов.

Материал этой книги излагался в лекциях для студентов старших курсов университета Пердью, а также на специальном летнем курсе фирмы ИБМ в Рочестере (Миннесота). Автор в связи с этим надеется, что эта книга будет служить как в качестве пособия для вводных курсов по распознаванию образов, так и в качестве справочника для работающих в данной области. Одна из трудностей теории распознавания образов заключается в том, что мы имеем дело с большим числом коррелированных случайных величин.

Это вынуждает нас использовать аппарат линейной алгебры. В связи с этим в главе 2 рассмотрен ряд вопросов линейной алгебры, а также свойств случайных величин и векторов. На протяжении всей книги основной упор делается на описание задач и методов их решения в терминах собственных значений и собственных векторов. В главах 3 — 7 рассматривается задача построения классификатора. Помимо обычного материала по проверке гипотез (глава 3) и оцениванию параметров (глава 5), в этих главах особое ПРВДИСЛОВИВ АВТОРА внимание Обращается на Оценивание вероятности ошибки.

Вероятность ошибки — это основной параметр в теории распознавания образов. Глава 4 посвящена линейным и кусочно-линейным классификаторам, так как зачастую только эти классификаторы могут быть практически реализованы. Одна из трудностей в теории распознавания образов состоит в том, что в большинстве приложений не выполняется предположение о наличии нормального (гауссовского) распределения. Вследствие этого на практике становится неизбежным применение непараметрических методов (глава 6). В главе 7 рассматриваются последовательные методы, при которых классификатор модифицируется (подстраивается) всякий раз, когда предъявляется очередной объект.