Хайкин С. - Нейронные сети, страница 11

Для примера предположим, что существует некоторый вектор х, размерности т г х, = [хп,хп,...,х, ] Все его элементы — действительные числа, а обозначение " указывает на то, что матрица транспонирована (1гапзрогйбоп). Вектор х; определяет некоторую точку в т-мерном Евклидовом пространстве (которое обозначается как %™). Евклидова расстояние между парой т-мерных векторов х, и х, вычисляется как ъ!я г((х„х,) = [[х, — х,[[ = ~~ (х,ь — х,ь) (1.23) где х,к и х ь — к-е элементы векторов х, и х соответственно. Отсюда следует, что степень сходства между входными сигналами, представленными векторами х, и х,, является величиной, обратной Евклидову расстоянию между ними г((хо х,).

Чем 1.7. Представление знаний 61 Р .1ЛВ к р У "Р ' 5 ведением н Еаклндоаым расстоянием, выбираемыми а качестве т меры сходства образов Х, Х ! ФП т (х,,х ) = хз х = ~хмж ы ь=1 (1.24) Результат деления скалярного произведения (х„х,) на !(х,(! !)х,/) равен косинусу внутреннего угла между векторами х, и х,.

Эти два метода измерения сходства тесно связаны друг с другом (рис. 1.19). Евклидово расстояние ~~хз — х ~~ между векторами х, и х, связано с проекцией вектора х, на вектор х,. На рис. !.19 видно, что чем меньше Евклидово расстояние , ,'~х,— х, ~ ~, тем больше скалярное произведение хтх . Чтобы формализовать это соотношение, нормируем векторы х, и х .

При этом их длина будет равна единице: йх,(( = Йх,'й = 1. Используя выражение (1.23), запишем: дз(х„х,) = (х, — хт)т(х; — х,) = 2 — 2хтх,. (1.25) Из выражения (1.25) видно, что минимизация Евклидова расстояния /)хз — х, !! и максимизация скалярного произведения хтх приводят к увеличению сходства между векторами х, и х .

Здесь Евклидово расстояние и скалярное произведение описаны в детерминистских терминах. А что будет, если векторы х, и х,. взять из разных множеств данных? Для примера предположим, что различие между двумя множествами данных выражается в различии между векторами их математического ожидания. Пусть векторы )зз и Рз опРеделЯют сРедние значениЯ вектоРов х, и х, соответственно, т.е. цз = Е[х,), (1.26) ближе друг к другу отдельные элементы векторов х, и х„тем меньше Евклидово расстояние д(х„х ) н тем выше сходство между векторами х, и х, Правило 1 констатирует, что если векторы х, и хт схожи, то они должны быть отнесены к одной категории (классу). Еше один подход к определению степени сходства основывается на идее скалярного произведения ((ппег ргок(ис!), взятой из алгебры матриц. Если векторы х, и х, имеют одинаковую размерность, их скалярное произведение хтх, определяется следующим образом: 62 Глава 1.

Введение где Š— статистический оператор математического ожидания. Вектор )х, определяется аналогичным способом. Для измерения расстояния между двумя множествами можно использовать рассглояние Махаланобиса (Майа!апоЪ!з йз!апсе), которое обозначается как йо. Квадрат этой величины определяется следующей формулой [269): 4 = (х, — )ь,) Е '(х, — и,), (1.27) где Е ' — обратная матрица для матрицы ковариации гх. Предполагается, что матрица ковариации для обоих множеств одна и та же, т.е. Е = Е[(х, — р,)(х, — рч)т] = Е[(х, — )ь,)(х, — [гт)].

(1.28) В частном случае, когда х, = х,,)ь, = р., = )х и Е = 1, где! — единичная матрица, расстояние Махалаиобиса вырождается в Евклидово расстояние между вектором х, и вектором математического ожидания !ь. Правило 2. Элементы, отнесенные к различным классам, должны иметь в сети как можно более отличные представления. Это правило прямо противоположио первому.

Правило 3. Если некоторое свойство имеет важное значение, то для его представления в сети необходимо использовать большое количество нейронов. Для примера рассмотрим задачу обнаружения радаром некоторого объекта (например, самолета) при наличии помех (вызваиных отражением сигнала от посторонних объектов, таких как дома, деревья, облака и т.п.). Эффективность такой радарной системы измеряется двумя вероятностными величинами. ° Вероятность обнаружения (ргоЬаЬ!1!гу оГ де!ее!!оп) — вероятность того, что при наличии объекта система его обнаружит.

° Вероятность ложной тревоги (ргоЪаЬ|йу о( Га1зе а1апп) — вероятность того, что система определит наличие объекта, когда того на самом деле не существует. В соответствии с критерием Неймана — Пирсоиа (Хеушап-Реагзоп спйепоп) вероятность обнаружения должна быть максимальной, а вероятность ложной тревоги не должна превосходить некоторой заданной величины [1080).

В подобных приложениях очень важно, чтобы во входном сигнале содержалась информация о цели. Правило 3 констатирует, что в процесс принятия решения о наличии цели в полученном сигнале должно быть вовлечено большое число нейронов. В любом случае увеличение количества нейронов повышает достоверность принятого решения и устойчивость к помехам.

Правило 4. В структуру нейронной сети должны быть встроены априорная информация и инварианты, что упрощает архитектуру сети и процесс ее обучения. 1.7. Представление знаний 63 Это правило играет особую роль, поскольку правильная конфигурация сети обеспечивает ее снециализацию (зрес!а[!гет[ зппсшге), что очень важно по следующим причинам (917).

1. Биологические сети, обеспечивающие обработку зрительной и слуховой информации, сильно специализированы. 2. Нейронная сеть со специализированной структурой обычно включает значительно меньшее количество свободных параметров, которые нужно настраивать, чем полносвязная сеть. Из этого следует, что для обучения специализированной сети требуется меньше данных. При этом на обучение затрачивается меньше времени, и такая сеть обладает лучшей обобщающей способностью. 3. Специализированные сети обладают большей пропускной способностью.

4. Стоимость создания специализированных нейронных сетей сокращается, поскольку их размер существенно меньше размера полносвязных сетей. Как встроить априорную информацию в структуру нейронной сети Для выполнения правила 4 необходимо понять, как разработать специализированную структуру, в которую встроена априорная информация.

К сожалению, в настоящее время не существует четкого решения этой задачи. Однако можно предложить некоторые специальные процедуры, которые, как показывает практика, приводят к хорошим результатам. В частности, можно использовать комбинацию двух следующих приемов [621]. 1.

Ограничение сетевой архитектуры (гезП!с[!пд пенчог[с агсййес[пге) с помощью локальных связей, называемых рецепторными полями (гесер!ьче йе!дз)~. 2. Ограничение выбора синоптических весов за счет совместного использования весов (чуе!йЫ-8]тапир)~. Эти два приема, особенно последний, обеспечивают одно важное преимущество— значительно сокращают количество свободных параметров сети.

Для примера рассмотрим неполносвязную сеть прямого распространения, показанную на рис. 1.20. Эта сеть имеет ограниченную архитектуру. Первые шесть узлов источника образуют рецепторное поле скрытого нейрона с номером 1, и т.д. для всех з Согласно утверждению Кафлера [б04], термин "рецепторное поле" изначально был введен в [978], а позднее повторно испозюзован в [42! ]. В контексте систем обработки зрительной информации под рецепторным полем нейрона понимается ограниченная область сетчатки, которая выполняет функцию передачи этому нейрону сигналов от свсгочувствительных элементов.

ь Принцип совместного использования весов был впервые описан Руммельхаргом в [9]5] 64 Глава 1. Введение х, У! 5 Ух 7 хв х~с Входной слой Слой скрытых Выходной слой нейронов нейронов Рис. 1.20. Пример сети с рецепторными полями и совместным использованием весов, Все четыре скрытых нейрона для реализации синаптических связей совместно используют одно и то же множество весов остальных скрытых нейронов сети. Совместное использование весов состоит в применении одинакового набора синаптических весов для каждого из нейронов скрытого слоя сети. Учитывая, что каждый из четырех скрытых нейронов имеет по шесть локальных связей (см. рис, 1.20), индуцированное локальное поле скрытого нейрона т' можно описать следующим выражением: 6 тлсх,,., „ ,) = 1, 2, 3, 4, (1.29) где (тс;)~, определяет один и тот же набор весов, совместно используемых всеми четырьмя скрытыми нейронами, а яд является сигналом, получаемым из узла источника с номером )с = т + т' — 1. Выражение (1.29) записано в форме суммы свертлки (сопчо!цбоп зпш).

Именно по этой причине сеть прямого распространения с локальными связями и совместно используемыми весами называют селхью свертпки (сопчо!птюп пепыог1с). Первая часть правила 4 определяет необходимость встраивания априорной информации в структуру нейронной сети, а вторая часть этого правила касается вопроса инварнантов. 1.7. Представление знаний 65 Как встроить инварианты в структуру нейронной сети Рассмотрим следующие физические явления. ° Если исследуемый объект вращается, то соответствующим образом меняется и его образ, воспринимаемый наблюдателем. ° В когерентном радаре, обеспечивающем информацию об амплитуде и фазе источников окружающей среды, эхо от движущегося объекта смещено по частоте.

Это связано с эффектом Доплера, который возникает при радиальном движении обьекта наблюдения относительно радара. ° Диктор может произносить слова как тихим, так и громким голосом, как медленно, так и скороговоркой. Для того чтобы создать систему распознавания объекта, речи или эхо-локации, учитывающую явления такого рода, необходимо принимать во внимание диапазон трансфориаций (ггапяГоппа6оп) наблюдаемого сигнала [941. Соответственно основным требованием при распознавании образов является создание такого классификатора, который инвариантен к этим трансформациям.