Хайкин С. - Нейронные сети (778923), страница 104
Текст из файла (страница 104)
Таким образом, можно сформулировать еще один принцип самоорганизации 11097]. ПРИНЦИП 3 Модификация синоптических весов ведет к кооперации. Присутствие сильного сииапса может усилить и другие сииапсы в свете обшей системы конкуренции в сети. Эта форма кооперации проистекает из пластичности сииапсов или из одновременного стимулирования предсииаптических нейронов, вызванного наличием благоприятных условий во внешней среде. Все три принципа самоорганизации относятся только к нейронным сетям. Однако, длл того чтобы самооргаиизующееся обучение обеспечивапо полезную функцию обработки информации, в образах активации, передаваемых нейронам из висшией среды, должна существовать доля избыточности (гебппбапсу).
Вопрос избыточности будет обсуждаться при рассмотрении теории информации Шеннона в главе 1О. Здесь же мы ограничимся формулировкой последнего принципа самооргаиизующегося обучения ~90). ПРИНЦИП 4 Порядок и структура образов активации содержат избыточную информацию, накапливаемую сетью в форме знаний, являющихся необходимым условием самоорганизующегося обучения. Некоторая часть знаний может быть получена с помощью наблюдения за статистическими параметрами, такими как среднее значение, дисперсия и матрица корреляции входных даииых. Принципы 1-4 самооргаиизующегося обучения образуют иейробиологический базис для адаптивных алгоритмов анализа главных компонентов, которые описываются в настоящей главе, а также для самооргаиизующихся карт Кохонена (Колопеп), которые рассматриваются в главе 9.
Эти принципы реализованы также и в ряде других 8.2. Некоторые интуитивные принципы самоорганизации 513 Рис. Гь1. Структура модульной самонастраивающейся сети Слой А С йс Слой й самоорганизующихся моделей, которые основаны на знаниях из области нейробиологии. Одной из таких моделей, которую нельзя обойти вниманием, является модель Линскера ()лпзкег'з щог)е1) зрительной системы млекопитвющего [656).
Анапиз признаков на основе самоорганизации Обработка сигналов в системах зрения производится поэтапно. В частности, простые признаки, такие как контрастность или ориентация контуров, анализируются на ранних этапах, в то время как более сложные признаки — на поздних. На рис. 8, 1 показана обобщенная структура модульной сети, которая имитирует зрительную систему. В модели Линскера нейроны сети (см.
рис. 8.1) организованы в двумерные слои с прямыми переходами от одного слоя к следующему. Все нейроны получают информацию от ограниченного числа нейронов, расположенных в пересекающихся обпастях предыдущего слоя, составляющих поле восприятия, или рецепторное поле (гесерйте бе!д), нейрона. Поля восприятия сети играют ключевую роль в процессе построения синаптических связей, так как они обеспечивают нейронам одного слоя возможность реагировать на пространственные корреллггии активности нейронов предыдущего слоя. Нужно сделать два структурных допущения.
814 Глава 8. Анализ главных компонентов 1. После выбора положения синаптических связей они остаются фиксированными на протяжении всего процесса развития нейронной структуры. 2. Все нейроны выступают в качестве линейных сумматоров. Эта модель содержит черты Хеббовского принципа модификации синапсов, а также конкурентного способа обучения. Таким образом, выходы сети оптимально выделяются среди ансамбля входов, при этом самоорганизующееся обучение продвигается от слоя к слою. Это значит, что в процессе обучения на основе самоорганизации для каждого слоя выполняется анализ признаков и создается собственная структура. В 1656! были представлены результаты моделирования, которые качественно подтвердили свойства, обнаруженные на ранних стадиях обработки визуальных сигналов в зрительных системах котов и обезьян.
Признавая в высочайшей степени сложную природу зрительных систем, следует отметить, что простая модель, рассмотренная Линскером, оказалась способной сконструировать аналогичные нейроны для анализа признаков. Это совсем не говорит о том, что нейроны-анализаторы признаюв зрительной системы млекопитающих имеют точно такую же природу, югорая описывается моделью Линскера. Более того, такие структуры могут создаваться относительно простыми многослойными сетями, в которых синаптические связи формируются согласно Хеббовской форме обучения. Тем не менее в этой главе главный интерес для нас будут представлять анализ главных компонентов и способы его выполнения с помощью самоорганизующихся систем, основанных на принципе обучения Хебба.
8.3. Анализ главных компонентов Главной задачей в статистическом распознавании является выделение признаков (Теа1ше зе! ес1юп) или извлечение признаков (Теалпе ех1гас1юп). Под выделением признаков понимается процесс, в котором пространство данньгк (да1а зрасе) преобразуется в пространство признаков (ТеаШге зрасе), теоретически имеющее ту же размерность, что и исходное пространство. Однако обычно преобразования выполняются таким образом, чтобы пространство данных могло быть представлено сокращенным количеством "эффективных" признаков. Таким образом, остается только существенная часть информации, содержащейся в данных. Другими словами, множество данных подвергается сокращению размерности (дппепзюпа1йу гедпсйоп).
Для большей конкретизации предположим, что существует некоторый вектор х размерности лз, который мы хотим передать с помощью ! чисел, где ! ( гп, Если мы просто обрежем вектор х, это приведет к тому, что среднеквадратическая ошибка будет равна сумме дисперсий элементов, "вырезанных" из вектора х. Поэтому возникает вопрос: "Существует ли такое обратимое линейное преобразование Т, для которого обрезание вектора Тх будет оптимальным в смысле среднеквадратической ошибки?" Естественно, при этом 8.3. Анализ главных компонентов $18 преобразование Т должно иметь свойство маленькой дисперсии своих отдельных компонентов. Анализ главньп компонентов (в теории информации он называется преобразование Карунена-Лоева (Как!гилея-йоене Лапу[отта!гол)) максимизнрует скорость уменьщения дисперсии и, таким образом, вероятность правильного выбора.
В этой главе описываются алгоритмы обучения, основанные на принципах Хебба, которые осуществляют анализ главных компонентов! интересующего вектора данных. Пусть Х вЂ” т-мерный случайный веклгор, представляющий интересующую нас среду Предполагается, что он имеет нулевое среднее значение Е[Х! = О, где Š— оператор статистического ожидания. Если Х имеет ненулевое среднее, можно вычесть зто значение еще до начала анализа. Пусть « — единичный вектор (ип!! уес!ог) размерности т, на который лроектируелгся вектор Х. Эта проекция определяется как скалярное произведение векторов Х н «: А = Хт««тХ (8.
[) при ограничении (8. 2) Проекция А представляет собой случайную переменную со средним значением и с дисперсией, связанными со статистикой случайного вектора Х. В предположении, что случайный вектор Х имеет нулевое среднее значение, среднее значение его проекции А также будет нулевым: Е[А[ = »~Е[Х] = О.
Таким образом, дисперсия А равна пз Е[Аз[ Е[(»тХ)[Хт«)[ «тЕ[ХХт[» «тК» (8 3) Матрица К размерности т х т является лгаигрицей корреляции случайного вектора Х, определяемой как ожидание произведения случайного вектора Х самого на себя: ' Анализ главных компонентов (Рппс[ра! Сошропеп! Апа!уа!а — РСА) является, пожалуй, самым старым и известным мепшом многомерного анализа [5!7), [857). Впервые он попользовался в [824) в биологическом контексте для приданию анализу линейной регрессии новой формы. Эта идея была впоследствии развита в [487), посвяшенной психометрии.
Совершенно независимо от этой работы зта идея появилась при выводе теории вергмтности в [54Ц и впоследствии была обобшена в [67!). 616 Глава 8. Анализ главных компонентов К = Е[ХХ~]. (8А) Матрица К является симметричной, т.е. (8.5) Из этого следует, что если а и Ь вЂ” произвольные векторы размерности т х 1, то атКЬ = ЬтКа. (8.6) Из выражения (8.3) видно, что дисперсия сгз проекции А является функцией единичного вектора г1. Таким образом, можно записать: 8г(Ч) = о' = Ч'Кгй (8.7) на основании чего вг(п) можно представить как диснерсионный зонд (чапапсе ргоЬе). Структура анализа главных компонентов Следующим вопросом, подлежащим рассмотрению, является поиск тех единичных векторов и, для которых функция дг(й) имеет экстремальные или стационарные значения (локальные максимумы и минимумы) при ограниченной Евклидовой норме вектора г(.
Решение этой задачи лежит в собственной структуре матрицы корреляции К. Если г1 — единичный вектор, такой, что дисперсионный зонд у(г)) имеет экстремальное значение, то для любого возмущения Й1 единичного вектора г) выполняется 8г(г)+ бг() = 8г(г1). (8. 8) Из определения дисперсионного зонда можем вывести следующее соотношение: 8г(й+Й() = (Ч+бй) К(г)+бг() = й Кг(+2(бй)"КЧ+(бг)) Кбг), где во второй строке использовалось выражение (8.6). Игнорируя слагаемое второго порядка (Й1)з КЙ1 и используя определение (8.7), можно записать следующее: 1г'(ч + Й1) = г( Кг) + 2(Й1) Кг) = 8г(г() + 2(Й1) Кг). (8.9) 8.3. Анализ гпавных компонентов 617 Отсюда, подставляя (8.8) в (8.9), получим: 2(Й))~Кй = О. (8.10) Естественно, любые возмущения Й1 вектора и нежелательны; ограничим их только теми возмущениями, для которых норма возмущенного вектора ф-Й1 остается равной единице, т.е, !!Ч+М =1 нли, что эквивалентно, (Ч+Й1) (г)+ Й)) = 1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
