Хайкин С. - Нейронные сети (778923), страница 114
Текст из файла (страница 114)
8.11. Резюме и обсуждение 88г Собственное значение=0,552 Собственное значение=0,570 Собственное значение=о,б23 Собственное значение=0,709 0,5 0,5 0,5 0,5 0,5 0,5 0,5 1 3 0 3 3 О 3 3 0 Собственное Собственное значение=0,345 значение=0,395 0,5 3 О Собственное значение=0,438 Собственное значение=0,293 0,5 0,5 0,5 0,5 0 0 О О 0,5 0,5 0,5 0,5 1 О 1 1 0 1 1 0 1 1 0 1 Собственное Собственное Собственное Собственное значение=0,000 значение=0,034 значение=0,026 значение=0,023 0,5 , , ' 0,5 . 0,5 ,.
0,5 о -.:" о:.' ( о -;." о 0,5 0,5 0,5 ' 0,5 О 1 3 О 3 3 0 1 1 0 1 Рис. 8.14. Двумерный пример, иллюстрирующий работу алгоритма РСА на основе ядра. Слева направо показана степень поли- нома ядра д = 1, 2, 3, 4. Сверху вниз показаны три первых собственных вектора пространства признаков. Первый столбец соответствует обычному РСА, а остальные три — РСА на основе ядра со степенью полинома д = 2, 3, 4. !Воспроизведено с разрешения доктора Клауса-Роберта Мюллера йэг.
КгаизйоЬОИ Мйвег)) 8.11. Резюме и обсуждение В этой главе представлен материал по теории анализа главных компонентов и показано использование нейросетей в реализации этого метода. Совершенно естественным сейчас будет следующий вопрос: "Насколько полезен анализ главных компонентов?" Ответ на этот вопрос зависит от конкретной области применения; Если наша цель — добиться хорошего сжатия данных при одновременном сохранении как можно большей части информации о входном сигнале, то анализ главных компонентов обеспечит полезную самоорганизующуюся процедуру обучения. Следует подчеркнуть, что метод пространственной декомпозиции (см, раздел 8.3), основанный на "первых т главных компонентах" входных данных, осуществляет линейное отображение, являющееся оптимальным в том смысле, что позволяет реконструировать исходные входные данные в смысле среднеквадратической ошибки. Более того, представление, основанное на "первых 1 главных компонентах", является 568 Глава 8.
Анализ главных компонентов предпочтительным для представления произвольного подпространства, так как главные компоненты входных данных являются естественным образом упорядоченными по убыванию собственных значений, или, что эквивалентно, по убыванию дисперсии. Следовательно, использование анализа главных компонентов для сжатия данных можно оптимизировать, взяв на вооружение наибольшую числовую точность для кодирования первого главного компонента и постепенно снижая ее для кодирования остальных 1 — 1 компонентов.
Связанным вопросом является представление множества данных, созданного из совокупности нескольких кластеров. Для того чтобы эти кластеры стали различимыми, расстояние между ними должно быть больше внутреннего разброса данных в каждом из кластеров. Если случилось так, что в множестве данных имеется несколько кластеров, то нужно найти основные оси. Для этого используется анализ главных компонентов, выбирающий проекции кластеров с хорошим разделением, создавая, таким образом, хороший базис для извлечения признаков. В этом, последнем контексте упомянем одно полезное приложение анализа главных компонентов — препрог1ессор (ргергосеьзог) для нейронной сети, обучаемой с учителем (например, многослойного персептрона, обучаемого по алгоритму обратного распространения).
При этом целью является ускорение сходимости процесса обучения за счет декорреляции входных данных. Процедура обучения с учителем, какой является алгоритм обратного распространения, основана на принципе наискорейшего спуска. Процесс сходимости в этом виде обучения обычно замедляется из-за воздействия на синаптические веса многослойного персептрона посторонних шумов, даже при использовании таких процедур локального ускорения, как применение индивидуальных параметров скорости обучения и момента к отдельным весам. Однако если входной сигнал многослойного персептрона состоит из некоррелированных компонентов, то матрица Гессе функции стоимости Е(п) будет более близка к диагональной, чем в противоположном случае (см. главу 4).
При этой форме диагонализации использование простых процедур локальной акселерации позволяет значительно ускорить процесс сходимости, что возможно с помощью независимого масштабирования параметров обучения вдоль каждой из осей весов 1112). Хеббовские алгоритмы обучения, описанные в этой главе, навеяны идеями нейробиологии, поэтому будет логичным завершить наш экскурс комментарием о роли анализа главных компонентов в биологических системах восприятия. В [648] был поставлен вопрос "существенности" анализа главных компонентов в качестве принципа определения свойств отклика, вырабатываемого нейроном в процессе анализа входных "сцен". В частности, оптимальность анализа главных компонентов по сравнению с точной реконструкцией входного сигнала из отклика нейрона является спорным вопросом.
В общем случае оказывается, что мозг не просто пытается воспроизвести входные сцены, полученные от органов чувств, а выделяет некоторые "значимые намеки" или признаки, чтобы интерпретировать входные сигналы на более высоком 8.11. Резюме и обсуждение 669 уровне. Таким образом, можно немного конкретизировать вопрос, поднятый в начале наших рассуждений, и спросить: "Насколько практичным является анализ главных компонентов в задаче обработки входных данных?" В [41] указывается на значимость множества алгоритмов, предложенных в (798), (931), для анализа главных компонентов (т.е, для алгоритмов Хебба, рассмотренных в разделах 8.4 и 8.5), в алгоритме иерархической кластеризации (Ыегагс)г!са! с!пягепп8 а!8опбзш), Они продвигают гипотезу о том, что иерархическая кластеризация может выступать в качестве фундаментального свойства (по крайней мере, частично) памяти, которое можно использовать для распознавания свойств окружающей среды. Отсюда следует вывод, что самоорганизующийся анализ главных компонентов может играть существенную роль в иерархической кластеризации обучаемых областей церебральной коры мозга не из-за его свойств оптимальности восстановления, а благодаря его встроенному свойству создавать проекции кластеров с хорошим разделением.
Еще одно интересное приложение анализа главных компонентов к обработке входных данных заключается в решении задачи восстановления формы по тени, описанной в (80). Эту задачу можно сформулировать так: "Каким образом мозг восстанавливает трехмерные формы на основе затененных образов на двухмерных изображенияху'* В вышеуказанной работе для задачи восстановления формы предметов по затененным изображениям было предложено иерархическое решение, состоящее из двух этапов. 1. Посредством эволюции или накопленного опыта мозг обнаруживает, что объекты можно классифицировать на классы объектов меньшей размерности, принимая в расчет их формы. 2.
На основании п. 1 извлечение формы из полутоновых образов сводится к более простой задаче оценки нараметрое в пространстве более низкой размерности. Например, общая форма головы человека остается неизменной в том смысле, что все люди имеют выступ в виде носа, глазные впадины, а также лоб и щеки, представляюшие собой ровные поверхности. Эти неизменные характеристики наводят на мысль, что любое лицо, выраженное функцией г(6, !) в цилиндрических координатах, может быть представлено в виде суммы двух компонентов; г(6,!) = гс(6,!) + р(6,!), где го(6, !) — усредненная форма головы для данной категории людей (например, взрослых мужчин или взрослых женщин); р(6, !) — отклонения, позволяющие идентифицировать конкретного человека. Обычно отклонение р(6, !) является малым по отношению к гч(6, !).
Для представления р(6, !) в (80) использовался анализ главных компонентов, в котором отклонения описывались множеством собственных функций 570 Глава 8. Анализ главных компонентов (т.е. двухмерных составляющих собственных векторов). Результаты, представленные в (80), показали применимость двухшагового иерархического подхода для восстановления трехмерной поверхности лица человека по его двухмерному портрету. Задачи Фильтр Хебба для извлечения максимального собственного значения 8.1. В согласованном фнльглре (шагсЬед й)зег) из примера 8.2 собственное значение Хг и соответствУющий собственный вектоР г(г опРеделЯютсЯ следУющими формулами: Покажите, что эти параметры удовлетворяют основному соотношению КЧг = 2гг1 где К вЂ” матрица корреляции входного вектора Х.
8.2. Рассмотрим фильтр для извлечения максимального собственного значения, в котором вектор весов и (п) изменяется по формуле (8.46). Покажите, что дисперсия выхода этого фильтра достигает значения г при п, равном бесконечности, где Х ,„ — наибольше собственное значение матрицы корреляции входного вектора. 8.3. Анализ второстепенных компонентов (МСА) противоположен анализу главных компонентов.
Алгоритм МСА позволяет определить те направления, которые минимизируют дисперсию проекции. Эти направления являются собственными векторами, соответствующими наименьшим собственным значениям матрицы корреляции К входного вектора Х(п). В данной задаче требуется определить, каким образом следует модифицировать обособленный нейрон (см. раздел 8.4), чтобы найти второстепенные компоненты К. В частности, можно изменить знак в правиле обучения (8.40), получив соотношение (1170) ш,(п+ 1) = ш,(п) — т)у(п)[хг(п) — у(п)ш;(п)). Задачи 671 Покажите, что если наименьшим собственным значением матрицы К с кратностью 1 является Х, то 11щ и(п) =ЧЧ... где г) — собственный вектор, соответствующий 2 Анализ главных компонентов на основе правила Хебба 8.4.
Постройте граф передачи сигнала, представляющий векторные уравнения (8.87) и (8.88). 8.5. Подход с использованием обычных дифференциальных уравнений при анализе сходимости (см. раздел 8.4) не применяется непосредственно к обобщенному алгоритму обучения Хебба. Однако, выразив матрицу синаптических весов %'(и) (см. (8.91)) в виде вектора, составленного из ее столбцов, функцию коррекции )г(., ) можно интерпретировать обычным образом, а затем применить теорему об асимптотической устойчивости.
Основываясь на вышеизложенном, сформулируйте теорему о сходимости для обобщенного алгоритма обучения Хебба. 8.6. В этой задаче мы исследуем обобщенный алгоритм Хебба для случая двумерных рецепторных полей, генерируемых случайным входным сигналом [930). Этот случайный вектор состоит из двумерного поля независимого гауссова шума с нулевым средним значением и единичной дисперсией, сеернуаого (сопроЬед) гауссовой маской (фильтром) и умноженного на гауссово окно (Оапвв)ап ъчпдоч). гауссова маска имеет стандартное отклонение в 2 пикселя, а гауссово окно — в 8 пикселей. Полученный в результате случайных вход х(т, в) в точке (т, в) можно представить в следующем виде; х(т,в) = тп(т,в)(д(т,в) х ш(т,в)], где ш(т, в) — поле независимого гауссова шума; д(т, в) — гауссова маска; т(т, в) — функция гауссова окна. Функция круговой свертки (с(гол!аг сопчо1пбоп) д(т, в) и ш(т, в) определяется следующим образом: ю-1 гг-1 д(т,в) еш(т,в) = ~ ~~~ д(р,д)ш(т — р,в — д), р=о о=о где предполагается, что д(т,в) и ш(т,в) — периодические функции.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
