Хайкин С. - Нейронные сети (778923), страница 103
Текст из файла (страница 103)
Зная математическое ожидание функции Ц6) относительно условного распределения г и значение г(, покажите, что Ц8) = Я(6,6(п)) — К(6,6(п)), где К(6,8(п)) = Е[1ой/с(г[4,8)). При этих условиях покажите, что ЦВ(п+ 1)) — Е(6(п)) = [а(9(и+ 1),6(п)) — д(9(п),6(п))~— — "[К(9(п+ 1),6(п)) — К(6(п),6(п))~ . б) Неравеиство Йенсена (1епаеп'з 1пейпайгу) утверждает, что если функция д(.) является выпуклой, а и — некоторая случайная переменная, то Е[д(и)] > д(Е[и)), где Š— оператор математического ожидания.
Более того, если д( ) — строго выпуклая функция, то из равенства в этом соотношении с вероятностью 1 следует, что и = Е(и) [221). Используя неравенство Иенсена, покажите, что К(9(п+ 1),6(п)) — К(8(п),6(п)) ( О. (7.78) Исходя из этого, покажите, что уравнение (7.62) выполняется для п = 0,1,2,.... 7.11. Апгоритм ЕМ довольно легко модифицируется для включения максимума апостериорной оценки вектора параметров 9. Используя правило Байсса, модифицируйте шаги Е и М этого алгоритма, чтобы обеспечить эту оценку. 508 Глава 7.
Ассоциативные машины 7.12. Если модель НМЕ, обучаемая с помощью алгоритма ЕМ, и многослойный персептрон, обучаемый по алгоритму обратного распространения, имеют одинаковые показатели производительности для данной задачи, интуитивно ожидается, что вычислительная сложность первого будет превосходить сложность второго. Приведите аргументы за или против этого утверждения.
7.13. Обоснуйте связь между переменными-индикаторами и соответствующими апостериорными вероятностями, описанными в формулах (7.66) и (7.68). 7.14. Уравнение (7.75) описывает взвешенный метод наименьших квадратов для оптимизации сетей экспертов модели НМЕ, представленной на рис. 7.11, в предположении, что желаемый отклик г( — скаляр. Как модифицировать это соотношение для случая многомерного желаемого отклика? Анализ главных компонентов 8.1. Введение Важным свойством нейронных сетей является их способность обучаться на основе примеров из окружающей среды и с помощью этого обучения повышать производительность работы. В предыдущих четырех главах основное внимание фокусировалось иа алгоритмах обучения с учителем, в которых множество целей определяется внешним учителем. Целью обучения является построение желаемого отображения входного сигнала в выходной, которое сеть должна аппроксимировать.
В этой и последующих трех главах рассматриваются алгоритмы самоореанизующегося обучения (зе!Г-огяап(лед 1еапппя), или обучения без учителя (ппзпрегч(яед !еапппя). Целью алгоритмов самоорганизующегося обучения является выявление (д(зсочег) в множестве входных данных существенных образов или признаков, причем этот процесс проходит без участия учителя. Для этого алгоритм реализует множество правил локальной природы, что позволяет обучаться вычислению отображения входного сигнала на выходной с требуемыми свойствами. Здесь термин "локальный" подразумевает следующее. Изменения синаптических весов нейрона определяются только непосредственными соседями этого нейрона.
Модели сетей, обучаемые на основе принципа самоорганизации, в гораздо большей мере отражают свойства иейробиологических структур, нежели архитектуры, обучаемые с учителем. Это неудивительно, поскольку подобный принцип организации сетей отражает принципы функционирования мозга. Архитектура самоорганизующихся систем может принимать множество совершенно различных форм. Например, такая сеть может состоять из еходмоео (шрп! 1ауег) и выходного слоя (оп!рп! (ауег), связанных прямыми связями, и включать латеральные связи между нейронами второго слоя. Еще одним примером могут служить многослойные сети прямого распространения, в которых самоорганизация проявляется при переходе от одного слоя к другому.
В обоих случаях процесс обучения состоит в периодически повторяющемся изменении синаптических весов всех связей в системе в ответ на подачу входных образов в соответствии с предписанными правилами до получения конечной конфигурации системы. 510 Глава 8. Анализ главных компонентов Эта глава посвящена системам самоорганизации, основанным на принципе обучения Хебба. Основное внимание в ней уделяется анализу главных канлоненгвов (рппс(ра! сошропелгз ала1угйз) — стандартному приему, обычно используемому для уменьшения размерности данных в статистических системах распознавания образов и обработки сигналов. Структура главы Материал этой главы организован следующим образом.
В разделе 8.2 на качественном уровне описываются основные принципы самоорганизации. В разделе 8.3 представлен вводный материал по анализу главных компонентов, который будет положен в основу последующего исследования самоорганизующихся систем в настоящей главе. Вооружившись этими фундаментальными знаниями, мы приступим к изучению отдельных самоорганизующихся систем. В разделе 8.4 описывается простая модель, состоящая из единственного нейрона и позволяющая извлечь первый главный компонент на основе самоорганизации. В разделе 8.5 рассматривается более сложная самоорганизующаяся система в форме сети прямого распространения с одним слоем нейронов, которая извлекает все главные компоненты, основываясь на работе предыдущей простой модели.
Эта процедура будет проиллюстрирована компьютерным экспериментом по кодированию изображений, представленным в разделе 8.6. В разделе 8.7 вниманию читателя будет предложена еще одна самоорганизующаяся система, выполняющая аналогичную функцию. Однако эта система является еще более сложной, так как содержит латеральные связи. В разделе 8.8 приводится классификация алгоритмов анализа главных компонентов на основе нейронных сетей. Раздел 8.9 посвящен классификации алгоритмов снижения размерности данных на адаптивные и пакетные методы. В разделе 8.10 описывается нелинейная форма анализа главных компонентов, основанная на идее ядра скалярного произведения, определенного в соответствии с теоремой Мерсера, о которой речь шла в главе 6, посвященной машинам опорных векторов.
Завершается глава заключительными размышлениями об анализе главных компонентов. 8.2. Некоторые интуитивные принципы самоорганизации Как уже говорилось ранее, обучение на основе самоорганизации (без учителя) заключается в последовательном изменении синаптических весов нейронной сети в ответ на возбуждающие сигналы, производимые в соответствии с заранее определенными правилами, повторяющемся до тех пор, пока не будет сформирована окончательная 8,2. Некоторые интуитивные принципы самоорганизации 611 конфигурация системы. Ключевой вопрос, естественно, заключается в том, как с помощью самоорганизации сформировать эту окончательную структуру. Ответ на него основывается на следующем наблюдении (1061). Глобальный порядок определяется локальными взаимодействиями. Это наблюдение имеет первостепенную важность.
Его можно применить и к мозгу, и к искусственным нейронным сетям. В частности, многие изначально случайные взаимодействия соседних нейронов сети могут перерасти в состояние глобального порядка и в конечном счете привести к согласованному поведению в форме пространственных моделей или временных ритмов. Это и является сущностью самоорганизации. Организация сетей формируется на двух различных уровнях, которые взаимодействуют друг с другом с помощью обратной связи.
Этими двумя уровнями являются следующие. ° Уровень активности (ас6ч(гу). В ответ на входные возмущения данная сеть формирует определенные образы (последовательность действий). ° Уровень связности (соппесбигу). Связи (синаптические веса) сети изменяются в ответ на нейронные сигналы образов активности благодаря синаптической пластичности. Для того чтобы сеть достигла самоорганизации (а не стабилизации), обратная связь между изменениями в синаптических весах и изменениями в образах активности должна быть положительной (рояг(ие). В соответствии с этим можно вывести первый принцип самоорганизации [1097).
ПРИНЦИП 1 Изменение синоптических весов ведет к самоусилению сети (ве(Г-атр!Я~). Процесс самоусиления ограничен требованием того, чтобы изменения синаптических весов основывались на локально доступных сигналах, а именно на предсинаптнческих и постсинаптических. Это требование усиления и локальности определяет механизм, в котором сильные синапсы обеспечивают согласование предсинаптических сигналов с постсинаптическими. В свою очередь, синапс усиливается за счет такого согласования. Описанный здесь механизм на самом деле является подтверждением постулата обучения Хебба.
Для стабилизации системы должна существовать некоторая форма конкуренции за "ограниченные" ресурсы (количество входных сигналов или энергию). В частности, усиление отдельных синапсов сети должно компенсироваться ослаблением остальных. Следовательно, усиливаться могут только "успешные" синапсы, в то время как "менее удачливые" имеют тенденцию к ослаблению и постепен- 612 Глава 8. Анализ главных компонентов ному исчезновению.
Это наблюдение приводит к формулировке второго принци- па самоорганизации [1097). ПРИНЦИП 2 Ограниченность ресурсов ведет к конкуренции между синапсами и, таким образаи, к выбору наиболее успешно развивающихся синапсов за счет других (т.е. наиболее подходящих).. Этот принцип реализуется благодаря пластичности сииапсов. Для следующего наблюдения заметим, что отдельный сииапс не может эффективио реализовать благоприятные события. Для этого необходима совместная работа группы сииапсов, расположенных иа входе отдельного нейрона, и достаточное усиление согласованных сигиалов для его активации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
