Хайкин С. - Нейронные сети (778923), страница 110
Текст из файла (страница 110)
8.9, б. Таким образом, генерируются 8 коэффициентов кодирования изображения. На рис. 8.9, в показано реконструированное изображение, основанное на 8 доминирующих компонентах без дискретизации. 8.6. Компьютерное моделирование:кодирование изображений 545 ° Каждый из коэффициентов был равномерно дискретизирован на множестве битов, приблизительно пропорциональном логарифму дисперсии этого коэффициента на изображении. Таким образом, первым трем маскам было выделено по 6 бит, следующим двум — по 4, следующим двум — по 3, а оставшейся маске — 2 бита. На основе этого представления для кодирования каждого из блоков размерности 8 х 8 было выделено 34 бита, что соответствует уровню сжатия 0,53 бита на пиксель.
Для восстановления изображения на основе дискретных коэффициентов все маски были взвешены своими коэффициентами дискретизации, после чего они использовались для восстановления каждого из блоков рисунка. Реконструированная семейная фотография с уровнем сжатия 15;1 показана на рис. 8.9, г. В качестве второго примера для иллюстрации обобщенного алгоритма обучения Хебба рассмотрим изображение морского пейзажа (рис.
8.10, а). На этом рисунке внимание акцентируется на тпекстпурной информации. На рис. 8.10, б показаны маски размером 8 х 8 синаптических весов сети. Выполняемая процедура аналогична описанной выше. Обратите внимание на различия в масках на рис. 8.10, б и рис. 8.9, б. На рис. 8.10, в показано реконструированное изображение морского пейзажа, основанное на 8 доминирующих главных компонентах без дискретизации. Для изучения эффекта от дискретизации выходы первых двух масок были дискретизированы с использованием 5 бит для каждой, третья — с использованием 3 бит, а оставшиеся маски— с использованием 2 бит для каждой. Таким образом, для кодирования каждого из блоков 8 х 8 потребовалось 23 бита.
В результате при кодировании в среднем использовалось 0,36 бита на пиксель. На рис. 8.10, г показано восстановленное изображение морского пейзажа, в котором используются маски, дискретизированные описанным выше способом. Общий уровень сжатия составил 22:1. Для проверки общей эффективности "обобщения" обобщенного алгоритма Хебба использовались маски, показанные на рис. 8.9, б, для декомпозиции изображения морского пейзажа (см. рис. 8.10, а). При этом применялась та же процедура, которая использовалась для восстановления рис.
8.10, ж Результат этого восстановленного изображения показан на рис. 8.10, д, с уровнем сжатия 22:1, те. с тем же уровнем, который был получен для рис. 8.10, г. Несмотря на то что рис. 8.10, г и д имеют поразительное сходство, мы видим, что на первом из них более "правдиво" представлена текстурная информация. В результате этот рисунок выглядит менее "блочным", чем рис.
8.10, д. Это различие объясняется разными весами сети. Первые четыре веса, полученные после обучения нейронной сети на изображениях с семейной фотографией и морским пейзажем, являются довольно сходными. Однако последние четыре веса, кодирующие для первого рисунка информацию о контурах, в случае с морским пейзажем содержат информацию о текстуре. Таким образом, для восстановления текстурной информации морского пейзажа применялись "контурные" веса, что и привело к блочному представлению. 646 Глава 8.
Анализ главных компонентов Веса Исюппос нюбражеп не б) а) Сжатие )5:) Использование первых 8 компонентов в) г) Рис. 8.9. Семейная фотография, использованная в эксперименте по кодированию изображений (а); маски размером В х В, представляющие собой синаптические веса, обучаемые по алгоритму ОНА (б); семейная фотография, восстановленная с помощью 8 доминирующих главных компонентов без дискретизации (в); реконструированная фотография с уровнем сжатия 18:1 при использовании дискретизации (г) 8.7.
Адаптивный анализ главных компонентов с использованием латерального торможения Обобщенный алгоритм Хебба, описанный в предыдущем разделе, основан исключительно на использовании прямых связей для анализа главных компонентов. В этом разделе мы опишсм еще один алгоритм, называемый алгоритмом адаллзивного извлечения главных колглонентов (ае)арт(уе рппсзра! сотропелга сх)гасйоп — АРЕХ) 8.7.
Адаптивный анализ главных компонентов... 547 а) в) г) к) Рис. 8.10. Изображение морского пейзажа (а); маски З х 8, представляющие синаптические веса, обучаемые по алгоритму НОА и применяемые к иэображению (б); восстановленное изображение морского пейзажа с использованием 8 доминирующих главных компонентов (в); восстановленное изображение с уровнем сжатия 22:1 при использовании масок из пункта (б) без дискретизации (г); восстановленное изображение морского пейзажа с использованием масок, показанных на рис. 8.9, б, с дискретизацией для достижения уровня сжатия 22:1, такого же, как в частях (г), (д) 548 Глава 8.
Анализ главных компонентов х, хз л хз Вхо слой l Вмходнай слой Рис. 8.11. Сеть с прямыми и латеральными связями, используемая для еыесда алюритма АРЕХ ° Прямые связи []еег]]огтхгагг] соппесйоп) от входных узлов к каждому из нейронов 1, 2,..., 1, где 1' < т. Здесь представляют интерес прямые связи, приходящие к нейрону у. Их можно представить в виде вектора прямых связей: Прямые связи работают в соответствии с правилам обучении Хебба [НеЬЬ[ап 1еагп- [п8 ги]е) и, таким образом, реализуют самоусиление [зе!['-агпр][йса1[оп). з В [30Ц конфигурация нейронной сети, используемая для анализа главных компонентов, была расширена за счет включения Хеббоподобных обратнмх связей. Идея этой модификации была навеяна более ранней работой, посвященной адмпации и декорреляции в зрительной области коры головного мозга [93]. В этой работе было дано объяснение следующему факгу. Если нейроны взаимодействуют согласно анти-Хеббовскому правилу, то выходы этих нейронов определяют систему июрдинат, в которой нет иорреляции, даже если входные сигналы сильно коррелированны.
Использование латерального торможения в выходных нейронах было также предложено в [909], [910]. Однако, в отличие от модели, предложенной в [301], латеральные связи, описанные в этих статьях, не были симметричнмми При этом латеральная сеть была иерархической в том смысле, что нейрон 1 тормозил все нейроны за исключением нейронов 1, 2... т — 1, где т = 1, 2,, .. Модель АРЕХ, предложенная в [606], предполагает ту же топологию сети, что и модель, описанная в [909], [910], но для коррекции синаптических весов в прямых и латеральнмх связях сети используется другое правила обучения [см, раздел ад).
[258), [606]. Алгоритм АРЕХ использует как прямые, так и обратные связиз. По своей природе этот алгоритм является итеративным: эчй основной компонент вычисляется на основе заданных (2'-1) предыдуших. На рис. 8.11 показана модель сети, которую мы будем использовать для вывода алгоритма АРЕХ. Как и ранее, входной вектор х имеет размерность т. Его компонентами являются х„хз,..., х . Все нейроны сети считакпся линейными. Как показано на рис.
8.11, в этой сети существуют два типа синаптичсских весов. 8.7. Адаптивный анализ главных компонентов... 649 ° Патеразьные связи (1агега1 соппесйоп) между выходами нейронов 1, 2,..., у — 1 и входом нейрона 11 Они реализуют обратные связи в сети. Эти связи представляются вектором обратных связей; а,(п) = ]а,1(п),а,з(п),..., ат, 1(п)]'.
Латеральные связи действуют в соответствии с анти-Хеббовским нравилом обуче- ния (апб-НеЬЬ1ап 1еаппп8 пйе), что делает их тормозяи1ими (1пЬ(Ь1гогу). На рис. 8.11 прямые и латеральные связи нейрона 1 выделены жирным, чтобы подчеркнуть значение нейрона у как объекта изучения. Выход у, (п) нейрона г можно представить в следующем виде; у,(п) = ит(п)х(п) + ат(п)у, ,(п), (8.98) где сла~аемое зчт(п)х(п) отражает влияние прямых связей, а ат(п)у,,(п)— латеральных. Вектор сигнала обратной связи у, 1(п) формируется выходами нейронов 1, 2,..., 1 — 1: у,, (п) = ]у1(п), у,(п),..., у, 1(п)] (8.99) Предполагается, что входной вектор х(п) выбирается из стационарного процесса с матрицей корреляции К, имеющей различные собственные значения, отсортированные в порядке убывания, т.е. 21 ~ )12 ~ ~ )1з-1 (8. 100) Далее предполагается, что нейроны 1, 2,..., у — 1 сети, изображенной на рис.
8.11, уже сошлись к своим устойчивым состояниям: где 11„— собственный вектор, связанный с к-м собственным значением матрицы корреляции К, а момент времени п =0 соответствует началу вычислений в сети. Тогда, учитывая выражения (8.98), (8.99), (8.101) и (8.102), можно записать: (8.103) зчь(0) = г)„, гг = 1,2,...,у — 1, а„(0) = О, lс = 1, 2,..., ) — 1, у (п) — (ц х(п) ц х(п) ...
11 х(п)] ()х(п) (8. 101) (8.102) 660 Глава 8. Анализ главных компонентов где Я вЂ” матрица размерности Π— 1) х пз, определяемая в терминах собственных векторов ц„г)з,..., ц „связанных с (з — 1) наибольшими собственными значениями Х„йз,..., 3., матрицы корреляции К, т.е. ге = (Чг~Чз Ч, 1] (8.104) Нейрон з сети, локазаииой иа рис. 8.11, требуется использовать для вычисления следуюшего наибольшего собственного числа Х матрицы корреляции К входного вектора х(п) и связанного с иим собственного вектора г),. Уравнения коррекции для вектора прямых сииаптических весов тг,(п) и вектора латеральиых весов а,(п) нейрона з имеют следующий вид: и;(п+ 1) = яг,(п) + з) [у,(п)х(п) — у,'(п)гг,(п)] (8.105) а (п+ 1) = а,(п) +т) '(у,(п)у,,(п) — у~(п)а,(п)], (8,106) ° Сначала доказывается, что если нейроны 1, 2,..., у — 1 сходятся к своим устойчивым значениям, то нейрон ) тоже сходится к своему устойчивому значению, выбирая следующее по счету наибольшее собственное значение Х, матрицы корреляции К входного вектора х(п) и соответствуюший ему собственный вектор г),.
° После этого мы завершаем доказательство методом индукции, учитывая, что иейрои 1 ие имеет обратных связей и, таким образом, вектор весов обратной связи а, является нулевым. Следовательно, этот конкретный нейрон функционирует таким же образом, как и нейрон Ойа, а из раздела 8.4 мы знаем, что этот нейрон при определеииых условиях является абсолютно устойчивым.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
