Хайкин С. - Нейронные сети (778923), страница 68
Текст из файла (страница 68)
Эта форма структурных ограничений имеет следующие преимущества. ° Инвариантность к смещению (з(з(й гпчапапсе), реализованную посредством карт признаков с использованием свертки (сопчо!убоп) с ядром небольшого размера, выполняющим функцию "сплющивания". 4.19. Сети свертки 331 4 карты 4 карты 12 карт 12 карт признаков признаков пРизнаков пРизнаков 26 карт признаков римером 24 х 24 размером 12х 12 размером 8 х 8 размером 4 х 4 размером 1х 1 вход 28х28 ое ей 4~ + Ь Рнс.
4.27. Сеть свертки дпн обработки изображений, например прн распознавании рукописного текста. (Воспроизведено с разрешения М!Т Ргезз.) ° Сокращение числа свободных параметров, реализованное с помощью совместного использования синаптических весов. ° Первый скрытый слой выполняет свертку. Он состоит из четырех карт признаков, каждая из которых представляет собой матрицу из 24 х 24 нейронов. Каждому нейрону соответствует поле чувствительности размером 5 х 5. ° Второй скрытый слой выполняет подвыборку и локальное усреднение. Он тоже состоит из четырех карт признаков, но теперь уже содержащих матрицы размером 12 х 12 нейронов.
Кахо2ому нейрону соответствуют рецептивное поле размером 2 х 2, настраиваемый коэффициент, настраиваемый порог и сигмоидальная функ- Подвыборка (зпЬзашр1(пй). За каждым слоем свертки следует вычислительный слой, осуществляющий локальное усреднение (1оса1 ачегай(пй) и подвыборку. Посредством этого достигается уменьшение разрешения для карт признаков. Эта операция приводит к уменьшению чувствительности выходного сигнала оператора отображения признаков, к смещению и прочим формам деформации. Такое построение сетей свертки имеет нейробиологическое обоснование, описанное в новаторских работах, посвященных локально-чувствительным и избирательноориентационным (опепГагюп-зе!есбче) нейронам зрительного аппарата кошки [489], [490]. Следует подчеркнуть, что все веса во всех слоях сверточной сети обучаются на примерах. Более того, сеть сама учится извлекать признаки автоматически. На рис.
4.27 показана структурная схема сверточной сети, состоящей из одного входного, четырех скрытых н одного выходного слоя нейронов. Эта сеть была создана для обработки изображений (ппайе ргосезз(пй), в частности при распознавании рукописнопз текста. Входной слой, состоящий из матрицы 28 х 28 сенсорных узлов, получает изображения различных символов, которые предварительно смещены к центру и нормированы по размеру.
После этого вычислительные слои поочередно реализуют операции свертки (сопчо!пбоп) и подвыборки, как описывается ниже. 332 Глава 4. Многослойный персептрон ция активации. Настраиваемый коэффициент и порог определяют рабочую область нейрона. Например, при маленьком коэффициенте нейрон работает в квазнлинейном режиме. ° Третий скрытый слой выполняет повторную свертку.
Он состоит из 12 карт признаков, каждая из которых представляет собой матрицу из 8 х 8 нейронов. Каждый нейрон этого скрытого слоя может иметь синаптические связи с различными картами признаков предыдущего скрытого слоя. В противном случае его работа была бы аналогичной первому слою свертки. ° Четвертый скрытый слой осуществляет вторую подвыборку и повторное локальное усреднение. Он состоит из 12 карт признаков, однако на этот раз каждая карта содержит матрицу из 4 х 4 нейронов. В противном случае работа этого слоя была бы аналогична первому слою подвыборки. ° Выходной слой осуществляет последний этап свертки.
Он состоит из 26 нейронов, каждому из которых соответствует одна из 26 букв латинского алфавита. Как и ранее, каждому нейрону соответствует рецептивное поле размером 4 х 4. При последовательном прохождении слоев свертки и подвыборки был получен бипирамидальный эффект. Это значит, что в каждом слое свертки или подвыборки количество карт признаков увеличивается по сравнению с предыдущим при одновременном уменьшении пространственного разрешения. Идея чередования свертки и подвыборки была вызвана чередованием "простых" и "сложных" клеток'7, впервые описанным в (490). Многослойный персептрон (см, рис, 4.27) содержит приблизительно 100000 синаптических связей, однако в то же время имеет только 2600 свободных параметров. Такое значительное сокращение количества свободных параметров было получено за счет совместного использования весов.
Емкость обучаемой машины (в терминах Ъ"С-измерения), таким образом, сократилась, что, в свою очередь, повысило способность к обобщению (618). И что еще более важно, настройка свободных параметров выполнялась с использованием стохастической (последовательной) формы обучения методом обратного распространения. Еще одним сугцественным моментом явилось то, что с помощью совместного использования весов удалось реализовать сверточную сеть в параллельной форме.
Это еще одно преимущество сверточных сетей по сравнению с полносвязным многослойным персептроном. Вывод, который напрашивается в результате анализа сети, представленной на рис. 4.27, можно сформулировать так. Во-первых, многослойный персептрон управляемого размера способен обучиться сложному, многомерному и нелинейному отоб- 'т Точка зрения Хабеля и нивеля (Наье! а Гяеае)) на "простые" и "сложные" клетки впервые бьша перенесена в предметную область нейронных сетей при создании системы, получившей название неохоглитрала (пеосойп(ноп) 13231, 13261. Однако зта машина функпнонировала на основе самооргаиизапии, в то время как свертсчнаа сеть, показанная на рис. 4.27, обучастса с учителем на базе маркированных примеров. 4.20.
Резюме и обсуждение 333 ражению с помощью ограничения (сола1ха1п1лд) его архитектуры путем вовлечения в нее априорных знаний о поставленной задаче. Во-вторых, синаптические веса и уровни порогов могут быть обучены с помощью цикличной работы простого алгоритма обратного распространения на множестве примеров обучения. 4.20. Резюме и обсуждение Обучение методом обратного распространения возникло как сгландарглный алгоритм обучения многослойного персептрона, по сравнению с которым все остальные алгоритмы обучения часто отбраковываются по тем или иным соображениям. Алгоритм обратного распространения получил свое название потому, что частные производные функции стоимости (как меры производительности) по свободным параметрам сети (синаптическим весам и порогам) определяются с помощью обратного распространения сигнала ошибки (вычисленного выходными нейронами) по сети, слой за слоем.
Таким образом, решается задача присваивания коэффициентов доверия в самой элегантной из возможных форм. Вычислительная мощь этого алгоритма вытекает из двух его характерных особенностей. ° Локальность метода изменения синаптических весов и порогов в многослойном персептроне. ° Эффекгливиость метода вычисления всех частных производных функции стоимости по свободным параметрам. В течение каждой отдельно взятой эпохи данных обучения алгоритм обратного распространения работает в одном из двух режимов: последовательном или пакетном.
В последовательном режиме все синаптические веса всех нейронов сети пересчитываются при подаче каждого примера обучения. Отсюда следует, что оценка вектора градиента поверхности ошибок, используемая во всех вычислениях, является стохастической (случайной) по своей природе. Поэтому такой режим (как, в общем, и весь метод) получил название "стохастического обратного распространения". С другой стороны, в пакетном режиме изменение синаптических весов и порогов выполняется один раз за всю эпоху. Это приводит к более точной оценке вектора градиента, используемого при вычислениях. Несмотря на свои недостатки, последовательная (стохастическая) форма обучения методом обратного распространения при создании нейронных сетей используется гораздо чаще, особенно в больших задачах. Для того чтобы добиться наилучшего результата, требуется основательная настройка алгоритма.
Особенности архитектуры многослойного персептрона зависят от области его применения. Однако хотелось бы подчеркнуть две особенности. 334 Глава 4. Многослойный персептрон При распознавании образов, содержащих нелинейные объекты, все нейроны сети являются нелинейньгчи. Эта нелинейность достигается за счет использования сигмоидальных функций, двумя самыми распространенными формами которых являются несимметричная логистическая функция и антисимметричная функция гиперболического тангенса. Каждый из нейронов отвечает за создание гиперплоскости в пространстве решений. В процессе обучения с учителем комбинация гиперплоскостей, сформированных всеми нейронами сети, итеративно трансформируется для разделения примеров, преднамеренно взятых из разных классов, а также ранее не встречавшихся, с наименьшей средней ошибкой классификации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
