Хайкин С. - Нейронные сети (778923), страница 10

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 10)

Такая сеть позволяет выделять глобальные 66 Глава 1. Введение Входной слой Выходной слой нейронов Рис. 1.15. Сеть прямого распространения с одним слоем нейронов свойства данных с помощью локальных соединений за счет наличия дополнительных синаптических связей и повышения уровня взаимодействия нейронов 1194). Способность скрытых нейронов выделять статистические зависимости высокого порядка особенно существенна, когда размер входного слоя достаточно велик.

Узлы источника входного слоя сети формируют соответствующие злементы шаблона активации (входной вектор), которые составляют входной сигнал, поступающий на нейроны (вычислительные элементы) второго слоя (т.е. первого скрытого слоя). Выходные сигналы второго слоя используются в качестве входных для третьего слоя и т.д. Обычно нейроны каждого из слоев сети используют в качестве входных сигналов выходные сигналы нейронов только предыдущего слоя.

Набор выходных сигналов нейронов выходного (последнего) слоя сети определяет общий отклик сети на данный входной образ, сформированный узлами источника входного (первого) слоя. Сеть, показанная на рис. 1. 16, называется сетью 10-4-2, так как она имеет 10 входных, 4 скрытых и 2 выходных нейрона. В общем случае сеть прямого распространения с т входами, 6, нейронами первого скрытого слоя, пз нейронами второго скрытого слоЯ и г) нейРонами выходного слоЯ называетсЯ сетью ги — )х, — ггз — 9. Нейронная сеть, показанная на рис.

1.16, считается поляосвязной (бзПу соппесгес!) в том смысле, что все узлы каждого конкретного слоя соединены со всеми узлами смежных слоев. Если некоторые из синаптических связей отсутствуют, такая сеть называется неяолносвязной (рапба!!у соппес1ед). Рекуррентные сети Рекуррентная нейронная сеть (геспггеп1 пеияог)с) отличается от сети прямого распространения наличием по крайней мере одной обратной связи (Гестас)с 1оор). Например, рекуррентная сеть может состоять из единственного слоя нейронов, каждый из которых направляет свой выходной сигнал на входы всех остальных нейронов слоя. 1.6.

Архитектура сетей б7 Рис. 1.16. Полносвязная сеть прямою рвспростра- Входной нения с одним скрытым и одним выходным слоем едой Слой скрытых нейронов Выходной евой нейронов Операторы единичной задержки Рис. 1.17. Рекуррентнвя сеть без скрытых ней- ронов и обратных связей нейронов с самими собой Архитектура такой нейронной сети показана на рис. 1.17. Обратите внимание, что в приведенной структуре отсутствуют обратные связи нейронов с самими собой. Рекуррентная сеть, показанная на рис. 1.17, не имеет скрытых нейронов. На рис. 1.18 показан другой класс рекуррентных сетей — со скрытыми нейронами. Здесь обратные связи исходят как из скрытых, так и из выходных нейронов. 88 Глава 1.

Введение Выходные сигналы Рис. 1.18. Рекуррентная сеть со скрытыыи нейронами Наличие обратных связей в сетях, показанных на рис. 1.17 и 1.18, оказывает непосредственное влияние на способность таких сетей к обучению и на их производительность. Более того, обратная связь подразумевает использование элементов единичной задержки (пп)Ме!ау е!ешеп1) (они обозначены как л '), что приводит к нелинейному динамическому поведению, если, конечно, в сети содержатся нелинейные нейроны. 1.7. Представление знаний В разделе 1.1 при определении нейронных сетей часто использовался термин "знания" без явного описания его значения.

Этот пробел можно устранить, предложив следуюшее общее определение (295). Под знаниями понимается хранимая информация или модели, используеиьге человеком или машиной для интерпретации, предсказания и реакции на внешние события. К вопросам представления знаний (1спои!едйе гергезеп[айоп) относятся следующие: какую информацию необходимо хранить и как эту информацию представить физически для ее последующего использования. Таким образом, исходя из самой природы знаний, способ их представления определяется поставленной целью.

Относительно реальных приложений "интеллектуальных" систем можно утверждать, что успех решения зависит от хорошего представления знаний [1166). Это касается и нейронных сетей, представляющих собой отдельный класс интеллектуальных систем. Форма представления входных сигначов может быть самой разной. Это приводит к тому, что разработка приемлемых нейросетевых решений становится творческим процессом. Основной задачей нейронной сети является наилучшее обучение модели окружающего мира для решения поставленной задачи. Знания о мире включают два типа информации, ! Л. Представление знаний 69 1. Известное состояние окружающего мира, представленное имеющимися в наличии достоверными фактами.

Такая информация называется анриарной (рпог). 2. Наблюдения за окружающим миром (измерения), полученные с помощью сенсоров, адаптированных для конкретных условий, в которых должна функционировать данная нейронная сеть. Обычно такие измерения в значительной мере зашумлены, что потенциально может стать источником ошибок. В любом случае измерения, полученные таким способом, формируют множество информации, нримеры из которого используются для обучения нейронной сети.

Примеры могут быть маркированными (1аЬе!ед) и немаркированными (пп!аЬе1ед). В маркированных примерах входному сигналу (!прп! з!япа!) соответствует желаемый отклик (оез!гео гезропзе). Немаркированные примеры состоят из нескольких различных реализаций одного входного сигнала. В любом случае набор примеров, будь то маркированных или нет, представляет собой знания об интересующей предметной области, на основании которых и проводится обучение нейронной сети.

Множество пар сигналов вход-выход, каждая из которых состоит из входного сигнала и соответствующего ему желаемого выхода, называют обучающими данными (гга!л!пя дага) или обучающей выборкой ([га!и!пя зашр!е), Для примера рассмотрим задачу распознавания цифр (д!я(! гесойшбоп ргоЫеш). В этой задаче входной сигнал (изображение) представляет собой матрицу, состоящую из черных и белых точек.

Каждое изображение представляет одну из десяти рукописных цифр на белом фоне. Желаемым откликом сети является конкретная цифра, изображение которой подается в качестве входного сигнала. Обычно обучающая выборка состоит из большого числа рукописных цифр, что отражает ситуацию, которая может возникнуть в реальном мире. При наличии такого набора примеров нейронная сеть создается следующим образом. ° Во-первых, выбирается соответствующая нейросетевая архитектура, в которой размер входного слоя соответствует количеству пикселей на рисунке, а в выходном слое содержится десять нейронов, соответствующих цифрам. После этого выполняется настройка весовых коэффициентов сети на основе обучающего множества. Этот режим работы сети называется обучением.

° Во-вторых, эффективность обучения сети проверяется (тестируется) на множестве примеров, отличных от использованных при обучении. При этом на вход сети подается изображение, для которого известен целевой выход сети. Эффективность обучения сети проверяется путем сравнения результатов распознавания с реальными цифрами.

Этот этап работы нейронной сети называют обобщением (депега1!габон) (данный термин взят из психологии). 60 Глава 1. Введение Здесь и кроется фундаментальное отличие между созданием нейронной сети н разработкой классических методов обработки информации для задач классификации. В последнем случае мы в первую очередь формулируем математическую модель исследуемой среды, верифнцируем ее на реальных данных, а затем разрабатываем классификатор на основе этой модели. Создание нейронной сети основывается непосредственно на реальных данных, которые говорят сами за себя. Таким образом, нейронные сети не только реализуют полноценную модель среды, но и обеспечивают обработку данных. Набор данных, используемый для обучения сети, должен содержать как положительные, так и отрицательные примеры.

Например, в задаче пассивной эхо-локации положительные примеры включают сигналы, отраженные от интересующего объекта (например, подводной лодки). Однако в реальной среде на отклик радара влияют и морские объекты, случайно попавшие в зону сигнала. Чтобы понизить вероятность неверной трактовки сигнала, в множество примеров добавляют сигналы, полученные при отсутствии искомого объекта.

В нейронной сети заданной архитектуры знания об окружающей среде представляются множеством свободных параметров (т.е. синаптических весов и порогов) сети. Такая форма представления знаний соответствует самой природе нейронных сетей. Именно в ней кроется ключ эффективности нейросетевых моделей.

Вопрос представления знаний в нейронной сети является очень сложным. Тем не менее можно выделить четыре общих правила [48). Правило 1. Сходные входные сигналы от схожих классов должны формировать единое представление в нейронной сети. Исходя из этого, они должны быть классифицированы как принадлежащие к одной категории. Существует множество подходов к определению степени сходства входных сигналов. Обычно степень подобия определяется на основе Евклидова расстояния (Епс!(д(ап д(з1апсе).

Характеристики

Список файлов книги