1626434812-e667f6b6e7e69d3a0798830a58e9075b (844135), страница 33
Текст из файла (страница 33)
Исследователи наделяют искусственные нейроны разнообразными свойствами, которые, по их мнению, адекватны функциям биологических нейронов и позволяют получать решение актуальных для исследователя задач. В рамках данной книги будем придерживаться следующих формулировок основных понятий нейронных сетей ~37 — 391. Искусственный нейрон, далее просто нейрон ~, 1~ (1, 2,...), задается совокупностью своих входов х, ~ ~ ~ 1, 2,...), весами входов ж., функцией состояния з, и функцией активации Г, Функция состояния определяет состояние нейрона в зависимости от значений его входов, весов входов и, возможно, предыдущих состояний. Наиболее часто используются функции состояния, не зависящие от предыдущего состояния, вычисляемые либо как сумма произведений значений Я входов на веса соответствующих входов по всем входам ~з.= ~ хе ~Ф, где пО) с=1 — число входов нейрона 1), либо как расстояние между вектором входов Х~ = (х,,) и вектором вссов входов %) = (ю~,), измеряемое в какой-либо метрике, п(п например, з.= ~~~ — %" 1.
гж! Одноместная функция активации у = Г(я) определяет выходной сигнал нейрона как функцию его состояния з. Наиболес распространенными функциями Глава 7. Нейросетевые системы 175 активации являются ступенчатая пороговая, линейная пороговая, сигмоидная, а также линейная и гауссиана, приведенные в таблице 7.1. Таблица 7.1 Определение Название ступенчатая пороговая у=О при а<а, у=1 при з>п у=О при а<а,, у=1сз+Ь при а,<я<а,, у=1 при ь>ог у ~ 1 +е'мВ ~)) 1 у = Кз+Ь линейная пороговая сигмоидная линейная гауссиана Рис. 7.1.
Пример нейронной сети без циклов Легко видеть, что, приняв некоторое соглашение о тактировании сети ~времени срабатывания нейронов), мы получаем аппарат для задания алгоритмов Линейные нейронные сети используют нейроны с линейной функцией активации, Нелинейные применяют нелинейную функцию активации, например, пороговую или сигмоидную. Нейронная сеть образуется путем объединения ориентированными взвешенными ребрами выходов нейронов с входами. При этом граф межнейронных соединений может быть ациклическим либо произвольным циклическим.
Вид графа служит одним из классификационных признаков типа нейронной сети, разделяющим сети на сети без циклов и циклические. Примеры нейронных сетей этих типов приведены на рис. 7.1 и 7.2 соответственно. Базы данных. Интеллектуальная обработка информации Рис, 7.2. Орилюер циклической нейронной сети посредством нейронных сетей. Разнообразие этих алгоритмов пичем не ограничено, так как можно использовать нейроны с различными функциями активации, различными функциями состояния, двоичными, целочисленными, вещественными и другими значениями весов и входов.
Поэтому в терминах нейронных сетей можно описывать решение как хорошо формализованных задач, например, задач математической физики, так и плохо формализуемых задач распознавания, классификации, обобщения и ассоциативного запоминания. Сети могут быть конструируемыми или обучаемыми. В конструируемой сети число и тип нейронов, граф межнейронных связей, веса входов нейронов определяются при создании сети, исходя из решаемой задачи. Например, при конструировании сети Хопфилда ~40~, функционирующей как ассоциативная память, каждая входная последовательность из заранее определенного набора участвует в определении весов входов нейронов сети. После конструирования функционирование сети заключается в следующем.
При подаче на входы частичной или ошибочной входной последовательности сеть через какое-то время переходит в одно из устойчивых состояний, предусмотренных при ее конструировании. При этом на входах сети появляется последовательность, признаваемая сетью как наиболее близкая к изначально поданной. Число запоминаемых входных последовательностей М связано с числом нейронов в сети соотношением М < И/4!одИ, где Х вЂ” число нейронов. В обучаемых сетях их графы межнейронных связей и веса входов изменяются при выполнении алгоритма обучения.
По алгоритму обучения сети делятся на набл|одаемые, ненаблюдаемые и смешанные ~гибридные). Первые при обучении сравнивают заранее известный выход с получившимся значением. Глава 7. Нейросетевые системы Вторые обучаются, не зная заранее правильных выходных значений, но группируя "близкис" входные векторы так, чтобы они формировали один и тот же выход сети. Ненаблюдаемое обучение используется, в частности, при решении задачи кластеризации. При смешанном алгоритме обучения часть весов определяется при наблюдаемом, а часть — при ненаблюдаемом обучении. Обучение осуществляется путем предъявления примеров„состоящих из наборов входных данных в совокупности с соответствующими результатами при наблюдаемом обучении и без последних при ненаблюдаемом.
Эффективность решения задач нейронной сетью зависит от выбранной структуры нейронной сети, используемого алгоритма обучения„называемых в совокупности нейропарадигмой, и полноты имеющейся базы данных примеров. 7.2.2. Основы построения алгоритмов обучения нейросетей Общая идея применения нейронных сетей, использующих обучение, основана на запоминании сетью предъявленных ей примеров и выработке решений, согласованных с запомненными примерами Практическая реализация этих положений подразумевает, во-первых, минимизацию объема памяти, требуемой для запоминания примеров, и, во-вторых, быстрое использование запомненных примеров, исключающее применение традиционных памятей с произвольной или последовательной выборками.
В нейронных сетях принято следующее представление решаемых задач. Каждому входному параметру х, ~=1,...,п, задачи сопоставляется измерение ~ многомерного пространства, размерность которого равна числу и параметров. Для каждого параметра используется некоторая шкала, задающая возможные значения этого параметра. Тем самым постановка задач сводится к определению свойств точек х =(х, х, ..., х, ~ п-мерного пространства, где х,, — значение входного параметра ~ точки ~, при известных свойствах точек, прийадлежащих примерам, использованным при обучении.
В задачах„эффективно решаемых нейросетями, точки многомерного пространства, в котором сформулирована задача, образуют области точек, обладающих одним и тем же свойством, например„принадлежащих одному классу объектов, имеющих одинаковое значение заданной на них некоторой функции и так далее.
Нейронные сети запоминают подобные области, а не отдельные точки, представляющие предъявленные при обучении примеры. Используются различные способы реализации запоминания областей. Наиболее употребляемые в настоящее время — это вьщеление областей посредством гиперплоскостей и покрытие областей гипершарами. На рис.
7.3 показаны выделение областей в двухмерном пространстве. Базы данных. Интеапектуальная обработка информации Рис. 7.3. Выделение областей е деухнернаи лростринсн1ее При использовании гиперплоскостей каждый нейрон ~ с пороговой функцией активации.
~ ~ (1,..., ЬЦ, И-число нейронов в сети, задает гиперплоскость и(~) значениями весов своих входов: Ф вЂ”,~'~~9 хл = О, где п(~) — число входов ней- г=! рона 1„а. — величина порога. В этом случае запоминание примеров выполняется путем формирования нейронной сети и заданием весов входов. Изменение весов входов, числа нейронов, графа межнейронных связей меняет набор и положение разделяющих гиперплоскостей, разбивающих многомерное пространство на области. На рис. 7.4 приведено схематичное изображение возможностей сетей с двумя входами по разбиению областей двухмерного пространства. Одноуровневая сеть, известная также как простой персептрон, не способна разделить на два класса точки, соответствующие нулевым и единичным значениям булевой функции "исключающее или". Двухуровневые сети и сети с большим числом уровней способны справиться с этой задачей. Посредством нейросетей с числом уровней, превышающим два, и с и входами может быть задана произвольная булева функция от и переменных ~43~, Глава 7.
Нейросетевые системы Одноуровневая сеть Двухуровневая сеть Трехуровневая сеть Рис. ?.4. Розмещение областей двухмерного пространство с помощью двухвходовых нейронных сетей Базы данных. Интеллектуальная обработка инфорлиации Как показано в [46-481, двухуровневая нейронная сеть способна аппроксимировать в равномерной метрике с любой заданной погрешностью я >О любую непрерывную функцию 6(х„х,, ..., х„), а в среднеквадратичной метрике — любую измеримую функци|о, определенную на ограниченном множестве; Ф 1 '+е -Мх и х.'-+и >* где 1з, — веса входов нейрона второго слоя с линейной функцией активации, Ю~ — вес 1-го входа, 1=1,..., и, 1-го нейрона, 1=1„..., М, первого слоя с сигмоидной функцией активации, И вЂ” число нейронов первого слоя.
Существенным преимуществом аппроксимации нейронной сетью по сравнению с традиционными методами аппроксимации служит независимость точности аппроксимации от размерности входов. Среднеквадратичная ошибка аппроксимации может быть ограничена величиной порядка И '. Тем самым устраняется "проклятие размерности" аппроксимируемой функции, делающее неприменимыми традиционные методы аппроксимации при сколько-нибудь значительных размерностях входного пространства. Установление универсального аппроксимирующего свойства нейронных сетей вывело аппарат нейросетей из стадии эмпирических построений в класс теоретически обоснованных методов. В настоящее время быстро развиваются методы оценки точности аппроксимации от числа нейронов и построения нейросетей с заданной точностью аппроксимации. В дальнейшем будем называть такие сети многоуровневыми персептронными сетями.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
