Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика, страница 4

Теорема Колмогорова-Арнольда Построить многомерное отображение Х вЂ” > У вЂ” зто значит представить его с помощью математических операций над не более, чем двумя переменными Проблема представления функций многих переменных в виде суперпозиции функций меньшего числа переменных восходит 13-й проблеме Гильберта В результате многолетней научной полемики между А Н Колмогоровым и В И Арнольдом был получен ряд важных теоретических результатов, опровергающих тезис не- представимости функции многих переменных функциями меньшего числа переменных ° теорема о возможности представления непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных (1956 г ), ° теорема о представлении любой непрерывной функции трех переменных в виде суммы функций не более двух переменных (1957 г ), ° теорема о представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения (1957 г ) 1.3.2.

Работа Хехт-Нильсена Теорема о представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения в 1987 году была переложена ХехтНильсеном для нейронных сетей Теорема Хехт-Нильсена доказывает представимость функции многих переменных достаточно общего вида с помощью двухслойной нейронной сети с прямыми полными связями с и нейронами входного слоя, (2п+1) нейронами скрытого слоя с заранее известными ограниченными функциями активации (например, сигмоидальными) и т нейронами выходного опоя с неизвестными функциями активации Теорема, таким образом, в неконструктивной форме доказывает решаемость задачи представления функции произвольного вида на нейронной сети и указывает для каждой задачи минимальные числа нейронов сети, необходимых для ее решения 20 1.3.3.

Следствия из теоремы Колмогорова — Арнольда — Хехт-Нильсена Следствие 1 Из теоремы Хехт-Нильсена следует представимость любой многомерной функции нескольких переменных с помощью нейронной сети фиксированной размерности Неизвестными остаются следующие характеристики функций активации нейронов ° ограничения области значений (координаты асимптот) сигмоидальных функций активации нейронов скрытого слоя, ° наклон сигмоидальных функций активации, ° вид функций активации нейронов выходного слоя Про функции активации нейронов выходного слоя из теоремы Хехт-Нильсена известно только то, что они представляют собой нелинейные функции общего вида В одной из работ, продолжающих развитие теории, связанной с рассматриваемой теоремой, доказывается, что функции активации нейронов выходного слоя должны быть монотонно возрастающими Это утверждение в некоторой степени сужает класс функций, которые могут использоваться при реализации отображения с помощью двухслойной нейронной сети На практике требования теоремы Хехт-Нильсена к функциям активации удовлетворяются следующим образом В нейронных сетях как для первого (скрытого), так и для второго (выходного) слоя используют сигмоидальные передаточные функции с настраиваемыми параметрами То есть в процессе обучения индивидуально для каждого нейрона задается максимальное и минимальное значение, а также наклон сигмоидальной функции Следсгпвие 2 Для любого множества пар (Х", У") (где У~— скаляр) существует двухслойная однородная (с одинаковыми функциями активации) нейронная сеть первого порядка с последовательными связями и с конечным числом нейронов, которая выполняет отображение Х -+ У, выдавая на каждый входной сигнал Х~ правильный выходной сигнал У" Нейроны в такой двухслойной нейронной сети должны иметь сигмоидальные передаточные функции К сожалению, эта теорема не конструктивна В ней не заложена методика определения числа нейронов в сети для некоторой конкретной обучающей выборки Для многих задач единичной размерности выходного сигнала недостаточно Необходимо иметь возможность строить с помощью нейронных сетей функции Х вЂ” ~ У, где У имеет произвольную размерность Следующее утверждение является теоретической основой для построения таких функций на базе однородных нейронных сетей.

У»»~~ Д бк р д выходных векторов произвольной размерности ((М», 'т»), й = 1...И) существует однородная двухслойная нейронная сеть с последовательными связями, с сигмоидальными передаточными функциями и с конечным числом нейронов, которая для каждого входного вектора М» формирует соответствующий ему выходной вектор т».

Таким образом, для представления многомерных функций многих переменных может быть использована однородная двухслойная нейронная сеть с сигмоидальными передаточными функциями. Для оценки числа нейронов с скрытых слоях однородных нейронных сетей можно воспользоваться формулой для оценки необходимого числа синаптических весов (.„в многослойной сети с сигмоидальными передаточными функциями: тИ (И < ( „< гп~ — »- 1 (и + гп + 1) + гп, (1. 5) 1+(оц И " ~т где и — размерность входного сигнала, ги — размерность выходного сигнала, И- число элементов обучающей выборки. Оценив необходимое число весов, можно рассчитать число нейронов в скрытых слоях. Например, для двухслойной сети это число составит: Ф (1.6) и »гп Известны и другие формулы для оценки, например: 2(п+ ~+ т) < И < 10(п+ ~+ гп), (1.?) — -и — т в (.

< — — и — гп . И И (1.8) 10 2 Точно так же можно рассчитать число нейронов в сетях с большим числом слоев. Иногда целесообразно использовать сети с большим числом слоев. Такие многослойные нейронные сети могут иметь меньшие размерности матриц синаптических весов нейронов одного слоя, чем двухслойные сети, реализующие то же самое отображение.

Однако строгой методики построения таких сетей пока нет. Аналогичная ситуация складывается и с многослойными нейронными сетями, в которых помимо последовательных связей используются и прямые (связи от слоя с номером г) к слою с номером (г)+р), где р > 1). Нет строгой теории, которая показывала бы возможность и целесообразность построения таких сетей. 22 Наибольшие проблемы возникают при использовании сетей циклического функционирования.

К этой группе относятся многослойные сети с обратными связями (от слоя с номером д к слою с номером (д+р), где р < О), а также полносвязные сети. Для успешного функционирования таких сетей необходимо соблюдение усповий динамической устойчивости, иначе сеть может не сойтись к правильному решению, либо, достигнув на некоторой итерации правильного значения выходного сигнала, после нескольких итераций уйти от этого значения. Проблема динамической устойчивости подробно исследована, пожалуй, лишь для одной модели из рассматриваемой группы — нейронной сети Хопфилда. Отсутствие строгой теории для перечисленных моделей нейронных сетей не препятствует исследованию возможностей их применения Отметим, что отечественному читателю приведенные результаты известны в более фрагментарной форме — в виде так называемой теоремы о полноте.

Тео ема о полноте. Любая непрерывная функция на замкнутом ограниченном множестве может быть равномерно приближена функциями, вычисляемыми нейронными сетями, если функция активации неирона дважды непрерывно дифференцируема и непрерывна. Таким образом, нейронные сети являются универсальными структурами, позволяющими реализовать любой вычислительный алгоритм 1.4. Постановка и возможные пути решения задачи обучения нейронных сетей Очевидно, что процесс функционирования нейронной сети, сущность действий, которые она способна выполнять, зависит от величин синаптических связей. Поэтому, задавшись определенной структурой сети, соответствующей какой-либо задаче, необходимо найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными) Этот этап называется обучением нейронной сети, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время функционирования.

В процессе функционирования нейронная сеть формирует выходной сигнал У в соответствии с входным сигналом Х, реализуя некоторую функцию д. У = д(Х). Если архитектура сети задана, 23 то вид функции д определяется значениями синаптических весов и смещений сети. Обозначим через Й множество всех возможных функций д, соответствующих заданной архитектуре сети. Пусть решение некоторой задачи есть функция г.