Диссертация (Математические модели и инструментальные средства поддержки принятия решений в сфере массовых услуг), страница 10

Математическая модель простейшего нейронапредставлена в формуле (2.1):∑( )(2.1)гдеwi – вес синапса, i = 1 n;b – значение смещения;s – результат суммирования;xi – входное значение, i = 1 n;у – выходной сигнал нейрона;п – число входов нейрона;f – функция активации.В общем случае входной сигнал, весовые коэффициенты и смещениепринимают действительные значения.55Наиболее распространенная архитектура нейронной сети.

Наиболеечастосейчасвстречаетсяиспользованиеархитектурымногослойныхнейронных сетей прямого распространения (см. рис. 4). Обычно сеть состоитиз множества элементов (входных узлов), которые образуют входной слой;одного или нескольких скрытых слоев вычислительных нейронов и одноговыходного слоя нейронов.Рисунок 4 – Архитектура многослойной нейронной сетиМножество всех нейронов искусственной нейронной сети можноразделить на подмножества – слои. Взаимодействие нейронов происходитпослойно. Слой искусственной нейронной сети – это множество нейронов, накоторые в каждый такт времени параллельно поступают сигналы от другихнейронов данной сети. Нейроны первого (входного) слоя выполняют толькораспределительные функции.

Они получают входные сигналы и передают ихнейронам второго слоя. Нейроны второго слоя преобразуют сигнал ипередают его нейронам третьего слоя и т.д. до выходного слоя, которыйобрабатывает информацию от предыдущих слоев и выдает выходной сигнал.56Слои, расположенные между входными и выходными слоями называютпромежуточными или скрытыми. Как и выходной слой, скрытые слоиявляются обрабатывающими. Обычно выход каждого нейрона предыдущегослоясоединенсинаптическимисвязямисвходамивсехнейроновследующего слоя [83].Многослойная нейронная сеть позволяет моделировать зависимостипрактически любой степени сложности, причем число слоев и числоэлементов в каждом слое определяют сложность функции.

Определениечисла промежуточных слоев и числа элементов в них является важнымвопросом при конструировании архитектуры нейронной сети. Архитектурамногослойной нейронной сети, представленной на рис. 4, состоит извходного слоя, выходного слоя нейронов, и, как минимум, одноговнутреннего (скрытого) слоя нейронов. Поток информации движется слеванаправо, входы x передаются в сеть через синаптическую связь навнутреннем слое нейронов, а затем и в выходном слое. Веса, соединяющиевходной элемент i со скрытым нейроном j обозначаются wji. Одновременно сэтим, веса, соединяющие скрытый нейрон j с выходным нейроном kобозначаютсяVkj.Остальныесимволынарисункесовпадаютсобозначениями, предложенными в формуле 2.1.В диссертационном исследовании используется сеть более сложнойархитектуры.Говоря более подробно об архитектуре многослойной нейронной сети,представленной на рис.

4 следует отметить, что на входе – N нейронов, навнутреннем слое – J нейронов, а на выходе – K нейронов. Вход нейронарассчитывается как взвешенная сумма его входов, а выход нейрона основанна сигмоидальной функции активации и зависит от величины этого входа.Таким образом, для j-го скрытого нейрона:∑(А для k-го выходного нейрона:57)(2.2)∑( )(2.3)В формулах 2.2 и 2.3 отсутствует смещение b – слагаемое, присутствующее вформуле 2.1, оно заменяется n+1-ым и j+1-ым элементоми,соответственно.

В качестве функции активации могут использоватьсяразнообразные функции [78].В диссертационной работе применяетсясигмоидальная функция активации f(s), которая является логистическойфункцией:( )(2.4)Заметим, что она принимает значения между 0 и 1, монотонновозрастает и дифференцируема.В результате работы сети для вектора входных значений формируетсявыход (или набор выходов) zk, и полученный результат сравнивается снеобходимым выходным значением dk. Затем, веса сети корректируютсятаким образом, чтобы исправить или уменьшить ошибку, а после подаютсяследующие входные сигналы. Веса постоянно будут изменяться, покасуммарная ошибка по всей нейронной сети не достигнет заранее заданногоопределенного уровня.

В многослойных нейронных сетях оптимальныевыходные значения нейронов всех слоев, кроме последнего, как правило,неизвестны. Нейронную сеть, состоящую из трех слоев и более, уженевозможно обучить напрямую, руководствуясь только величинами ошибокна выходах сети, потому что ошибки внутреннего слоя недоступны, однакоихможнооценить.Поэтомувкачествеобученияприменяетсяраспространение сигналов ошибки от выходов нейронной сети к ее входам, внаправлении, обратном прямому распространению сигналов.

Обучение потакому алгоритму называется алгоритмом обратного распространенияошибки (error back propagation) (Вербос(Werbos), 1974; Ле Кун (Le Cun),1985; Паркер (Parker), 1985). Алгоритм обратного распространения ошибки –это итеративный (как правило, градиентный) алгоритм обучения, которыйиспользуется с целью минимизации среднеквадратичного отклонения58ошибки текущих от требуемых выходов многослойных нейронных сетей споследовательными связями. Доказательство того, что эффект от изменениявесов постепенно сводит к минимуму среднеквадратичную ошибку (MSE) вовсех входных сигналах, основано на том факте, что алгоритм обучения пометоду обратного распространения ошибки выполняет градиентный спуск нафункции ошибки.Здесь и далее в исследовании под стандартной нейронной сетьюподразумевается многослойная нейронная сеть прямого распространения собучением по алгоритму обратного распространения ошибки.Алгоритм обратного распространения ошибки.

Алгоритм можнопредставить в виде последовательности шагов, которые выполняютсяпоэтапно при обучении нейронной сети:Шаг 1. Случайным образом из исходных данных формируется входноймассив сигналов X, который подается на вход нейронной сети.Шаг 2. Производится расчет взвешенных входов и сумматора внутреннегослоя нейронной сети∑()(2.5)Шаг 3. Производится расчет взвешенных входов и сумматора выходногослоя нейронной сети∑( )(2.6)Шаг 4.

Обновляются веса выходного слоя (для всех пар k, j)() ()(2.7)Шаг 5. Обновляются веса внутреннего слоя (для всех пар i, j)(() (∑) ()) (2.8)Шаг 7. Обновляется расчет ошибки∑()(2.9)и повторяется, начиная с шага 1 до тех пор, пока весь входной массив небудет обучен (одна эпоха).Шаг 8. Если E меньше определенного заранее заданного уровня (например,0.000001), надо остановить обучение. В противном случае, задать E=0 и59повторять, начиная с шага 1 для каждой эпохи. Алгоритм обратногораспространения ошибки итеративный, его шаги называют эпохами илициклами.

Эпоха ‒ одна итерация в процессе обучения, включающаяпредъявление всех примеров из обучающего множества и, возможно,проверку качества обучения на контрольном множестве [104].Валгоритмеобратногораспространенияошибкииспользуетсянесколько параметров при настройке модели. Среди них c имеет смысл темпаобучения,– наклон функции активации f,и– начальные весанейронов.Выбор архитектуры сети. Построение нейронной сети заключается ввыборе архитектуры сети и подборе весов сети. Подбор весов – это обучениесети.

При разработке архитектуры сети нужно учитывать: число входов и функцию активации; способ соединения нейронов между собой внутри сети; количество выходов.Разработкаархитектурынейроннойсетиявляетсятрудоемкимвопросом, однако зачастую для решения задачи неопытным пользователемимеются рекомендации об архитектуре сети в выбранной программной среде.Если же задача не может быть сведена ни к одному из известных классов,разработчику приходится решать задачу синтеза новой конфигурации.

Далеев исследовании рассматривается создание новой конфигурации нейроннойсети для решения специального класса задачи оценки влияния внешнихсобытий, предварительно изучается классическая архитектура НС длярешения задачи регрессионного анализа и прогнозирования.2.2. Стандартная архитектура нейронных сетей взадачах регрессионного анализа и прогнозированияЗадачи регрессионного анализа и прогнозирования особенно важны дляпрактики, в частности в деятельности стратегического управления, поэтомупоясним способы применения нейронных сетей в этой области болееподробно. Во многих практических ситуациях данные легко собираются, но в60них сложно выяснить зависимости и взаимосвязи, нейронные сети позволяютрешить эту задачу.Рисунок 5 – Типичная архитектура нейронной сети для решения задачипрогнозированияНейронные сети для решения задач прогнозирования отличаются тем,как формируются входные значения.

Пример самой популярной архитектурынейронной сети (содержащей три слоя) для решения задачи прогнозированияпредставлен на рис. 5. Для прогнозирования временных рядов в качествевходов сети используются прошлые наблюдения, а выходом являетсяпрогнозируемое значение [100]. Математически это сеть с одним выходом,которая выполняет следующее преобразование от входов к выходу:(где xt)(2.10)– наблюдение в момент времени t, а p – количество прошлыхнаблюдений, используемых для предсказания будущего значения. Функция f– в общем случае, нелинейная функция, определяемая нейронной сетью иструктуройданных.распространенияВможноуравнении(2.10)рассматриватьавторегрессии [104].61нейроннуюкаксетьпрямогонелинейнуюмодельПрогнозирование с использованием нейронной сети предполагаетпредварительное построение модели НС.