Диссертация (1138079), страница 9
Текст из файла (страница 9)
В своей основе данная сеть будетиметь архитектуру персептрона, однако для её обучения будет применён методобратного распространения ошибки (back-propagation rule).Обучение по методу обратного распространения ошибки является попыткойвнедрить обратную связь, за счёт которой можно улучшить результаты работыискусственной нейронной сети. Под улучшением результатов мы понимаемминимизацию ошибки сети относительно обучающих примеров – наиболеераспространённый критерий оценки их эффективности.Суть метода обратного распространения ошибки заключается в том, что длякаждого из обучающих примеров проводится определённое количество итераций,47на каждой из которых происходит плавная подстройка весов сети в зависимостиот того, какой была ошибка на предыдущей итерации.Чтобы учесть ошибку, необходимо предъявить её в выходной слой сети, апотом «распространить» на все нейроны всех слоёв сети.
Таким образом, вначалеосуществляется стандартный прямой проход, проиллюстрированный на рис. 1, азатем вычисляется ошибка. После этого совершается обратный проход, врезультатекоторогоошибкараспространяетсяпосети,ипроисходитрассмотрениюобратногосоответствующая подстройка весов.Мыпереходимкматематическомураспространения ошибки в искусственной нейронной сети. Для каждого нейронаскрытого слоя, предшествующего выходному, подстройка весов во времяобратного прохода происходит по следующему правилу [129] (18):wk , j (n) * k * y j * wk , j (n 1)(18)где k – номер нейрона в выходном слое, j-номер нейрона в скрытом слое, скоторым соединён k-ый нейрон выходного слоя, Δw – изменение весов нейрона вскрытом слое, y – входное значение нейрона скрытого слоя, η –коэффициентобучения (если принимается равным константе, то обычно лежит в пределах[0,01;1]), δ – сигнал ошибки выходного слоя (т.н.
дельта-правило), α – константа,n – номер итерации.Дельта-правило δ из первого слагаемого в (18) является ядром обратногораспространения ошибки и в общем виде (для нейронов в скрытом слое,предшествующем выходному) будет выглядеть как (19):k SqErrS k(19)48где k – номер нейрона скрытого слоя, SqErr – суммарная квадратичная ошибкаискусственной нейронной сети, Sk – взвешенная сумма входных значений для k-гонейрона скрытого слоя.Можно показать аналитически, что в (19) мы имеем дело со значениямиошибки отдельных нейронов и частными производными функции активацииискусственной нейронной сети по своим аргументам (20):k SqErr SqErr * ykS kyk * S k(20)SqErr ( d k yk )ykгдеyk f ' (Sk )S kdk – желаемое выходное значение для k-го нейрона,f’(Sk) – частнаяпроизводная функции активации,То есть k ( d k yk ) * f ' ( S k )Второе слагаемое в (18) определяет зависимость изменения весов наитерации n от изменения на предыдущей итерации (n-1).
Его смысл заключается всглаживании чересчур сильных колебаний в процессе оптимизации весов.Подстройка весов в остальных слоях происходит аналогично (18). Отличиедля, например, трёхслойной сети будет следующим: для подстройки весовнейронов, соединяющих входной слой со скрытым, необходимо умножать сигналошибки (дельта-правило) выходного слоя на веса, соединяющие скрытый слой свыходным – так будет получена ошибка нейрона скрытого слоя (21):49N j f (S j ) * w * k'k 1(21)kгде δj – сигнал ошибки скрытого слоя, δk – сигнал ошибки выходного слоя, f’(Sh) –частная производная функции активации, wk – веса, соединяющие нейронскрытого слоя с выходным, N – число нейронов выходного слоя.Далее, для того чтобы подстройка весов происходила в соответствии сзадачей минимизации конечной ошибки, необходимо использовать численныйметод оптимизации (например, метод градиентного спуска), так чтобыподстройка весов происходила до тех пор, пока не будет достигнутоопределённое приемлемое значение ошибки.На практике нередко используются различные модификации описанноговышеметода, в частности, для лучшейсходимостидельта-правилоδрассматривают как комбинацию из его значений на итерации n и n-1.
Кроме этого,для большей эффективности можно изменять величину коэффициента обучения ηна каждой итерации в зависимости от того, как меняется ошибка.8В данной работе мы использовали обобщённый метод обратногораспространения ошибки – метод Левенберга-Марквардта [44]. Преимуществометода Левенберга-Марквардта заключается в том, что он позволяет проводитьодновременную подстройку всех весов искусственной нейронной сети, а необучать каждый нейрон по отдельности.
В данном методе на каждой итеративнойстадии обучения одновременно используются все частные производные по всемвесам в искусственной нейронной сети.В аналитическом виде метод Левенберга-Марквардта выглядит как (22):wn wn1 (Z T Z I ) 1 * Z T * (wn1 )8Мы продемонстрируем динамический способ расчета коэффициента обучения в разделе 2.3.(22)50гдеw – вектор всех весов в искусственной нейронной сети (их начальныезначения равны 1), Z – матрица Якоби размерности m˟l, содержащая все частныепроизводные по весам в сети, m – число обучающих примеров, используемых накаждой итерации, l – общее число весов в сети, n – номер итерации, λ –коэффициент обучения, I – единичная матрица размерности l˟l, ε – вектор из mэлементов, который содержит ошибки прогноза сети для каждого из обучающихпримеров на предыдущей итерации.В нашей модели мы будем использовать двухслойную сеть, в которой будетдва входных значения, два нейрона в скрытом слое и один в выходном.
В качествефункции активации использовалась стандартная логистическая функция, причёмтолько в скрытом слое – для того чтобы искусственно не ограничивать областьвыходных значений сети.Саму искусственную нейронную сеть мы представим в виде функции – этонеобходимо для того, чтобы брать частные производные для составленияматрицы Якоби (23):F ( x1, x 2, x3, x 4, x5, x6, r1, r 2) x1*11 x2 *1 exp(( x3 * r1 x4 * r 2))1 exp(( x5 * r1 x6 * r 2))(23)где x1,x2,x3,x4,x5,x6 – веса в искусственной нейронной сети, r1,r2 – входныезначения.Далеенеобходимосказатьнесколькослововходныхзначенияхрассматриваемой искусственной нейронной сети.
Прежде всего, нужно выделитьдва подхода к работе с входными данными в процессе обучения сети и два типаобучающих данных.Подходы к формированию входных данных:1) «Скользящее окно» (sliding window) данных, когда искусственнаянейронная сеть обучается на постоянно сдвигающемся во временимассиве данных одинаковой размерности. В данной работе мы будемиспользовать в основном именно такой подход, потому что, по нашему51мнению, он гарантирует, что сеть всегда обучается на актуальнойинформации.9При этом крайне важно заметить, что все прогнозыделались для значения доходности финансового инструмента на одинторговый период вперёд за границей выборки обучающего «окна». Этоозначает, что все представленные в работе результаты прогнозированияфинансовых рынков носят вневыборочный характер (out-of-sample).2) Разделение исследуемых данных на обучающую (in-the-sample) итестовую (out-of-sample) выборки.
Иногда к обучающей добавляется ещёдополнительная валидационная выборка, которая может использоватьсядляоптимизацииархитектурывопределённыхискусственныхнейронных сетях. На обучающей выборке искусственная нейронная сетьоптимизирует содержащиеся в ней веса, а на тестовой идёт только ихпроверка, т.е. веса уже не изменяются. Такой способ достаточнопопулярен в практических нейросетевых моделях.Типы обучающих данных [19]:1) Эмпирические наблюдения об окружающей действительности, которыемогут быть лишь её искажённым отражением (мы будем использовать такойподход при конструировании почти всех искусственных нейронных сетей вданной работе).2) Априорные данные об окружающей действительности, достоверностькоторых не подвергается сомнению (мы будем использовать такой подход приработе с сетью Хакена).Также важно указать, что наша модель по своей сути имеет эндогенныйхарактер, т.е.
мы предполагаем, что информация, необходимая для прогнозадинамики финансового инструмента, может содержаться в его собственныхпредыдущихзначениях.Безусловно,этонесоблюдениепостулатовинформационно эффективного рынка, однако в Главе 1 мы уже показали, что напрактике рынок может отклоняться от своего идеального состояния (иначе любая9Заметим, что существует также метод «расширяющегося окна», когда искусственная нейронная сеть начинаетобучаться на фиксированном массиве данных, но по мере сдвига вправо по времени к нему добавляются всё новыезначения.
Таким образом делается попытка учесть всю доступную и вновь поступающую информацию о процессе.52попытке прогнозирования была бы сродни игре в казино). Вместе с этим мыпризнаём, что текущие цены учитывают актуальную информацию как минимумна финансовых рынках развитых стран, которые находятся в фокусе данногоисследования.
Главный вопрос в том, насколько полно и быстро цены способыэто сделать.Феномен «недостаточной реакции» (underreaction), упоминавшийся в Главе1,указывает на то, что не вся общедоступная информация сразу находитотражение в ценах. Существуют и прикладные работы, которые моделируютфинансовый рынок таким образом, что агенты, принимающие решения,обрабатывают информацию с задержкой, а, значит, она не всегда учитывается вценах мгновенно [139,170].
Основная причина кроется здесь в наличиитранзакционных издержек, что заставляет агентов работать с информациейизбирательно. Здесь следует ещё раз вспомнить работу [94], которая объясняетотклонение рынка от информационно эффективного состояния как раз наличиемили отсутствием у агентов стимулов к обработке информации. На более глубокомуровне это предположение восходит к идее об ограниченной рациональностисубъекта и оптимальном объёме необходимой ему информации [75]. Такимобразом, мы считаем допустимым обращение к прошлым временным рядам длязадачи прогнозирования финансовых рынков и будем использовать этупредпосылку при формировании входных данных в наших нейросетевых моделях.При этом мы признаём, что внедрение экзогенных по отношению кфинансовым рынкам данных может оказать положительное влияние наэффективность работы нейросетевых моделей.
В качестве внешних индикаторовмогут служить данные по смежным финансовым рынкам, например, данные попроцентным ставкам государственных долговых бумаг. Так, использованиекраткосрочных ставок (например, ставки по федеральным фондам в США (federalfunds rate)) может превратить сеть в нелинейный аналог модели CAPM, а работа сдолгосрочными может быть оправдана в случае, если исследователь опирается нат.н.
Fed model. Мы рассмотрим искусственную нейронную сеть, входными53данными которой будут 10-летние процентные ставки по казначейскимоблигациям США в Главе 3.Кроме этого оправданным может быть использование данных валютногорынка для прогнозирования фондового (и наоборот) поскольку существуютэмпирические свидетельства взаимосвязи и взаимного влияния друг на друга этихдвух рынков в различных странах [22, 109, 182].Однако это не означает, что только финансовая информация релевантна вкачестве входных значений модели. Как было сказано в Главе 1, вообще говоря,на цены финансовых инструментов может повлиять всё, что угодно.
Поэтомуисследователь не должен ограничивать себя в рамках определённых теорий, темболее, что в нейросетевом анализе многие результаты получаются эвристическимпутём, а большинство моделей представляют собой уникальные конструкции.Чтобы подтвердить это суждение, в качестве примеров можно привестиинтересные работы, в которых финансовые рынки прогнозируются с помощьюстатистики новостей и поисковых запросов в сети Интернет [103,161], а также наоснове информации, появляющейся в социальной сети Twitter [48]. Это особенноважно, если ставится задача понять механизм принятия решений, потому чтосегодня финансовые аналитики опираются не только на числовую, но во многом ина текстовую информацию.
В этой связи мы полагаем, что экспериментированиес различными входными значениями для искусственных нейронных сетей можетпривести к полезным научно-практическим результатам.После того как были описаны способы сокращения размерности входногомассива, предлагаемая модель искусственной нейронной сети и базовыепредпосылки по формированию обучающей выборки, мы можем перейти кпостроению прогнозов для фондового и валютного рынков развитых стран.Однако перед этим мы считаем особо важным подчеркнуть, что в рамках даннойработы не ставилось цели разработать универсальную торговую стратегию,основанную на нейросетевых моделях, и доказать её эффективность на всехвременных отрезках и типах финансовых рынков.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
