Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 31
Текст из файла (страница 31)
Подставляя (9.50) в (9.49), несложно получить зависимость функции правдоподобия от энергетической в форме Гельмгольца, Коши и т.п., являющиеся дальнейшим развитием ставшими уже классическими машины Больцмана и обучения отжигом. 9.8 Хаос-нейродииамика С позиций общей теории систем рассмотренные выше рекуррентные нейронные сети представляют собой нелинейные динамические детерминированные стохастические системы, описываемые в пространствах состояний или сигналов системой уравнений вида < х(/с+ 1) = Ч~(х(й), т(й)), у(/с+1) = 7 (хИ), у(7с)).
(9.57) 20б Общим для всех рассматриваемых структур является наличие устойчивых состояний — аттракторов (х", хе, хл на рис. 9.3 для детерминированных систем, х", .кс на рис. 9.17 для стохастических), к которым сходится сеть в процессе своего функционирования. При этом каждому из аттракторов соответствует собственная зона притяжения, определяемая тем, что из любой ее точки система всегда возвращается к своему устойчивому состоянию. Вместе с тем существует широкий класс детерминированных нелинейных систем, поведение которых выглядит как случайное, хотя по сути им не является.
Более того, статистический анализ сигналов, генерируемых такими системами (вторые моменты, автокорреляционные функции, спектр) показывает, что это широкополосный случайный процесс, порождаемый детерминированным объектом, что само по себе парадоксально. Такие системы называются хаотическими, и последние два десятилетия они являются предметом пристального внимания как теоретиков, так и специалистов совершенно различных областей 1273 - 277). Хаотический процесс, порождаемый нелинейной детерминированной системой, хотя внешне очень похож на стохастический, все же таковым не является.
Основной его особенностью является крайняя чувствительность к начальным условиям, т.е. если одна и та же система стартует из начальных условий х(0) и х(0)+е, где е - очень малая величина, то ее траектории движения экспоненциально расходятся во времени, стремясь к совершенно различным областям притяжения, называемым странными аттракторами. Используя более строгое определение 1273~, можно сказать, что странный атграктор — это притягивающее множество в фазовом пространстве, в котором движутся хаотические траектории, не являющиеся при этом ни положением равновесия, ни предельным циклом. В принципе будущее поведение хаотической системы в силу ее детерминированности полностью определяется ее прошлым, но на практике любая неопределенность или неточность в выборе начальных условий резко усложняет задачу анализа, для решения которой в последнее время все чаще 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ х(Х..
+1) = их(й)(1 — х(/с)), 0< и < 4, О< х(0) <1; (9.58) 1 модификация (9.58) 1273, 2751 типа х(1+1) = и,х(1с) — и,х (lс), х(1+1) =х (1с)+О, х(/с+1) = 1 — и, х~ (1с) + и'„х(1с — 1), хф+1) = их'(Й)+ (1 — и)х(Ус) и тл.; (9.59) ~ модель Мзки — Гласса х(/с+1) = и',х(lс)+ "-,, т >17; и„х(й — т) 1+ х" (/с -т) ' (9.60) 1 двумерное отображение Энона с х(/с+1) =1 — и х~11с)+ у0с), у(/с +1) = и~ х(1с); (9.61) 207 используются нейронные сети благодаря своим универсальным аппроксимирующим свойствам 1278 — 2801. Кроме собственно хаотического движения, с нелинейными динамическими системами связан ряд типов поведения близких к хаосу и прежде всего: переходный хаос, представляющий собой движение, которое на конечном временном интервале выглядит как чисто хаотическое, т.е.
траектория сначала развивается по странному аттрактору, но затем выходит на периодическое или квазипериодическое движение; 1 квазипериодические колебания, представляющие собой колебания с двумя или более некратными частотами; ~ бифуркации, представляющие собой резкие изменения характера движения при малом изменении одного или нескольких параметров системы; 1 смеси типа «хаос + квазипериодические колебания» и т.п. Общим для всех отмеченных типов поведения является их так называемая фрактальная структура 1277, 281, 2821, т.е.
самоподобие анализируемых процессов при различных пространственных и временных масштабах. В принципе любая существенно нелинейная динамическая система при определенном сочетании ее параметров может демонстрировать хаотическое поведение, однако на практике было исследовано и используется достаточно ограниченное число таких структур, среди которых можно выделить наиболее популярные: ) логистическое уравнение, описывающее рост биологической популяции, ~ уравнения Мандельброта < х()с+1) =х ()с) — у'(й)+О, у(1с+1) = 2х(1с)у(lс)+О,,; (9,62) ~ модель Мэя (9.63) х(/с +1) = х(Ус) ехр(и (1 — х(1с))); ~ модель Холмса с х(1 +1) = у(/с), у(/с+1) = — и,.х(к)+ и „у(й) — у' (lс); (9.64) ~ модель Керри — Йорка с х(1с +1) = их(1с), у(/с+1) = у(1с)+ х (й) (9.65) и некоторые другие, связанные с тригонометрическими функциями [91 < х(/с+1) =яп(1+я|в/с )„ х(/с+1) = х(Iс)+ и я1п 2лх(/с) и т.п.
(9.66) Б. Мандельброт 12821 ввел набор так называемых фрактальных уравнений хИ+1) = ихй)(1 — хЖ)), хЖ+1) = х (й)+О, х(1с+ 1) = и'(хж)+ ), 1 х(1с) х(1+1) = х'(1с)+О, х(й + 1) = и х' (й) + О, (9.67) 208 в которых х(й) представляет собой комплексную переменную, порождающую достаточно сложные геометрические фрактальные конструкции (277). Как уже отмечалось, хаос внешне очень напоминает случайный процесс, хотя им и не является, в связи с чем возникла задача идентификации сигналов, состоящая в определении по имеющемуся набору данных их природы: случайной или детерминированной хаотической.
На практике получили 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ распространение несколько способов: от простейших типа спектра мощности и отображения Пуанкаре до более сложных, связанных с числами Ляпунова, фрактальной размерностью и показателем Херста. Одним из признаков хаотической системы является появление на ее выходе широкого спектра частот при подаче на вход гармонического или постоянного сигнала. И хотя этот спектр внешне напоминает спектр белого шума, автокорреляционная функция хаотического процесса в отличие от дельта-функции белого шума имеет протяженный характер.
Отображение Пуанкаре представляет собой фазовый портрет системы на плоскости х(/с) и Ьх(/с) = х(1+1) — х(к). Если это отображение «размазано» по всей фазовой плоскости, то перед нами стохастический процесс, если же возникает детерминированная кривая, то мы имеем дело с хаосом. С помощью чисел Ляпунова проверяется чувствительность системы к вариациям начальных условий. Если в фазовом пространстве задать в качестве начальных условий вектор х(0), определенный в гиперсфере малого радиуса е, то в процессе функционирования системы эта гиперсфера деформируется в эллипсоид с максимальной полуосью е(й) =ь2~, (9.б8) где А - число Ляпунова, определяемое с помощью соотношения 19) А(х(0),е) = 1ип — 1я 1 1х(М)(( ~ "М )х(0))( (9.69) (9.70) х(/с + 1) = Ч'(х(/с)).
Выделив некоторое произвольное состояние у в окрестности ее аттрактора, опишем вокруг этой точки малую гиперсферу радиуса е. Зададим далее функцию распределения наблюдений относительно у в виде (9.71) 209 Положительное число Ляпунова свидетельствует о том, что перед нами хаотический сигнал. Показатель фрактальной размерности характеризует геометрическую структуру странного аттрактора и является своеобразной мерой заполнения пространства фазовым портретом идентифицируемого сигнала. Сразу же заметим, что нецелая фрактальная размерность является основным признаком наличия хаоса.
Рассмотрим нелинейную динамическую систему, описываемую уравнением где 6(у — х(/с)) — и-мерная дельта-функция; М - число наблюдений. Отметим также, что функция р(у) для странного аттрактора является своеобразным аналогом функции плотности распределения случайной величины. Введем также некоторую функцию Х(у) такую, что ~Х(у)Р(у)ау= Х < (9.72) являющуюся мерой изменения числа точек в гиперсфере в процессе уменьшения ее радиуса е до нуля. Для точек, лежащих внутри гиперсферы, выполняется условие ))у — х(Й)() ( е (9.73) или, что то же самое, е — ( у — х(х)(! > О.
(9.74) При этом функция (9.72) может быть определена в виде (9.75) где ц - неотрицательное целое число; Ь(х) — функция Хэвисайда 1, если х> О, Ь(х) = 0 е протиеиом случае. (9.7б) Подставляя далее (9.71) и (9.75) в (9.72), получаем выражение которое с учетом очевидного соотношения для дельта-функции ~ Х(у)Б(у — хФ))сЬ = Х(хЖ)), (9.78) 210 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ можно переписать в форме (9.79) Функция (9.79) носит название корреляционной и имеет смысл вероятности того, что две точки х(й) и х(1) в окрестности аттрактора находятся на расстоянии е друг от друга.
Предельное поведение этой функции при е -+ 0 описывается соотношением К(д,ь) = в ' (9.80) где показатель степени Р, называется фрактальной размерностью аттрактора. Логарифмируя далее (9.80), можно формально определить фрактальную размерность в виде 1оя Я(ц, в) О, =1пп 0(д — 1)1оде (9.81) ~(~) ( 1)л о1Ус) (9.82) где Яй) — размах последовательности накопленных отношений Я, И), рассчитываемый согласно соотношениям 211 при этом при д = 2 (9.81) приобретает простой вид, наиболее часто используемый для вычислений и именуемый в данном случае корреляционной размерностью аттрактора О,. Рассмотренные способы идентификации хаоса обладают общим недостатком: невозможностью работы в реальном времени, в темпе с контролируемой системой и, как следствие, трудностью определения моментов изменения свойств наблюдаемых сигналов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
