Хайкин С. - Нейронные сети (778923), страница 179
Текст из файла (страница 179)
Здесь и далее это утверждение будем называть теоремой вложения с задержкой (де!ау ешЬедйпй бзеогеш). Условие Р > 2г(+ 1 является достаточным, но не является необходимым для динамического восстановления. Процедура поиска подходящего Р называется вложением, или вставкой (ешЬебйп8), а минимальное целое число Р, при котором достигается динамическое восстановление, называется измерением вложения (ешЬедйпц дппепз1оп) и обозначается как Рк.
Теорема вложения с задержкой имеет большое применение. Эволюция точек ул(п) — ~ул(п + 1) в реконструируемом пространстве соответствует эволюции точек х(п) — х(п + 1) в исходном пространстве состояний. Это значит, что большинство свойств ненаблюдаемого вектора состояний х(п) воспроизводится без неоднозначности в пространстве восстановления, определяемом вектором ул(п). Однако, для того, чтобы этот важный результат был достижим, требуются достоверные оценки (гейаЫе ез1ппа~е) измерения вложения Рл и нормированное запаздывание вложения т.
° Достаточное условие Р > 2д + 1 делает возможным восстановление (индо) пересечений орбит аттракторов со своими же орбитами, которые возникают в результате проекций этих орбит на измерения более низкого порядка. Измерение вложения Рл может быть меньше величины 2г)~-1.
Рекомендуется оценивать Рк непосредственно на основе данных наблюдений. Достоверным методом оценки 14.13. Динамическое восстановление 901 .Рд является метод ложных ближайших соседей (те1Ьод оГ Га1зе пеагез1 пе18ЬЬогз), описанный в (2). В этом методе симметрично обследуются точки данных и их соседи для измерения д = 1, затем для д =2 и т.д. Таким образом, можно установить состояние, при котором очевидные соседи станут различимыми при добавлении к вектору восстановления ул(п) большего числа элементов, и получить оценку Рв измерения вложения. ° К сожалению, теорема вложения с задержкой ничего не говорит о выборе нормированной задержки вложения т.
На самом деле она разрешает использовать любое значение т, пока доступные временные ряды бесконечно длинны. Однако на практике всегда приходится работать с данными наблюдений конечной длины Х. Правильные установки при выборе т предполагают, что эта величина должна быть достаточно большой, чтобы у(п) и у(п — т) были достаточно независимы друг от друга для того, чтобы служить координатами пространства восстановления, но не настолько независимыми, чтобы совершенно не иметь корреляции друг с другом. Это требование лучше всего удовлетворяется прн использовании такого т, при котором взаимная информация (пшша! 1п1оплайоп) между у(л) и р(п — т) достигает своего первого минимума (308].
(О понятии взаимной информации см. в главе 10.) Рекурсивное прогнозирование В представленном обсуждении задача динамического восстановления может интерпретироваться как представление свойства динамики сигнала (шаг вложения) и как создание прогнозирующего отображения (шаг идентификации). Таким образом, если перейти к практическим терминам, получим следующую топологию сети для динамического моделирования.
° Структура кратковременной памяти (например, память на линиях задержки) осуществляет вложение, в то время как вектор восстановления уд(п) определяется в терминах наблюдений у(п) и их версий с задержкой (см. (14.91)). ° Адаптивная нелинейная система с несколькими входами н одним выходом М180 обучается как система одношагового прогнозирования (например, нейронная сеть) для поиска неизвестного отображения 1' Яп — Я', определяемого следующим образом: У(п+ 1) = 1(Ул(п)). (14.92) Прогнозирующее отображение (14.92) занимает центральное место в динамическом программировании. Как только оно определено, эволюция ул(п) — у„(п + 1) становится известной, что, в свою очередь, определяет неизвестную эволюцию х(п) — х(п + 1).
902 Глава 14. Нейродинамика Рис. 14.24. Система одношагового прогнозирования, ис. пользуемая при итеративном прогнозировании для динамического восстановления хаотических процессов В настоящее время не существует какой-либо строгой теории, которая помогла бы решить, успешно ли система нелинейного прогнозирования идентифицирует неизвестное отображение )'. В линейной системе прогнозирования минимизация средне- квадратического значения ошибки прогнозирования приводит к определению точной модели.
Однако при работе с хаотичными временными рядами все обстоит иначе. Две траектории в одном и том же аттракторе могут значительно отличаться для разных образов. Исходя из этого, минимизация среднеквадратического значения ошибки прогнозирования является необходимым, но не достаточным условием для определения успешности отображения. Динамические инварианты (измерение корреляции и экспоненты Ляпунова) определяют глобальные свойства аттрактора, так что их можно использовать в динамическом моделировании в качестве меры. Таким образом, прагматический подход к тестированию динамической модели предполагает диссипативность (рассеивание) точек ложных аттракторов и замыкание ее выхода на вход, подобно автономной системе, показанной на рис.
14.24. Такая операция называется итеративным или рекурсивным прогнозированием (йега1ед или гесигзгуе ргегйсг(ол). После того как выполнена инициализация, выход этой автономной системы представляет собой реализацию процесса динамического восстановления. Естественно, это предполагает в первую очередь наличие грамотной конструкции этой системы прогнозирования. Считается, что динамическое восстановление, выполненное автономной системой на рис. 14.24, является успешным, если выполняются следующие условия [441).
1. Условие на краткосрочное поведение (зЬогМепп ЬеЬау(ог). После того как выполнена инициализация, временной ряд (у(п) ) на рис. 14.24 должен быть достаточно близок к исходному ряду (у(п) ) в течение периода времени, в среднем равному горизонту прогнозирования, определяемому из спектра Ляпунова этого процесса. 2.
Условие на долгосрочное поведение (1опймепп ЬеЬау(ог). Динамические инварианты, вычисленные для реконструированного временного ряда [у(п)), должны быть близки к соответствующим инвариантам исходного временного ряда (д(п) ). Для измерения долгосрочного поведения восстановленной динамики требуется оценить степень корреляции как меру сложности аттрактора и спектр Ляпунова для оценки чувствительности к начальным состояниям и для оценки измерения Ляпунова (см. (14.88)). Измерение Ляпунова должно быть достаточно близко к измерению корреляции. 14.13. Динамическое восстановление ЭЭЗ Две возможные формулировки рекурсивного прогнозирования Вектор восстановления ул(п), определяемый формулой (14.91), имеет размерность Рк, если размерность Р установлена равной размерности вложения Рк.
Размер памяти на линиях задержки, требуемой для такого вложения, составляет тРл. Однако память на линиях задержки требуется для обеспечения только Рк выходов (это размерность пространства восстановления), т.е. используем т равно отстоящих друг от друга отводов, представляю1цих разреженные связи (зрагзе соппесбопз), В качестве альтернативы можно определить вектор восстановления ул(п) как полный тп-мерный вектор следуюшего вида: ул(п) (у(п), у(п 1),..., у(п т+ 1)) (14.93) где т — целое число, удовлетворяюшее условию тп ) Рет.
(14.94) Эта вторая формулировка вектора восстановления ул(п) обеспечивает модель прогнозирования большим количеством информации, чем (14.91), и, таким образом, приводит к более точному динамическому восстановлению. Однако обе эти формулировки обладают одним общим свойством: их композиции однозначно определяются знанием измерения вложения Рк. В любом случае лучше всего использовать минимальное из возможных значений Р (а именно Рл) для минимизации эффекта, производимого на качество динамического восстановления аддитивным шумом и(п). Динамическое восстановление как плохо обусловленная задача фильтрации Задача динамического восстановления на самом деле является плохо обусловленной обратной задачей (й1-резей 1пчегзе ргоЫеш).
И этому имеется несколько причин. (Условия хорошей обусловленности обратных задач см. в главе 5.) Во-первых, по некоторой неизвестной причине может быть нарушено условие существования. Во-вторых, для единственности восстановления нелинейной динамики в доступных наблюдениях может оказаться недостаточно информации. В-третьих, неизбежное наличие аддитивного шума и некоторых форм неточности в наблюдаемых временных рядах добавляет в динамическое восстановление неопределенность.
В частности, если уровень шума достаточно велик, возможно нарушение условия непрерывности. Как же добиться хорошей обусловленности в задаче динамического восстановления? Ответ на этот вопрос лежит во включении некоторой формы априорных знаний об отображении вход-выход. Другими словами, на модели прогнозирования, предназначенные для решения задач динамического прогнозирования, должны налагаться 004 Глава 14. Нейродинамика некоторые формы ограничений (например, на гладкость преобразования). Одним из эффективных способов удовлетворения этому требованию является использование теории регуляризации Тихонова (см. главу 5).
Еще одним вопросом, на котором следует остановиться, является способность модели прогнозирования с достаточной точностью решать обратную задачу. В этом контексте подходящим решением для построения модели прогнозирования будет использование нейронных сетей. В частности, свойство универсального аппроксиматора многослойного персептрона или сетей на основе радиальных базисных функций означает, что можно позаботиться о точности восстановления при использовании одной из этих сетей соответствующего размера. Однако по изложенным ранее причинам требуется регуляризировать решение.
Теоретически для использования регуляризации пригодны как многослойный персептрон, так и сети на основе радиальных базисных функций. На практике именно в сетях на основе радиальных базисных функций теория регуляризации была математически включена как составная часть их конструкции. В соответствии с этим при последующем компьютерном моделировании сосредоточим внимание на сети на основе регуляризованных радиальных базисных функций (см. главу 5) как основе решения задачи динамического восстановления.
14.14. Компьютерное моделирование 3 Чтобы проиллюстрировать идею динамического восстановления, рассмотрим систе- му трех обычных дифференциальных уравнений, выделенных Лоренцом из аппрок- симации Галеркина с помощью уравнений в частных производных термальной кон- векции в нижних слоях атмосферы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
