И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов, страница 9

47 млгковскив пгоцвссы в шигоком смысля $п С этой точки зрения простейшими марковскими процессами являются процессы с конечным или счетным числом состояний. В последнем случае, налагая на вероятности перехода некоторые аналитические ограничения, можно линеаризировать уравнения Колмогорова — Чепмена, получив из ннх системы обыкновенных дифференциальных уравнений (прямые и обратные дифференциальные уравнения Колмогорова), в ряде случаев и и определенном смысле полностью определяющих вероятности перехода.

В более общих фазовых пространствах можно определять классы марковских процессов в широком смысле, наделяя их вероятности перехода свойствами, отражающими интуитивные представления о характере движения системы в фазовом про странстве. В соответствии с этой точкой зрения вводятся, например, следующие классы процессов: а) Скачкообразные процессы. Они соответствуют представлениям о системе, которая, попадая в некоторую точку фазового пространства, проводит в ией случайный положительный отрезок времени, после чего скачком случайно попадает в другую точку пространства, в котором она снова проводит случайное время, и т. д. б) Процессы с дискретным вмешательством случая.

Эти процессы представляют собою динамическую систему, траектории которой в случайные моменты времени терпят разрывы первого рода со случайными скачками. в) Диффузионные процессы. Так называют процессы в конечномерных линейных пространствах, которые на малых промежутках времени ведут себя аналогично процессу броуновского движения. г) Марковские процессы в конечномерном пространстве, аппроксимируемые на малых промежутках времени произвольным процессом с независимыми приращениями. При определении различных классов марковских процессов в широком смысле обычно исходят из уже упоминавшейся идеи линеаризации уравнения Колмогорова — Чепмена.

Она состоит в том, что на вероятности перехода накладываются условия, позволяющие перейти от нелинейных уравнений (2) для вероятностей перехода к линейным уравнениям. Последние оказываются интегро-дифференциальными уравнениями, либо уравнениями в частных производных параболического типа, либо Уравнениями, содержащими как частные производные первого и второго порядка, так и интегральные члены. Приведем общие соображения о способе получения этих уравнений, Пусть 1=(0, 1"), Зафиксируем некоторое (вн1 и рассмотрим класс Ы) функций из М(6), для которых при каждом СЛУЧАЙНЫЕ ПРОПЕССЫ В ШИРОКОМ СМЫСЛЕ (гл. ~ 4в а ен (О, (), х ~ Х существует предел Т „,! (х) — 1(х) !пп ' ' = А,((х) АФО йп Тс м г~ (х) = ) (х).

А(О В этом соотношении А, есть оператор, зависящий от а и ен(0, () как от параметра, определенный на Ы. Очевидно, что !й) является линейным пространством, а А, — линейным оператором. Положим ( (г, х) = Т,11(х), з ы (О, (). Допустим, что Т,д' (х) ен м). Тогда для левой производной по а функции ) (з, х) имеем следующее соотношение: д!(Й х) . 1(г — Ь, х) — )(к к) =Вт дз Ато — 6 Во многих случаях отсюда вытекает существование произд)(Й А) водной †' , которая, таким образом, удовлетворяет уравнению "(д =-А.~(, ), ° (0.

). (7) К этому уравнению, в соответствии с определением множества Ю, следует еще присоединить граничное условие 1пп )'(г, х) = ) (х). (8) а41 Если )((В, х) ~ Я, то, положив )(х) = )((В, х), получим, что )(з, х) = Р(з, х, г', В) удовлетворяет уравнениям — А,(Р(з, х, (, В)), а~(0, (), 1пп Р (з, х, (, В) =)((В, х). А 48 Даже в том случае, когда )((В, х) ИЯ, класс функций Я все же может оказаться настолько широким, чтобы значения Т,Дх) (~ен(6) однозначно определяли вероятности перехода Р(з, х,г', В).

Это будет тогда, когда класс Я всюду плотен в Я(6) относи- тельно ограниченной точечной сходимости функций. При этом, если для уравнений (7), (8) имеется теорема существования и единственности решения для любой функции ) ы Ж, то они оп. $4) МАРКОВСКИЕ ПРОЦЕССЫ В ШИРОКОМ СМЫСЛЕ 49 (10) Уравнение (9) носит название второго (прямого) уравнения Колмогорова. О нем можно высказать соображения, аналогичные тем, которьсе были приведены в связи с обратными уравнениями Колмогорова. В дальнейшем вид операторов А, и Ас будет найден для частных классов марковских процессов.

Процессы с конечным или счетным числом состояний. Пусть Х вЂ” пространство, состоящее из конечного нли счетного числа точек, 6 — класс всех подмножеств Х. Точки пространства Х в атом случае будем обозначать буквами с, с, й, ... Рассмотрим ределяют вероятности перехода однозначно (на интервале (О,()) и могут быть использованы для фактического определения функции Р(з, х,(, В) или для изучения ее свойств. Уравнение (7) называют первым (обратным) уравнением Колмогорова. Аналогичные рассуждения применимы н к семейству операторов (4Тсс, (»з»«0].

Обозначим через вР = Т('(6) пространство всех конечных зарядов на 6, т. е. множество всех конечных счетио-аддитивных функций множеств на 6, а через Я' — подмножество в'"., состоящее из тех зарядов 41(В), для которых существуют пределы П„гс+А сч (В) — 4 (д) А" !'пп Т,+А,с((В) = (с (В) АФО для любых ((, В)ен [з, 1")Х 6М где 8, с: 8, з фиксировано. ПОЛОЖИМ 4)((, В) =Т,РС((В). ЕСЛИ Заряд 4)(В) таКОВ, Чта с)((, В) ен 2)*, то существует первая производная — ' дд (с, В) д( причем дд(С, В); Ч(С+а, и) — 4(С В) Г+Асг(С,В) — 4(С В) =!)сп = пп дс АФО АФО Ь так что с) ((, В) удовлетворяет уравнениям "~,';"'=А~у((, В), (9) 1!т с)(1, В) =4)(В). 444 Если )((В, х) ~ 2)*, то уравнения (9), (10)' при су(В) = .= )((В, х) принимают вид = Ас [Р(в, х, г, В)], 1!т Р(в, х, (, В) =у(В, х).

д( стс СЛУЧАЙНЫЕ ПРО11ЕССЫ В ШИРОКОМ СМЫСЛЕ |гл. 1 50 марковский процесс в широком смысле со значениями в Х. Положим РЗ(з З)=Р(з, ° ~, И). ВеРоЯтности Рц(з, 1), очевидно, опРеделЯют веРоЯтность пеРехода для любого множества В с: Х, Р(з,, 1, В) = Е рц(з, ~). в Очевидны следующие соотношения: рц (з, () Ъ О, ~„рц (з, ~) = 1, рц (з, з) = Ьц. 1аи Пусть ~(!) — произвольная функция на Х. Оператор Т„ в рассматриваемом случае действует по формуле (м(1) =тц1(1) = ~ Рц(з, 1)1(1). з Если т — произвольная мера иа 6 и т(1) = т((1)), то опе. ратор Т,", определяется соотношениями ты(1) =Тыт((1)) = ~„т(1) рц(з, 1). Уравнение Колмогорова — Чепмена записывается в данном случае следующим образом: Рц(з 1) = Х Ры(з и)Р1ц(и г) (з~и з г). «-х Предыдущие соотношения можно записать короче.

Предпо- ложим, что элементы пространства Х каким-либо способом рас- положены в определенной последовательности. Пусть Р(з„г) обозначает матрицу с элементами рц(з, 1), ) — вектор-столбец с элементами 1(1) и, аналогично, т — вектор с компонентами т(1), Р*(з, Г) — матрица, транспонированная к Р(з, 1), т'— вектор-строка (однострочная матрица, транспонированная к матрице т, состоящей из одного столбца). Тогда Т„(=Р(з, И, Т„*т = т"Р" (з, 1), Р (з, 1) = Р (з, и) Р (и, 1) (з и ( 1).

Множество Я состоит из всех последовательностей (1(1), 1 еи Х), для которых предел (Л,)) (1) = 11п1 ~~~~ ' , ~ (1) «+«змх МАРКОВСКИЕ ПРОЦЕССЫ В ШИРОКОМ СМЫСЛЕ существует при любом / ен Х, з ен (О, /) и !пп Х р// (/ — Ь, /) )' (/) = ) (/). ь/ь /~х Здесь бн = 1 при 1 = / и бц — — О, если 1 Ф /. Например, если для каждой пары (/, /)ен Х /( Х и з ~(0, /1 существует конечный предел р/ (г — Ь, г) — 6,.

аи(з) =!!/п (11) ьео то тг) содержит все те последовательности /(1), для которых ~„)/(/) ! < СО и прн этом /их (А,/) (/) = ~. а,/ (з) / (/). (12) /яХ Последнее замечание во многих случаях оказывается недостаточным и нуждается в усилении. В связи с этим отметим, что если пределы (11) существуют, то — а (з)=а//(з) (О, а//(з)) О (/.~1.), Из неравенства 1 — рн (г — А, е) К~ Р / (г — а, г) Ь / / где У вЂ” конечное множество индексов и (ИХ, вытекает, что ~ и' ац(з) (а/(з), (13) где ~„~~ означает сумму по всем 1'яХ',Я.

В достаточно регулярных случаях, например, если ряд Е ~/~ р,/(г — //, г) Ь / сходится равномерно по й ) 0 прн любом з О, неравенство (13) можно заменить равенством 2 " а / (з) = а/ (з) (14) / Лемма 1. Если при любых (/, /)Е=Х)/ Х и е) О пределы (11) существуют и выполняется равенство (14), то Ы содержит все ограниченные последовательности (/(1), 1 ы Х). 1(оказательство.

Заметим, что в условиях леммы ряд (12)' сходится абсолютно. Не уменьшая общности, можно считать, СЛУЧАПНЫВ ПРОПСССЫ В ШИРОКОМ ГМЫСЛЯ !гл. 1 что зир(/(/) ) < 1. Рассмотрим разность А = ) '/ ' '/ ) (/) — ~~ ац (з) / (/). /ах /ОХ Возьмем произвольное число е ) 0 и найдем такое конечное множество / ~ Х, что / ен У и а// (8) = — ~ ац (8) < —.

/ОХ,/ Имеем теперь неравенство в -г Г р,. (в — Ь, 8) — а// 1 1 т"г рц (в — Ь, 8) 8 /~Х',/ Найдем такое Ив ) О, чтобы первое слагаемое в правой части последнего неравенства было < — для всех И ен(0, И,). При е этом окажется, что Х р//(в — Ь, 8) Ь /ЧХ',/ ( ' и +а//(з)) — ~~ ац(8) < з ° Таким образом, при И ен (О, Ив) (о) ( а. ® Чтобы получить обратные уравнения Колмогорова для рассматриваемых процессов, усилим требования существования пределов (11) несколько более сильным условием существования пределов В/и ' ' ' '/ =а,/(8).

8,48,8,)в вг — вг (15) Заметим, что так же, как лемма 1, доказывается следующее утверждение: если в точке 8 для всех /' пределы (15) существуют и выполнено равенство (14), то ряд Х рц(' '8) ()// вг — 8$ /ех сходится равномерно по в/ и 88, 8/ < 8 /< аь ав — з/ < Иа. Теорем а 1. Если для любых (/, /, 8)сиХ /,'Хг/,(О, /) пределы (15) существуют и удовлетворяют равенствам (14), /о вероятности рц(в, /) дифференцируемы по 8, 0 < з ( /, и удовлетворяют системе дифференциальных уравнений (первая МХРКОВСКИЯ ПРОЦЯССЫ В ШИРОКОМ СМЫСЛЯ система уравнений Колмогорова) др2 (8, 1) = ',г' аи (.) Рц (з, 1).

8ВХ Доказательство. Так как др; (8, 8) рн (8р 1) — рц (52, 1) !пп д8 5 85 5285 82 — 8! рм(' ») ды !!ш ~~ Р81 (82, 1), 1ИК (17) то дРП (8, 1) г2 — а,ьрц(8, 1) = 1-Х Г Рм (5р 52) дм а~8 (з)~ Рц (зм 1)+ 2,82 52821 х 52 — 5, + !!ш ~ ам (3) !Рц (82 1) Рц (81 1)8 0 2288 !мх в силу ранее упомянутой равномерной сходимости ряда (16). И, Переходя к выводу второй системы уравнений Колмогорова, ограничимся случаем конечного числа состояний (Х состоит из конечного числа точек). Будем предполагать, что пределы (18) существуют.