3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 40
Текст из файла (страница 40)
Обе системы уравнений в матричных обозначениях принимают весьма простой вид. В самом деле, рассмотрим бесконечную матрицу А = ~< ии <~, элементы которой равны йм, У~У, а,у =. — еуь у=у, и которая называется инфинитезимальной матрие(ей процесса. Обратные уравнения могут быть компактно записаны в виде следующего матричного дифференциального уравнения: Р'(У) = АР (у), а прямые уравнения— Р'(У) = Р(У) А, где Р(У) =<< Рм(У)<<. й 3.
ПОСТРОЕНИЕ ЦЕПИ МАРКОВА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ С ПОМОЩЬЮ ЕЕ ИНФИНИТЕЗИМАЛЬНЫХ ПАРАМЕТРОВ Интересным и важным вопросом в теории цепей Маркова с непрерывным параметром является следующий. Предположим, что дано множество неотрицательных чисел (ди), обладающих свойством ~2~ еум ( ди для всех й !Фе (В целях единства обозначений мы иногда пишем пи вместо еуь как это сделано выше.) Существует ли цепь Маркова, т.
е. стандартная матрица переходных вероятностей ~< РО(У) <<, для которой Реп(0) = йн, У М У', Ри (О) - — йи Задача становится более определенной, если предположить, что ~ су;у —— гуи(оо для всех у, увне Э д Построение цели с помощью инфинитевимакьнак параметров 251 так как в этом случае известно, что любая цепь Маркова, связанная с (дп), должна удовлетворять по крайней мере обратным уравнениям. Практическая важность этих вопросов покоится на том факте (как мы уже видели, в частности, для процессов рождения и гибели, см.
гл. 7), что довольно часто цепь Маркова с непрерывным временем определена таким образом, что мы вынуждены выводить обратные уравнения. Затем следует попытка решить эти уравнения для того, чтобы вычислить полную функцию перехода процесса, В настоящее время для общего случая не получены определенные результаты. Известно, что при условии ~, дм = дп для всех ( !ььт существует по крайней мере одна отвечающая этим параметрам переходная матрица Р(1), и если их существует более одной, то существует и бесконечно много, Конечно, больше известно о частных видах матрицы А = 11ды~~, например в случае процесса рождения и гибели.
В этом частном случае известна полная классификация всех процессов, отвечающих заданной инфинитезимальной матрице. Эти процессы в основном отличаются поведением на границе, т. е. видом выборочных функций в оо. Напомним читателю, что в частном случае процесса рождения и гибели матрица А должна удовлетворять условию (4.5) гл. 7 для того, чтобы процесс определялся единственным образом. Для общего случая цепей Маркова с непрерывным временем задача классификации инфинитезимальной матрицы А и отвечающих ей процессов достаточно сложна, и мы лишь отошлем интересующегося читателя к соответствующей литературе (см.
ссылки в конце данной главы). Пусть для состояния ь' выполняется условие О < дь < оо, Дадим теперь некоторую интерпретацию элементам матрицы А, аналогичную интерпретации, данной в случае процессов рождения и гибели величинам йь + 1ьь и р; = Х;(1ье + тн)-'. Напомним, что в этом случае мы формально доказали, что (ен + 1ьь) ' — среднее вРемЯ пРебываниЯ в состоЯнии й а тн(1ье + Хь) ' — веРоЯтность пе рехода в состояние с + 1 из состояния с при условии совершения какого-либо перехода. Результаты для случая общей цепи Маркова с непрерывным временем аналогичные. Пусть ( > О фиксировано, а и > Π— произвольное положительное целое число. Предположим, что процесс начинается из состоянии й Тогда рассмотрим Р~Х(т)=( при т=О, —, —, —, ..., г')~=~Р„( — )1 . 252 Гл а г!епи Маркова с непрерывным временем Поскольку = д, + о (1) (о (1) н О при г -+ О +), то ~Ре! ( — )1 = (1 — — де+ о ( — )) =ехр(п1п(1 — — '+о ( — )~).
Используя разложение логарифма вида 1п(1 — х) = — х + ! гч, ( ! ! + 9(х)х', верное при !х! < — и (9( <1, где х = — „' +о( — ), и затем переходя к пределу при п -+ оо, получим !пп~(Рм ( — )1 =ехр( — де!). Но (см. гл. 1, стр. !8) вероятность Р(Х(т) = Е, О(~т(г) совпадает с Дгп Р~ Х(т) =1, «=О, —, —, ..., — 1, 1~ 2! и — 1 и "Н ее и' и '''' и (при этом неявно предполагается, что процесс является сепарабельным), откуда видно, что вероятность пребывания в состоянии ! в течение отрезка времени, не меньшего г', равна ехр( †,!). Другими словами, время пребывания процесса в состоянии 1 имеет экспоненциальное распределение с параметром дь Это является строгим доказательством (в общем случае цепей Маркова с непрерывным временем) того, что было эвристически показано для частного случая процессов рождения и гибели (см.
стр. 214). Состояние г, для которого О <д! < оо, называется устойчивым. Оно называется поглощающим, если ег! = О; очевидно, если процесс перешел в такое состояние 1, то он останется там навсегда. Конечно, в этом случае Р (Х (т) = У, О ( (т < г! Х (О) = !) = ехр ( — дс() = 1 для всех й С другой стороны, если де ) О, то время пребывания в состоянии 1 является случайной величиной, функция распределения которой есть «настоящая» экспонента, и, следовательно, выход из состояния ! осуществляется за конечное время. Состояние (, для которого д» вЂ” — оо, называется мгновенньш. Среднее время пребывания в таком состоянии равно нулю. Наи менование «мгновенное» обязано тому факту, что время пребы- э Д Построение цепи с помощью инфинитезимальных параметров 253 вания процесса в состоянии г равно нулю, т.
е., попадая в это состояние, процесс мгновенно его покидает '). Теория цепей Маркова с непрерывным временем, имеющих мгновенные состояния, крайне сложна, особенно при рассмотрении выборочных траекторий процесса. Дело усложняется еще тем, что марковские цепи могут состоять только из мгновенных состояний. Имеет смысл найти технические задачи, отвечающие таким примерам. Но в то же самое время утешительно сознавать, что почти все цепи Маркова с непрерывным временем, возникающие в приложениях, имеют только устойчивые состояния. Действительно, в большинстве случаев, представляющих интерес, изучаемый процесс обычно определяется инфинитезимальными характеристи- ками как известными данными. Чтобы завершить теорию, необхо- димо установить существование процесса (т.
е. определить выбо- рочные траектории и их вероятностные законы), обладающего за- данной инфинитезимальной матрицей. Наиболее элементарные учебники и обсуждения цепей Марко- ва с непрерывным временем избегают этого аспекта задачи (так же поступим и мы), делая упор преимущественно на нахождение функций распределения процесса и вычисление различных вероят- ностных характеристик, представляющих интерес. Вычисление пе- реходной функции для всех г традиционно сопровождается выво- дом обратных дифференциальных уравнений и, в лучшем случае, их решением. Такой подход был основой нашего рассмотрения процессов рождения и гибели (см.
гл. 7). В оставшейся части главы мы будем рассматривать цепи Мар- кова с непрерывным временем, имеюгцие лишь устойчивые состоя- ния. Наша следующая задача — придать физический смысл параог! метрам дп. Действительно, если процесс консервативен, то ! можно интерпретировать как условные вероятности того, что произойдет переход из состояния г в состояние /. Чтобы показать это, рассмотрим Йг)(Ь)= Р(Х(Ь) =/)Х(0)=(, Х(Ь) ~ (), г) На первый взгляд кажется, что если 1 — мгновенное состояние, то Ры(гг не является непрерывной функцией в нуле.
Однако это не так. Если Х(0) 1, то, хотя процесс н покинет сразу это состояние, он будет «достаточно часто> в него возвращаться. Именно если обозначить через Ог(1) общее время пребывания процесса в состоянии 1 на отрезке [О, 1), то оказывается, что Р ~1!щ — 61 (1) = 1) Х (О) =1~ 1. 1 г.ьо 1 Это обеспечивает непрерывность функции Ры(1), когда 1 — мгновенное состояние (см., например, П р о хор о в Ю. В., Розанов Ю. А., Теория вероятностей, «Наука», 1967, гл, т', $1).
— Прим, перев, Гм 8. 71епи Маркова е непрерывным временем 254 и найдем )нп Рм(Ь). Он равен вероятности перехода из состоялоо ния 1 в состояние / при условии, что переход осуществляется. Да. лее, в силу определения Рм(Ь) имеем Рм (Л) )к» (") ~ — Рп (л) Деля числитель и знаменатель на Ь, устремляя й (, 0 и используя результаты теорем 1.! и 1.2, получаем искомую формулу 1пнйм(Л) = — ', 1Ф й лФо Чг Если взять сумму от правой части (по 1), то она будет равна 1, так как процесс консервативный.
Мы отметили выше, что для любых инфинитезимальных параметров дм>0 (1Ф1) и де (О < де < ао) (1)~0), удовлетворяющих е),.ы ~ е),н может существовать одна или бесконечно много /Ф~ цепей Маркова с непрерывным временем, имеющих одну и ту же инфинитезимальную матрицу А. В случае консервативной инфннитезнмальной матрицы (т. е. йч = хдм при всех 1) существует один специальный процесс (минимальный процесс), для которого можно просто описать выборочные траектории, Построение минимального процесса для случая процессов рождения и гибели было показано в гл. 7, 5 4. В общем случае метод остается тем же. Опишем кратко основные идеи этого построения для общего случая.
Типичная реализация, начинающаяся из некоторого состояния, скажем й имеет следующий вид. Возьмем выборку из экспоненциального распределения с параметром дь Она определяет время пребывания в состоянии й В конце этого интервала частица перечп мешается в состояние 1' с вероятностью — (1 ~ 1). В новом соле стоянии, скажем /', она пребывает случайное время (экспоненциально распределенное с параметром д, ). По окончании вре. мени пребывания в состоянии /' она переходит в новое состояние 1 с вероятностью — () Ф 1 ); там частица проводит случайное ~Г/ Ч~ время с соответствующим экспоненциальным законом распределения, затем снова совершает переход и т.
д, С помощью этой последовательной процедуры мы строим все возможные реализации процесса. Используя довольно глубокие методы теории меры, можно найти переходную функцию ~~ Рм(() ~~, имеющую заданную инфинитезимальную матрицу. Другой путь описания минимального процесса состоит в следующем. Переходная матрица 1!.Рву(1) ~! определяется через матрн- Ю 8. Построение цепи с помощью инфинитеэимаэьньсм параметров 25З цы вероятностей различных переходов, совершаемых только за конечное число скачков.
Более определенно: мы вводим в рассмотрение вероятность Рсс(с;с1с') перехода из состояния с в состояние 1 за время 1 и за число переходов, не превосходящее ссс. В частности, в соответствии со смыслом инфинитезимальных параметров ( ехр( — цс1) с=у, Р„(1, О) =1 О, сФ), н можно выписать рекуррентное соотношение, связывающее РП(1; ссС) С РП(Г; У вЂ” 1) СЛЕдуЮщИМ ОбраЗОМ. Рассмотрим сначала Рм(1; ссс). В соответствии с тем, произошел переход до момента 1 или нет, возникают две возможности.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
