Марковские процессы с непрерывным временем
4. Марковские процессы с непрерывным временем.
Для марковских процессов с непрерывным временем, когда переходы из одного состояния в другое возможны в любой момент времени, вероятность перехода из состояния Ei в состояние Ej точно в момент времени t не может быть задана, поскольку такая вероятность равна нулю. Вместо этого можно определить вероятность соответствующего перехода на интервале времени (t, t+Dt), определяемая как
pij (t, t +Dt)=Pr {g (t+Dt)=Ej | g (t)=Ei}, i, j=0,n.
При этом 
, i, j=0,n.
В случае марковской цепи с непрерывным временем для описания переходов используются не вероятности переходов, а интенсивности переходов. Интенсивность перехода из состояния Ei в состояние Ej в момент времени t, обозначаемая через qij(t), определяется следующим образом:
qij(t)=
, i¹j; (12)
qii(t)=
. (13)
Эти пределы имеют следующую интерпретацию. Если в момент времени t процесс находится в состоянии Ei, то вероятность перехода в течение промежутка времени (t,t+Dt) в произвольное (отличное от Ei) состояние задается величиной -qii(t) Dt+o(Dt)[1]. Таким образом, величину -qii(t) можно интерпретировать как интенсивность, с которой процесс уходит из состояния Ei. Аналогично, вероятность перехода процесса в течение времени (t, t+Dt) из состояния Ei в состояние Ej задается величиной +qij(t)Dt+o(Dt) и величину qij(t) можно интерпретировать как интенсивность, с которой процесс переходит из состояния Ei в состояние Ej, при условии, что Ei - текущее состояние процесса. Так как всегда 
(t,t+Dt)=1, то из равенств (12) и (13) следует, что
(t)=0, i=0,n.
Рекомендуемые материалы
Если вероятности переходов pij(t,t+Dt), а, значит, и интенсивности переходов qij(t), не зависят от времени t (pij(t,t+Dt)ºpij(Dt) и qij(t) ºqij), т.е. от того, в какой момент начинается промежуток Dt, то марковский процесс называется однородным, в противном случае - неоднородным.
Далее, рассматривая марковские случайные процессы с непрерывным временем, будем считать их однородными.
Интенсивности переходов qij, i,j=0,n, можно задать в виде квадратной матрицы Q размерности (n+1)´(n+1):
называемая матрицей интенсивностей переходов. Элементы матрицы переходов Q удовлетворяют условию (14) (сумма элементов строки равна нулю), и такая матрица называется дифференциальной.
Рассмотрим теперь задачу определения вероятностей (2) марковского случайного процесса с непрерывным временем.
Вероятность того, что марковский процесс в момент времени t+Dt окажется в состоянии Ei, определяется как
Pi(t+Dt) = 
(t)pji(Dt), i=0,n.
Действительно, марковский процесс в момент времени t+Dt окажется в состоянии Ei, если он в момент времени t находится в состоянии Ej (с вероятностью Pj(t)) и за промежуток времени Dt перейдет с вероятностью pji(Dt) из состояния Ej в состояние Ei. Суммируя произведения вероятностей этих двух независимых событий по всем возможным состояниям процесса в момент времени t, получим равенство (15).
Если вычесть Pi(t) от обоих сторон равенства (15), а затем разделить на Dt и определить соответствующие пределы при Dt®0, то получим:
, i=0,n
или в векторном виде: 
(16)
Решая данную систему дифференциальных уравнений при заданном распределении P(0)={P0(0), P1(0), ..., Pn(0)} начальных вероятностей с учетом нормировочного условия (3), можно определить вероятности Pi(t), i=0,n, состояний марковского случайного процесса в любой момент времени.
В случае эргодичности марковского случайного процесса существуют предельные (при t®¥) вероятности состояний Pi, i=0,n, и они не зависят от начальных условий и временного параметра. Тогда производные dPi(t)/dt=0, i=0,n, и система дифференциальных уравнений (16) для стационарного режима превращается в систему линейных алгебраических уравнений:
, i=0,n
или в векторном виде (17)
PQ=0.
Система (17) совместно с нормировочным условием дает единственное решение для стационарных вероятностей Pi, i=0,n.
Систему уравнений для вероятностей состояний равновесия марковского процесса с непрерывным временем можно составить непосредственно по графу переходов, используя принцип равенства потоков вероятностей, который состоит в следующем: в состоянии равновесия марковского процесса поток вероятностей в любое состояние равен потоку вероятностей из этого состояния. При этом под потоком вероятностей, например, в данное состояние, понимается сумма произведений интенсивностей переходов в это состояние на вероятности тех состояний, откуда происходят эти переходы. Принцип равенства применим не только к потоку вероятностей для отдельных состояний, но и к потоку через любую замкнутую границу.
Пример. Определим вероятности состояний равновесия марковского случайного процесса с четырьмя возможными состояниями E0, E1, E2, E3 и матрицей интенсивностей переходов
Граф переходов для этого процесса приведен на рис. 3. В диаграмму переходов не включены петли, ведущие из состояния Ei, i=0,3, обратно в это же состояние, так как, согласно (14), члены на главной диагонали матрицы Q не содержат никакой новой информации: они равны сумме элементов соответствующей строки, взятой со знаком минус.
Рис. 3. Граф переходов примера.
Система (17) вместе с нормировочным условием для этого примера имеет вид:
-lP0+mP1=0
lP0-(l+m)P1+mP2=0
Информация в лекции "7.2. Виды генерализации" поможет Вам.
-(l+m)P2+mP3=0
lP1+lP2-mP3=0
P0+P1+P2+P3=1
Первые четыре уравнения полученной системы являются линейно зависимыми, и любое из них можно исключить из системы, а остальные три уравнения и нормировочное условие определяют единственное решение для вероятностей состояний равновесия. Если l = 2 и m = 1, то P0=1/19, P1=2/19, P2=4/19 и P3=12/19.
Применение принципа равенства потоков вероятностей к отдельным состояниям дает такую же систему уравнений. Так, например, для состояния E3 lP1+lP2=mP3, что соответствует четвертому уравнению приведенной выше системы.
[1] Символ o(Dt) ("o" малое от Dt) означает произвольную функцию, которая при Dt®0, стремится к нулю быстрее, чем Dt, т.е. .
