Понятие марковского случайного процесса
Понятие марковского случайного процесса.
Особое место среди случайных процессов занимают так называемые марковские случайные процессы, впервые описанные А.А. Марковым в 1907г. Случайный процесс называется марковским, если вероятность любого его состояния в будущем зависит только от состояния в настоящем и не зависит от того, каким образом и когда процесс пришел в текущее состояние. Аналитически сказанное может быть записано в виде:
Pr{g(tn+1)=En+1|g(t0)=E0, g(t1)=E1, …, g(tn)=En}=
=Pr{g(tn+1)=En+1|g(tn)=En},
где t1<t2< … <tn<tn+1, а En - текущее состояние. Иными словами, в марковских случайных процессах влияние (воздействие) всей предыстории процесса на его будущее полностью сосредоточено в текущем состоянии процесса. Это свойство называется свойством отсутствия последействия или применительно к случайным процессам марковским свойством.
Свойство отсутствия последействия накладывает существенные ограничения на распределение времени пребывания марковского процесса в том или ином состоянии. Так, в случае цепи Маркова с непрерывным временем время пребывания в данном состоянии должно быть распределено по экспоненциальному, а в случае дискретной цепи Маркова - по геометрическому, законам распределения, которые являются единственными, соответственно, непрерывным и дискретным распределениями без последействия. Только при таких ограничениях на времена пребывания процесса в состояниях гарантировано выполнение марковского свойства.
Рассмотрим марковский случайный процесс g(t) с конечным числом состояний E0, E1, …, En. Обозначим через Pi(t) вероятность того, что случайный процесс в момент времени t находится в состоянии Ei:
Pi = Pr{g{t} = Ei}, i = 0,n.
Очевидно, что в любой момент времени t процесс находится в одном из n+1 возможных состояний, т.е. события g{t}=Ei, i = 0,n заключающиеся в том, что в момент времени t процесс находится в состояниях E0, E1 ,…, En, образуют полную группу несовместных событий. Отсюда следует, что в любой момент времени t выполняется условие:
Рекомендуемые материалы
1,
которое называется нормировочным.
Совокупность вероятностей Pi(t), i=0,n, может быть представлена вектором, называемым вектором состояний, с числом компонент, равным числу возможных состояний процесса:
P(t)={P0(t), P1(t), …, Pn(t)}.
Главная задача изучения марковских случайных процессов заключается в определении вероятностей Pi(t), i = 0,n, нахождения процесса в любой момент времени t в том или ином состоянии, что дает полную информацию о случайном процессе. Для решения данной задачи необходимо:
1) указать в каком состоянии находится процесс в начальный момент времени;
2) описать переходы между состояниями.
Состояние процесса в начальный момент времени t=0 задается вектором начальных вероятностей
21 Идеалы просвещения и их отражение в искусстве - лекция, которая пользуется популярностью у тех, кто читал эту лекцию.
P(0)={P0(0), P1(0), …, Pn(0)}.
Описание переходов между состояниями зависит от того, каким (с дискретным или с непрерывным временем) является изучаемый марковский случайный процесс. Этот вопрос будет рассматриваться в следующих параграфах.
Очень часто при изучении марковских случайных процессов достаточно определить не вероятности P0(t), P1(t), …, Pn(t) в любой момент времени t, а их предельные значения (если они существуют) при .
Если при вероятности Pi(t), i=0,n, стремятся к предельным значениям Pi , i=0,n, не зависящим от распределения начальных вероятностей Pi(0), i=0,n, то говорят, что случайный процесс обладает эргодическим свойством. Таким образом, для процессов, обладающих эргодическим свойством, существуют пределы
, i=0,n.
Предельные вероятности Pi, i=0,n, часто называют вероятностями состояний равновесия или стационарными вероятностями.