Марковские цепи
§9 Марковские цепи.
9.1. Пусть на стохастическом базисе 
задана марковская случайная последовательность 
со значениями в 
и переходной вероятностью 
.
Определение. Пусть Е - не более чем счетное множество (т. е. либо конечное, либо счетное), тогда марковская последовательность называется марковской цепью.
Обозначим через 
- одноточечное множество. Пусть B любое подмножество множества Е. Очевидно, что 
. Пусть 
- переходная вероятность. Очевидно, что 
.
Обозначим 
- вероятность перехода последовательностью из состояния 
в момент времени s в одноточечное множество 
в момент времени 
.
Определение. Марковская цепь называется однородной, если 
, т. е. переходная вероятность зависит только от разности 
. Если 
, то 
- переходная вероятность за один шаг, которую мы будем обозначать через 
для однородных марковский цепей.
Везде ниже будем рассматривать только однородные марковские цепи.
Займемся теперь классификацией состояний.
Рекомендуемые материалы
9.2. Определение. Состояние достижимо из состояния 
за n шагов (обозначаем 
), если 
.
Теорема 38. Если состояние достижимо из , a 
достижимо из , то достижимо из .
Доказательство. Так как , то и 
, то 
, то в силу соотношения Чепмена - Колмогорова, имеем 
. Доказательство закончено.
9.2.1 Определение. Состояния и называются сообщающимися, если 
и (обозначается 
).
Очевидно, что: 1) 
; 2) если , то 
; 3) если и 
, то 
.
Определение. Говорят, что состояния и принадлежат классу 
, если существуют моменты времени 
и 
такие, что 
.
Замечание. Класс - это множество состояний марковской цепи, являющихся сообщающимися. Через 
обозначим класс состояний, которые сообщаются с состоянием .
Теорема 39. Пусть два класса и 
, причем 
и 
. Тогда 
.
Доказательство теоремы 39. Пусть 
, следовательно существуют 
,
такие, что 
. Из соотношения Чепмена - Колмогорова следует 
. Аналогично 
, следовательно 
. Поэтому 
. Аналогично устанавливается 
. Следовательно . Доказательство закончено.
Замечания. 1) Теорема 39 полезна тем, что позволяет разбивать множество состояний 
на классы , причем 
.
2) Если - счетно, то классов не более, чем счетно.
9.2.2. Определение. Состояние называется существенным, если для 
.
Определение. Однородная марковская цепь называется неприводимой, если она состоит из одного класса сообщающихся состояний.
Определение. Состояние называется несущественным, если "выйдя" из него нельзя "вернутся" в него с положительной вероятностью за конечное число шагов.
Из этих определений очевидным образом следуют утверждения.
Теорема 40. Пусть - существенное состояние, тогда из него достижимы все существенные состояния.
Теорема 41. Класс сообщающихся состояний состоит либо из существенных, либо из несущественных состояний.
9.3. В данном пункте мы определяем строго марковское свойство однородных марковских цепей, а также покажем, что однородная марковская цепь обладает строго марковскими свойством.
Положим 
и 
- однородная марковская цепь. Пусть 
. Определим на 
операторы сдвига 
Для каждой 
-измеримой случайной величины 
равенством определим случайную величину 
Используя эти обозначения для однородных марковских цепей
- п. н. имеем
где 
(24)
9.3.1. Определение. Будем говорить, что марковская цепь 
обладает строго марковским свойством, если для любого марковского момента 
- п. н. справедливо равенство
, (25)
где 
.
Теорема 42. Любая однородная марковская цепь обладает строго марковским свойством.
Доказательство. Требуется установить (25), для этого достаточно установить равенство 
- п. н..
Действительно, для 
, имеем
(26)
Далее, так как 
, то имеем в силу марковского свойства,
Отсюда в силу произвольности 
и (26) получаем утверждение теоремы.
9.4. Определение. Состояние 
называется циклическим, а 
называется периодом марковской цепи если:
1) 
, где 
(
кратно , а 
);
2) - наибольшее число, на которое делится (НОД - наибольший общий делитель).
Если - НОД, то ясно, что - период марковской цепи. Если 
, то такая марковская цепь называется апериодической.
Если Вам понравилась эта лекция, то понравится и эта - 8 Образование казацкой республики.
Пусть 
- фиксированное состояние. Введем подклассы:
……………………………………………
Теорема 43. Если марковская цепь - неприводимая, то 
