МПШ с конечным или счетным числом состояний

§5. МПШ с конечным или счетным числом состояний.

5.1. Пусть – конечное или счетное множество, причем будем использовать обозначения. Пусть  - МПШ со значениями в  и семейством переходных вероятностей. Положим  

         

Очевидно, что  Следовательно:

а) для любых ;

б)  для любых ;

в)  для любых .

         Пусть– ограниченная функция. Тогда функция, определенная по формуле

                                                          (17)

Рекомендуемые материалы

является равномерно ограниченной.

Пусть и , а  определена формулой:

                                                    (18)

Заметим, что соотношение Чепмена-Колмогорова в данном случае будет иметь вид:

                                                               (19)

Обозначим через  - мощность множества. Нам понадобятся также следующие обозначения:

i)  - матрица размера с элементами;

ii)  -мерный вектор (-столбец), компонентами которого являются;

iii)  -мерный вектор с компонентами ;

iv)  - транспонированная матрица ;

v)  - мерный вектор-строка с компонентами .

Тогда (17) – (19) можно переписать в виде:

,                                                                                

                                                                             

                                                                       

5.2. Займемся теперь выводом обратного и прямого уравнений Колмогорова соответствующих МПШ с конечным или счетным числом состояний.

5.2.1. Пусть  - множество такое, что для любой последовательности из  существуют пределы:

1) для ;

2)

 где– символ Кронекера.

Если, для каждой пары, существует конечный предел

                                                               (20)

то ясно, что  содержит такие последовательности , для которых и

                                                                     (21)

Заметим, что если существует предел (20), то имеем:

1) если, то для любых справедливо неравенство (так как);

2) если , то для любых следует, что, вытекающее из того факта, что , где;

3)  для любых, вытекающее из неравенства:

где. Таким образом, мы приходим к следующему утверждению:

Теорема 2. Пусть для любых существует предел:  и  Тогда  дифференцируема по и удовлетворяет обратным уравнениям Колмогорова:

                                                           (22)

Доказательство. В силу условий теоремы и соотношения Чепмена-Колмогорова, имеем

Отсюда следует, что:

Доказательство закончено.

          5.2.2. Аналогичным образом можно вывести прямые уравнения Колмогорова.

Пусть  Из (19) следует, что при  справедливо равенство

.                                            (23)

Переходя к  пределу когда и в (23), имеем

                                                             (23a)

Из (23a), в частности, следует, что для

удовлетворяет прямому уравнению Колмогорова

                                                  (24)

5.2.3. Замечания. 1) В §14 главы 3 мы уже вывели прямое уравнение Колмогорова (23) при более слабых предположениях, опираясь на теорию точечных случайных процессов.

 2) В §15 главы 3 нами были получены условия разрешимости уравнения Колмогорова (23).

5.3. Приведем без доказательства один результат, касающийся однородных МПШ с конечным или счетным числом состояний.

Теорема 3. Пусть – однородный МПШ с конечным или счетным числом состояний. Тогда существуют конечные или бесконечные пределы

Обратите внимание на лекцию "3.2 Методика решения задачи параметрической оптимизации".

причем, 1) если, то – конечно; 2) либо конечно, либо;

 3)

Замечание.  Для однородных МПШ с конечным или счетным числом состояний с помощью матрицы  размера  можно произвести следующую классификацию состояний:

1) состояние i называется мгновенным, если , в противном случае (т.е. ), его называют задерживающим;

2) состояние i называют        регулярным, если  (нерегулярным, если  ), причем, если все состояния регулярны, то однородный МПШ называется консервативным.