SLPR_020 (Случайные процессы), страница 2

~Ы = х»,) — Р(5 Е Лф„= х„) при 11 С 12 С ° ° С 1п С 1 ° Определенно 13. Пусть Л Е Рз(В). Фупкпия />(х. в.1.,4) = !>Я Е;1,», = х). где 1 ) л, пазгивастся фуиидиеа пер»ходи ях»ероягппо»т»й марковского пропссса Со Пусть Х = 1'0,1,2, ... ). Тогда марковский пропссс С» называется .иарковской деваю или дспью ЛХаркоьа. Кроме того, предположим, что множество значений, которое может принимать пронес»»о счетно или конечно.

Этп зпа юпия будем называть состояниями и обозначать их номерами 1, 2, .... Пусть р,".'"~' = Р(С„+, — 1~ф„= 1>, и = 0,1,2, ...: 1,у = 1,2, Вероятности р,"'."~ называются псрсходнькии псроятностя.ии за один шаг. Если переход- п.п-ь1 пыс вероятно»тп р ' пс зависят от и. соотвстствуюшая марковская пспь называет»я ь> однородной.,далее мы будем в основном рассматривать именно такие марковские пепи. Итак, пусть р,,' ~ = р,;, п = 0,1,2, ...: 1,1 = 1,2, ....

Матрипу ры р1з р.„рхя будем называть литр~щей переходных всроя>пностсй 1однородной) марковской пепи. Очевидно р,.;)О, 1,1=1,2....: сх ~) р;.=1, 1=1 2, Марковский протюсс будет полностью определен, если за,тапы вероятности 14.1) и распретелеипе случайной величины Сс.,Лействительяо, пусть требуется определить вероят- ности Р('.о = 1о, 6 = ~ ы: С, = >я). Однако последнее равно Рггс, = г»)1..-г = г.-г;;1о= го) Р)с„„г = г'.-г;;(о = га) = = ! (~п = 'гп~6 — г = гп — г) ' ! Ып — г = гп — г;; Со = го) = = рм гэ РЫ-г(;-г рэг(гр'ь(гр(оэ р, = РД,п+и —— у((, = г).

( ) Теорема 4.1 Ес.лгг Р р',.э = ~!эпира-.! я=г (4.2) едь 1 ( г ( и — 1, В.иагггуги гггой заггиси (!.2) иэнссгп ьид Р(п) = Р(') Р(' У(оьазательство. За г гпагов можно попасть в одно из состояний Е. Эти состояния образуют полную группу несовместных событий. Результат теорелгы получаем, применяя формулу полной всроятпосгп. С) Уравнения (4.2) носят название ураь неви й !г оэлгггоеороьа — э!эгг ггсно. 4.2 Классификация состояний марковской цепи Пусть Е = 1'1э 2, ... ) — состояния марковской пепи. Опргдглеппг 14. !гудом пазьгватг, состояние г' Е уд нгсуи(ьгтьюгиы.лл, если из исто с положительной вероятностью можно за конечное число шагов выйти, но после этого нельзя в него вернуться, т.е. сушествуют такие т > 1 и у' > 1э что р,у > О, но для всех п > 1 и (т) уЕУэ,уфгвернор, =О. Выделим пз множества Е все несушествепные состояния.

Тогда оставшееся множество сушегтпггпгых состояний обла,чает тем своглстпомэ что, попав в пего, марковская пгпь никогда нз него не вьгйдет. Определение 15. Назовем состояние у' досгпилси.иы.и из состояния г (г — э у'), сели (т) (0) сушествуст такое т > О, что р, > О ( р, равна 1. если г = !э и раппа О, если г ~ г). Определение 16. Сослоянпя г' и у назовем сообн(агои(и„,иися (г + — + у), если у' достглжггмо из г и г, достггжиыо из у. Свойстпо сооошагмости предстаплягт собой отпогггепие эквивалентности. Действительно: г,де рьэ = Р(~о = га). Пусть Е = ('1,2, .

вероятность перехода . ) — состояния марковской пепи и пусть Р(") = ((р, ((э где уэ,,э; (( из состояния г в состояние у за и шагов, т.с. (уээ г(( - жатриип одношьгоьых персходоь яаркоьскои испш то (1) (г т — л 1) (1)О)гзгенсггбносгпь): (г2) ЕСЛИ (гг' Š— Л )) г тО 0 ( — + г) (СнпггбтрниггОСтЬ ~): (3) если (г т — л )) и 0 ( — ~ Й), то (г г — ~ Й) (транлитпбносгпь), В соответствии с этим свойством множество Е разбивается на конечное или счетное число пспсрссткаюшихся ллттоитсств ЕтгЕяг .... Часть из ппх состоит из сушсстпсппых состояний, часть из несушественных.

Переходы из сушественньтх классов невозможны. Возможно, что отправляясь нз состояния, принадлсжашего одному классу. мы с поло- житсльпой псроитпостьто попадем и другой класс, но тогда, очевидно, возврат и исходный класс утке невозможен (иначе они бы входплп в ог(ттн класс). Опрсделсттс 17. Марковскуто пспь называется ~еприбодижой (ггеразльзгси.ггой)г сели отношение эквивалентности "сообшаслшсть' порождает всего лишь один класс состояний.

Определение 18. Определим период состояния г (обозначение д(() ) как наибольший обший делитель (Н.О.Д.) всех пелых чисел п > 1г для которых рн > О. Если рг,' = 0 для (ь) (и) вссх и > 1г то штлагасм г!(г) = О. Теорема 4.2 Если г' е — + )г то д(г) = д(т'). „г!оказательство. Если г' ( — э )', то наттдутся такие Й и!, что р„> 0 и р., > О. Поэтому р„> р, рз > 0 и. значит. Й+ ! делится па д(г). Прсдположиллг что п > 0 и гг пс (ь-~-г) (л) (г) (ь+л+г) делится на д(г). Тогда и+ Й+ ! не делится на д(() иг следовательно, р(, = О.

Но (и) (бт р(, ~ > р(.)р( )р(т) н, значит. р(., = О. Отсюда вытекает, что если р(,.) > О, то п должно делиться па д(()г и поэтоъту д(г) < д0). В силу симметричности д0) < д(г). и д(г) = д0). П Следовательно, период одинаков для всего класса.

Онрсдслсиис 19. Если д(г) = 1 (д(Е) = 1)г то состояние г (класс Е) будем называть ипериодппбснни. Пусть д = г1(Е) — период неразложимого класса Е. Будем считать, что он состоит из сушсствсппых состояний. Зафиксируелг некоторое состояние ге е Е и введем (гтля д > !) подклассы: Со=Об Е:р„. >О ==> и=О( гттог! д)) Сг=(АТЕЕ:р„'. >О ~ и=1( гпод г!)) Сл т —— ))еЕ:!г, >О ==~ п,=д — 1( шодд)) Очевидно. что Е = Сс+ ° + Сл г. Покажем, что движение пз подкласса в подкласс осушссттллястся такг как это изобраткспо па рис.

1. 20 .