3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 7

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 7)

Так, можно условиться, что, оказавшись в состоянии О (соответствующем разорению игрока А), процесс остается в этом состоянии, т. е. гв — — 1 Процесс (Х ), где Х вЂ” размер капитала игрока А после п партий, является процессом случайного блуждания. Этот процесс известен под названием «задачи о разорении игрока», Случайное блуждание с Рп = Р, дд = 1 — р = д(/е )~ 1) и г, = 1 соответствует одинаковым повторяющимся партиям; если р > д, то в каждой партии шансы игрока А явно предпочтительнее. В гл. 3 мы покажем, что в этом случае с вероятностью (д'р)", где х,— его начальный капитал, игрок А разоряется (теряет свой капитал) и с вероятностью 1 — (д/Р)"' его капитал будет беспредельно возрастать.

Если же Р < д, то игра явно выгодна хозяевам игорного заведения, и почти наверное (с вероятностью 1) игрок А разорится, если будет играть достаточно долго. Игрок А обречен на разорение (с вероятностью 1) и в том случае, когда игра безобидна, т. е. когда Рп = уп = '/е. Если партнер, игрок Б, тоже начинает игру, располагая ограниченным капиталом у, то капитал игрока А снова описывается марковской цепью (Х ).

Однако эта цепь имеет конечное множество состояний О, 1, ..., а, где а = х + у, х и у — начальные состояния игроков А и Б соответственно. Разность а — Х, интерпретируется как капитал игрока Б после п партий. Если среди исходов каждой партии допускается ничья, то матрица переходных вероятностей цепи (Х„) имеет вид 1 О О О д, г, Р~ О О д, г, Р, (2.3) пп -1 Га-1 Ра-1 О О 1 42 Гл. 2. Марковские Чеки Как и ранее, р;(с)с), с = 1, 2, ..., а — 1, есть вероятность того, что игрок А, имея капитал 1, увеличит (уменьшит) его на единицу в следующей партии. Отметим, что в соответствии с матрицей переходных вероятностей (2.3) капитал игрока А (состояние процесса), достигнув величины а или обратившись в О, остается в этих состояниях навсегда.

Мы говорим, что игрок А разорен, если процесс достиг состояния 0; если же процесс попадает в состояние а, то мы говорим, что разорен игрок Б. Случайные блуждания оказываются полезными не только для описания игровых ситуаций, но и служат неплохими моделями физических процессов, в частности диффузии частиц. Если частица претерпевает случайные столкновения, то ее положение подвержено случайным флуктуациям, хотя описываемая ею траектория непрерывна. Если будущее положение (точнее, его распределение вероятностей) частицы зависит только от ее настоящего положения, то процесс (ХД, где Хс — положение частицы в момент 1, является марковским, Дискретная аппроксимация такого непрерывного движения соответствует случайному блужданию.

Симметричное случайное блуждание представляет собой классический дискретный аналог броуновского движения (см. 5 2 гл. 1). Под симметричным случайным блужданием на множестве всех целых чисел подразумевается марковская цепь с пространством состояний, являющимся множеством всех целых чисел, с элементами матрицы переходных вероятностей вида р, если 1=1+1, р, если /=1 — 1, если 1=1, ~ 0 во всех оста льных случаях, где р ) О, г)~0, 2р + г =! и й 1 = О, ь1, ь2, ....

Обычно симметричным случайным блужданием называют марковскую цепь с г = 0 и р = '/м Исследование некоторых физических моделей приводит нас к рассмотрению случайных блужданий на множестве неотрицательных целых чисел. Можно дать классификацию таких процессов на основе свойств нулевого состояния. Пусть случайное блуждание описывается матрицей (2.2). Если ро = 1 (а значит, и ге = 0), то нулевое состояние обладает свойствами отражающего экрана. Всякий раз, когда частица достигает нулевого состояния, в результате следующего перехода она оказывается в состоянии 1.

Это соответствует ситуации, когда в нуле находится упругая стенка и частица отскакивает от нее без каких-либо остаточных явлений. Если рс =- 0 и ге = 1, то нулевое состояние ведет себя как поглощающий экран, Попав в нулевое состояние, частица остается З 2. Пднлерм миркозских ценза 43 в нем навсегда. Если р, > О н ге > О, то нулевое состояние является частично отражающим экраном. Если случайное блуждание ограничено конечным числом состояний, скажем О, 1, 2, ..., а, оба крайних состояния О и а независимо и в любой комбинации могут быть отражающими, погло. щающими или частично отражающими экранами, Мы уже имели дело со случаем, когда состояния О и а были поглощающими [см.

(2.3)]. Классическую модель диффузии через мембрану представляет собой модель Эренфестов. Модель описывается как процесс случайного блуждания с конечным числом состояний (1 = — а, — а + 1, ..., — 1, О, 1, ..., а), причем крайние состояния — а и а являются отражающими экранами. Матрица переходных вероятностей задается следующим образом: =! а — з 2а если 1=1+1, если 1=1 — 1, а+1 2п ~ О в остальных случаях. Физическая интерпретация этой модели такова.

Имеется две урны А и Б, содержащие вместе 2 а шаров. Предположим, что урна А содержит й шаров. При каждом испытании случайным об- разом выбирается один шар и перекладывается в другую урну; при этом каждый из шаров имеет равную со всеми остальными вероят- ность быть переложенаым независимо от того, в какой урне он находится. Каждое испытание приводит к изменению состояния ') системы. Характерным для перемещения шаров будет преимуще- ственное направление от урны с большей концентрацией к урне с меньшей концентрацией. Модель Эренфестов в некоторых слу- чаях можно использовать для исследования физических систем, находящихся под действием восстанавливающих сил, величина которых пропорциональна расстоянию от положения равновесия, Классическое симметричное и-мерное случайное блуждание определяется следующим образом.

Пространством состояний про- цесса является целочисленная решетка в Е" (а-мерном евклидо- вом пространстве), точки которой суть наборы из и целых чисел вида й = (йь йм..., Йи). Переходные вероятности определяются следующим образом; В! = 1 и ! р 2п' — если ~)1, — йз) = 1, 1-1 О в противном случае.

') Состоянием здесь является величина разности между числом шаров в урне А и урне Б с учетом знака. — Прим. перев. Гв. 2. Марковсиие цеии 44 Аналогично одномерному случаю п-мерное симметричное случай- ное блуждание представляет собой дискретный аналог п-мерного броуновского движения. В. Дискретная марковская цепь, описывающая очередь Заявки поступают к месту обслуживания и становятся в очередь. Допустим, что обслуживание одной заявки занимает фиксированное время (период), продолжительность которого принимается за единицу.

Если к моменту окончания обслуживания заявки очередь отсутствует, в следующий период обслуживания не происходит. (Можно представить себе, например, стоянку такси, на которую через одинаковые промежутки времени прибывают машины одна за другой. Если в очереди нет пассажиров, машина сразу же уезжает.) Во время обслуживания некоторой заявки могут поступить новые заявки. Предположим, что число заявок З„, поступающих в течение и-го периода, является случайной величиной, функция распределения которой не зависит от номера периода и имеет вид Р(за один период поступило й заявок)=Р($„=й)г-п», (2.4) й = О, 1, ..., а» ) О, ~~'.~ а» = 1.

»-о Мы предположим также, что с. в. аи независимьь Состояние системы в и-й момент времени определяется как число заявок, ждущих обслуживания к началу и-го периода, Если система находится в состоянии 1, то по прошествии одного периода она перейдет в состояние по ао 0 0 0 п3 пз 423 424 421 из пз аа а, аз ПЗ 0 ао а, а, 0 0 а, а, йр,11= (2.7) 4' — 1+$, если 1)1, если 1= О, (2.5) где а — число поступивших за этот период заявок. В терминах значений случайного процесса мы можем выразить (2.5) так: Х„+4=(Х„- П++~„, (2.6) где У' = гпах(У, 0).

В силу (2.4) и (2.5) матрица переходных вероятностей имеет вид й Х Примеры марковских ченед Интуитивно ясно, что если среднее число новых заявок ~~ йаы ь-о прибывающих за период, превышает единицу, то со временем очередь будет беспредельно увеличиваться. С другой стороны, если „~~ яаь ( 1, то, как мы увидим, распределение длины очереди приближается к некоторому равновесному (стационарпому) распределению.

Если ~~~~ Йаь =- 1, то возникает существенно неустойчивая ситуация. Все зти утверждения будут строго доказаны после того, как будет изложена теория рекуррентных событий (см. ~ 5 гл. 3). Г. Модель из теории запасов Рассмотрим систему, в которой запасается некоторый товар с целшо удовлетворения постоянного спроса. Предположим, что восполнение запаса осуществляется в моменты времени 1ь 6м ..., а суммарный спрос я„на товар в интервале ((„ь 1„) представ- ляет собой случайную величину с распределением Рф„=й)=ам й=-О, 1, 2, ..., одинаковым для всех интервалов, причем как обычно, ах ) О и ~~Р„а, = 1. Уровень запаса фиксируется в начале каждого периода.

Стратегия запасания такова: если имеющееся количество товара не превышает некоторого критического уровня з, то производится немедленное пополнение запаса до уровня 5 ) з. Если же имеющееся количество товара больше з, то пополнения не производится. Пусть Х„ обозначает уровень наличного запаса непосредственно перед моментом 1„. Пространство состояний процесса (Х„) складывается из возможных значений уровня запаса 5, 5 — 1, ..., + 1, О, — 1, — 2, ..., где отрицательные значения интерпретируются как неудовлетворенный спрос (эти заказы подлежат немедленному исполнению при пополнении запаса). Согласно описанной стратегии, уровни запаса двух последовательных периодов связаны соотношением Մ— $„„.н если з<Х„(5, "+' 5 — $„+и если Х„(з, (2,9) где $ — суммарный спрос за а-й период с распределением вероятностей (2.8).

Если предположить, что с. в. $„независимы, то уровни запаса Хм Хь Хм ... образуют марковскую цепь, матрицу переходных вероятностей которой можно вычислить, отправляясь от соотношения (2.9). Гв 2, Марковские цепи 46 Д. Серии успехов Рассмотрим марковскую цепь с неотрицательными целыми значениями и матрицей переходных вероятностей вида р, д„ о о ... р, о ц, о ре о о и, ... р, о о о (2.10) 1~ р,! !1=- где цл ) О, р; ) 0 и де + р; = 1, ! = О, 1, 2, .... Нулевое состояние отличается от других тем, что оно может быть достигнуто из всех остальных за один переход, тогда как состояние ! + 1 достижимо только из состояния ~'. Этот пример очень прост с вычислительной точки зрения, и мы будем часто к нему обращаться для иллюстрации вводимых понятий и получаемых результатов.

Характеристики

Список файлов книги