Диссертация (Синтез оптимальных стратегий в двухшаговых задачах стохастического оптимального управления билинейной моделью с вероятностным критерием), страница 5

Вразделе 1.2 при помощи метода динамического программирования определяется оптимальная стратегия второго шага. В разделе 1.3 приводится аналитическое выражение функции, оптимизация которой по скалярному параметру,позволяет найти оптимальную стратегию первого шага. В разделе 1.4 для различного набора исходных данных рассчитывается стратегия первого шага изначение вероятностного критерия. В разделе 1.5 находятся оптимальные стратегии для одношаговых задач: для задачи оптимизации логарифмического иквантильного критериев.

Проводится сравнение структуры портфеля ценныхбумаг (управляющего воздействия).23—24—1.1.Постановка задачиВ данном разделе приводится постановка двухшаговой задачи оптимального капиталовложения с двумя рисковыми активами, имеющими равномерноераспределение доходностей на каждом шаге, по вероятностному критерию.Рассмотрим динамическую систему, описываемую соотношением+1 = (1 + 1 1 + 2 2 ), = 1, 2,где 1 и 2 – управляющие воздействия на систему на -ом шаге, а1 ∼ ℛ[−1, 1+21 ] и 2 ∼ ℛ[−1, 1+22 ] – случайные воздействия на системуна -ом шаге, причем 2 > 1 > 0, 1 – некоторое положительное детерминированное число, = 1, 2. Предположим, что 11 , 12 , 21 , 22 независимыв совокупности, и обозначим , col(1 , 2 ), = 1, 2.

Управляющие воздействия на -ом шаге , col(1 , 2 ) при фиксированном (реализовавшемся)значении выбираются из множества , {(1 , 2 )T : 1 + 2 = 1, 1 ≥ 0, 2 ≥ 0, 1 ≤ 2 }.Рассмотрим функционал вероятности (1 , 2 (·)) , {3 (2 (1 , 1 , 1 ), 2 (2 ), 2 ) ≥ },где под записью {3 (2 (1 , 1 , 1 ), 2 (2 ), 2 ) ≥ } понимается, что управление на втором шаге выбирается в зависимости от значения состояния 2 , ауправление на первом шаге, завися от значения 1 , ищется при фиксированном1 , при этом ищется вероятность того, что состояние 3 преодолеет некоторыйпорог .

Поставим задачу (1 , 2 (·)) →max1 ∈,2 (·)∈,(1.1)где под записью 2 (·) ∈ понимается, что значение функции 2 (2 ) принадлежит множеству , а сама эта функция является измеримой.Если под переменными 1 и 2 понимать доли капитала инвестора, вкладываемые в некоторые финансовые инструменты с доходностями 1 и 2 ,—25—под 1 – начальный капитал инвестора, под – желаемый капитал инвесторапри ликвидации инвестиционного портфеля, то задача (1.1) представляет собой двухшаговую задачу оптимального капиталовложения по вероятностномукритерию с двумя рисковыми активами, второй из которых приоритетнее, чемпервый, где 2 – капитал инвестора после окончания первого торгового периода,а 3 – капитал после второго торгового периода.

Экономическая привлекательность второго актива может быть обусловлена, например, тем фактом, что длялюбой желаемой доходности вероятность ее превышения первым активом небольше, чем вероятность превышения вторым, т.е. {1 ≥ } ≤ {2 ≥ }.Для решения задачи (1.1) примени́м алгоритм динамического программирования, так как оператор (·) является ограниченным, аддитивным и марковским [3].

В соответствии с методом динамического программирования получим рекуррентные соотношения [18]1 =2 (2 ) =max(11 ,21 )∈M[2 (2 )],max(12 ,22 )∈3 (3 ) =M[3 (3 )|2 ],⎧⎪⎨1, 3 ≥ ,(1.2)(1.3)⎪⎩0, 3 < .Здесь 2 (2 ) – оптимальная позиционная стратегия на 2-м шаге, 1 – оптимальная стратегия на 1-м шаге, 1 , 2 (2 ), 3 (3 ) – функции Беллмана.В результате решения задачи (1.2)–(1.3) управление, на котором достигаетсямаксимум функции M[3 (3 )|2 ], может оказаться неизмеримой функцией,что может привести к неизмеримости функции 2 (2 ). Сформулируем и докажем лемму о существовании измеримой позиционной стратегии, доставляющеймаксимум функции M[3 (3 )|2 ], при которой функция M[2 (2 )] определена.Существует измеримая позиционная стратегия на втором шаге, доставляющая максимум функции M[3 (3 )|2 ], при которойфункция M[2 (2 )] определена.Лемма 1.1.—26—Доказательство леммы 1.1.Рассмотрим функцию Φ2 (2 , 2 ) , 2 (1 + 12 12 + 22 22 ).

Данная функция непрерывна по col(2 , 2 ) ∈ R1 × для любого 2 ∈ R1 , а также измеримадля всех col(2 , 2 ) ∈ R1 × , множество и множество возможных значенийслучайной величины 2 – замкнуты. Поэтому функция −(Φ2 (2 , 2 ) ≥ ) является полунепрерывной снизу по col(2 , 2 ) [19]. Поскольку случайные векторы1 и 2 независимы, функция −(Φ2 (2 , 2 ) ≥ ) является полунепрерывнойснизу по col(2 , 2 ), множество является компактным, то согласно [3] функция * (2 ) = inf −(Φ2 (2 , 2 ) ≥ )2 ∈является полунепрерывной снизу и для любого 2 из множества возможныхзначений случайной величины 2 инфимум достигается при некотором 2 ∈ ,а также существует измеримая позиционная стратегия на втором шаге, доставляющая максимум функции M[3 (3 )|2 ], при которой функция M[2 (2 )]определена.

В дальнейшем будем рассматривать только > 0, поскольку при ≤ 0по постановке задачи {3 ≥ } = 1, и < 41 (1 + 2 )2 , поскольку при ≥ 41 (1 + 2 )2 по постановке задачи {3 ≥ } = 0. Поставим задачу поискаоптимального управления1 = argmax(11 ,21 )∈2 (2 ) = argM[2 (2 )],(1.4)M[3 (3 )|2 ].(1.5)max(12 ,22 )∈Под оптимальной двухшаговой вероятностной стратегией будем понимать набор из 1 и 2 (2 ).1.2.Решение задачи на втором шагеВ данном разделе при помощи метода динамического программированияопределяется оптимальная стратегия второго шага.Проведем некоторые преобразования с величиной +1 :+1 = (1 + 1 1 + 2 2 ) = (1 + 2 + 1 1 + 2 2 ).—27—Обозначив , 1 1 + 2 2 + 1 + 2 , получаем+1 = ,(1.6)Найдем распределение случайной величины в случае 2 ≥ 1 ≥ 0.Лемма 1.2.При 2 ≥ 1 > 0 случайная величина имеет плотностьраспределения⎧ ⎪,0 ≤ ≤ ,⎪⎪⎪ ⎪⎪⎪1⎪⎨ , ≤ ≤ , () = ⎪ + − ⎪⎪, ≤ ≤ + ,⎪⎪⎪⎪⎪⎩0,иначе,(1.7)где , 21 (1 + 1 ), , 22 (1 + 2 ).(1.8)При 1 = 0 и 2 > 0 случайная величина имеет плотность распределения⎧⎨ 1 , 0 ≤ ≤ , () = ⎩0,иначе.При 2 = 1 = 0 случайная величина равна нулю с вероятностью единица.Доказательство леммы 1.2.Пусть 1 > 0, тогда согласно формуле сверткиплотностей из [21] получаем21∫︁(1+1 ) () =1 ^ ( − ),21 (1 + 1 ) 2(1.9)0где⎧⎪1⎪⎨ , 0 ≤ − ≤ ,^2 ( − ) = ⎪⎪⎩0,иначе.Пусть 1 , 0, 2 , 21 (1 + 1 ), 3 , − 22 (1 + 2 ), 4 , , тогда интеграл(1.9) может быть ненулевым в следующих случаях:1) 1 ≤ 3 ≤ 2 ≤ 4 , 2) 1 ≤ 3 ≤ 4 ≤ 2 , 3) 3 ≤ 1 ≤ 4 ≤ 2 , 4)3 ≤ 1 ≤ 2 ≤ 4 .

Рассмотрим случай 1). Если 1 ≤ 3 , то ≥ 22 (1 + 2 ),(1.10)—28—так как 0 ≤ − 22 (1 + 2 ). В случае 3 ≤ 2 : ≤ 22 (1 + 2 ) + 21 (1 + 1 ),(1.11)потому что − 22 (1 + 2 ) ≤ 21 (1 + 1 ). Если 2 ≤ 4 , то ≥ 21 (1 + 1 ).(1.12)Разрешая систему неравенств (1.10), (1.11), (1.12) относительно и учитывая,что 2 ≥ 1 > 0, получим область интегрирования в (1.9):22 (1 + 2 ) ≤ ≤ 22 (1 + 2 ) + 21 (1 + 1 ).Рассмотрим случай 2). В силу того, что 1 ≤ 3 : ≥ 22 (1 + 2 ),(1.13)так как 0 ≤ − 22 (1 + 2 ).

Если 4 ≤ 2 , то ≤ 21 (1 + 1 ).(1.14)Разрешая систему неравенств (1.13), (1.14) относительно , получаем, что данная система несовместна, поскольку 2 ≥ 1 > 0.Рассмотрим случай 3). Если 3 ≤ 1 , то ≤ 22 (1 + 2 ),(1.15)потому что − 22 (1 + 2 ) ≤ 0. Если 1 ≤ 4 , то0 ≤ .(1.16) ≤ 21 (1 + 1 ).(1.17)В случае 4 ≤ 2 :Разрешая систему неравенств (1.15), (1.16), (1.17) относительно и учитывая,что 2 ≥ 1 > 0, получим0 ≤ ≤ 21 (1 + 1 ).—29—Рассмотрим случай 4). Если 3 ≤ 1 , то ≤ 22 (1 + 2 )(1.18)в силу − 22 (1 + 2 ) ≤ 0. Если 2 ≤ 4 , то ≥ 21 (1 + 1 ).(1.19)Разрешая систему неравенств (1.18), (1.19) относительно и учитывая, что2 ≥ 1 ≥ 0, получим21 (1 + 1 ) ≤ ≤ 22 (1 + 2 ).Таким образом, в случае 1)∫︁ () =1 + − =, −в случае 3)∫︁ () =1 =, 0в случае 4)∫︁ () =11 =.

0Таким образом,⎧⎪⎪,⎪⎪⎪⎪⎪⎪1⎪⎪,⎪⎪⎪⎨ () = + − ,⎪⎪ ⎪⎪⎪⎪⎪⎪0,⎪⎪⎪⎪⎪⎩0,0 ≤ ≤ , ≤ ≤ , ≤ ≤ + ,(1.20) ≤ 0, ≥ + .Пусть 1 = 0 и 2 > 0, тогда = 2 + 2 2 ∼ ℛ[0, ]. Следовательно,⎧⎪1⎪⎨ , 0 ≤ ≤ , () = ⎪⎪0,⎩иначе.—30—В дальнейшем для удобства введем обозначения ˆ 1 , 1 + 1 и ˆ2 , 1++ 2 . На втором шаге имеем2 (2 ) =max(12 ,22 )∈M[3 (3 )|2 ].(1.21)Оптимальная стратегия 2 (2 ) = (12 , 22 )T определяется исходя из решениязадачи2 (2 ) = argmax(12 ,22 )∈M[3 (3 )|2 ].(1.22)Найдем выражение для функции M[3 (3 )|2 ], стоящей в правой части (1.21).При 2 ≥ /ˆ 1 функция M[3 (3 )|2 ] имеет вид⎧2⎪⎪⎨1 −, 1/2 ≤ 22 ≤ 1 −,282 ˆ 1ˆ 2 22 (1 − 22 )22 ˆ1M[3 (3 )|2 ] =2ˆ 1 − 2/2ˆ1⎪⎪+, 1−≤ 22 ≤ 1,⎩1 −2ˆ24ˆ 2 2222 ˆ1Лемма 1.3.при /ˆ 2 < 2 < /ˆ 1 функция M[3 (3 )|2 ] имеет вид1−ˆ12ˆ 1 − 2/2+,2ˆ24ˆ 2 22при /(ˆ1 +ˆ 2 ) ≤ 2 ≤ /ˆ 2 функция M[3 (3 )|2 ] имеет вид⎧(−/2 + 2ˆ 1 (1 − 22 ) + 2ˆ 2 22 )2⎪⎪⎨, 1/2 ≤ 22 ≤,8ˆ 1ˆ 2 (1 − 22 )2222 ˆ22ˆ 1 − 2/2ˆ1⎪⎪+,≤ 22 ≤ 1,⎩1 −2ˆ24ˆ 2 2222 ˆ2при /(2ˆ 2 ) < 2 < /(ˆ1 +ˆ 2 ) функция M[3 (3 )|2 ] имеет вид⎧ − 22 ˆ1⎪0,1/2 ≤ 22 ≤,⎪⎪⎪22 (ˆ2 −ˆ 1)⎪⎨(−/2 + 2ˆ 1 (1 − 22 ) + 2ˆ 2 22 )2 − 22 ˆ1,≤ 22 ≤,⎪8ˆ 1ˆ 2 (1 − 22 )2222 (ˆ2 −ˆ 1)22 ˆ2⎪⎪⎪2ˆ 1 − 2/2ˆ1⎪⎩1 − +,≤ 22 ≤ 1,2ˆ24ˆ 2 2222 ˆ2при 2 ≤ /2ˆ 2 функция M[3 (3 )|2 ] равна нулю.—31—Доказательство леммы 1.3.Рассмотрим два случая: 1/2 ≤ 22 < 1 и 22 == 1.