Диссертация (Алгоритмы оценки квантильного критерия с заданной точностью в задачах стохастического программирования с кусочно-линейными и квадратичными функциями потерь), страница 6

Границы точного доверительного интервала для неизвестной вероятностинаходятся путем решения уравнений Клоппера-Пирсона для определения квантилейбиномиального распределения Bi(n, p), где n – объем выборки, а p – вероятностьуспеха в одном бернуллиевском испытании. Для больших n точное решение этихуравнений затруднительно, поэтому обычно используется их нормальная аппроксимация, основанная на центральной предельной теореме.Пусть Zn = (Φ1 , ..., Φn ) — выборка объема n, где Φk = Φ(ξk ), а ξ1 , ..., ξn — независимые, одинаково распределенные реализации вектора X с распределением, зависящимот неизвестного параметра θ. Пусть также θbn — построенная по выборке Zn состо-ятельная оценка параметра θ, ε > 0 — заданная точность оценивания, β ∈ (0, 1) —заданная доверительная вероятность.

Требуется определить натуральное число Nтакое, что(36)noPθ θbn − θ < ε ≥ βдля всех n > N. Здесь и всюду далее Pθ — вероятность, зависящая от истинногозначения параметра θ. Назовем это число гарантирующим объемом выборки. Задачуопределения N назовем двухсторонней задачей определения гарантирующего объемавыборки.27В приложениях часто возникает задача, в которой вовсе не требуется оценитьнеизвестный параметр θ как можно точнее, а требуется проверить условие θ ≥ θlили условие θ ≤ θr , где θr , θl — заданные границы, характеризующие множествадопустимых (желаемых) значений параметра θ.

Например, одним из требований,предъявляемых к системам управления в условиях неопределенности, может бытьвыполнение цели управления с вероятностью не ниже, чем некоторая заданная величина θl . В этой связи представляют интерес задачи определения натуральных чиселNl и Nr таких, что(37)для всех n ≥ Nr и(38)nobPθ θ < θn + ε ≥ βnoPθ θ > θbn − ε ≥ βдля всех n ≥ Nl . Задачу определения Nr назовем правосторонней задачей, а зада-чу определения Nl — левосторонней задачей определения гарантирующего объемавыборки. При этом сами величины Nl и Nr будем называть, так же как и N, гарантирующими объемами выборки.

Сформулированные выше задачи определениягарантирующего объема выборки тесно связаны с задачами доверительного оценивания параметров. В [25] введено следующее понятие.Определение. [26] Пусть an = a(Zn ) и bn = b(Zn ) — некоторые статистики. Интервал an , bn называется гарантирующим доверительным интервалом для параметра θ,если найдется натуральное число n0 , независящее от θ, такое, что(39)Pθ {an < θ < bn } ≥ βдля всех n > n0 . Ниже будем называть такой гарантирующий доверительный интервал двухсторонним.Определение. [26] Пусть an и bn — некоторые статистики, а αθ — нижняя, ωθ— верхняя границы априори допустимых значений параметра θ. Интервал (αθ , bn )называется правосторонним гарантирующим доверительным интервалом для θ, еслинайдется натуральное nr , независящее от θ, такое, что(40)Pθ {αθ < θ < bn } ≥ βдля всех n > nr .28Интервал (an , ωθ ) называется левосторонним гарантирующим доверительным интервалом для θ, если найдется натуральное nl , независящее от θ, такое, что(41)Pθ {an < θ < ωθ } ≥ βдля всех n > nl .Априорные границы αθ и ωθ могут быть как конечными, так и бесконечными.Например, если θ — неизвестная вероятность, то αθ = 0, ωθ = 1.

В задаче оцениваниянеизвестного параметра θ экспоненциального распределения αθ = 0, ωθ = +∞.В [25] предложено строить гарантирующие доверительные интервалы с использованием ЦПТ и с учетом погрешности ЦПТ для конечных n. Эта погрешность оценивается в следующей теореме [50], на которую будем ссылаться ниже как на локальнуютеорему Берри-Эссеена.Т е о р е м а 1 [50]. Если Φ1 , ..., Φn — независимые, одинаково распределенныеслучайные величины с математическим ожиданием m и дисперсией σ 2 , то(42)|Fn (x) − Φ(x)| ≤ δn = AM [|ξ − m|3 ]√,σ 3 n(1 + |x|3 )где A = 0, 7655, случайная величина ξ распределена так же, как и элементы выборкиΦ1 , ..., Φn , Fn (x) – функция распределения нормированной суммы(43)Φ1 + ...

+ Φn − nm√Yn =σ n1и Φ(x) = √2πZxe−y2 /2dy.−∞Определение. [26] Пусть 0 < ε < 1. Интервал (θ− , θ+ ) = (θ− (Zn , ε), θ+ (Zn , ε) называется асимптотически доверительным интервалом для параметра θ уровня доверия1 − ε, если для любого θ(44)lim inf Pθ (θ− < θ < θ+ ) ≥ 1 − ε.n→∞Оценивание неизвестной вероятности.Рассмотрим задачу определения гарантирующих объемов выборки для оценивания неизвестной вероятности θ в бернуллиевой серии испытаний. В этом случаеэлементы выборки Zn имеют распределение Бернулли с параметром θ. В качествеоценки θbn рассмотрим частоту успехов, т.е.(45)Φ1 + ...

+ Φnθbn =.n29Введем в рассмотрение функцию Лапласа Φ0 (x) = Φ(x) − 1/2 обозначим черезxp решение уравнения Φ0 (x) = p относительно x. Величина xp есть квантиль уровняp + 1/2 для стандартного нормального распределения N(0, 1).Л е м м а 1 [25]. В задаче оценивания неизвестной вероятности двухстороннийгарантирующий доверительный интервал определяется выражениями:(46)an = θbn − εn ,bn = θbn + εn ,где γ ∈ (0, (1 − β)/2).

При этом(47)n0 ="4A2x6(β/2)+γ γ 2#εn =x(β/2)+γ√ ,2 n+ 1,где [·] обозначает целую часть числа.Если в (47) формально положить γ = 0, то двухсторонний доверительный интервал для вероятности становится асимптотическим, но перестает быть гарантирующим, так как n → ∞ при γ → 0.

Это означает, что для асимптотического довери-тельного интервала нельзя гарантировать выполнение неравенства (40) ни при какомконечном n. Таким образом, свойство гарантии в лемме у предложенного доверительного интервала обеспечено некоторым расширением асимптотического доверительного интервала за счет поправки к уровню квантили стандартного нормальногораспределения.Разрешим относительно n неравенство εn < ε.

Получаем(48)n>Обозначая(49)N0 =x(β/2)+γ2ε2.x(β/2)+γ 2+ 1,2εнаходим, что решение двухсторонней задачи определения гарантирующего объемавыборки для оценивания неизвестной вероятности может быть найдено по формуле(50)N = max{n0 , N0 }.По этой же схеме решаются левосторонняя и правосторонняя задачи определениягарантирующего объема выборки для оценивания вероятности.30Л е м м а 2 [26]. В задаче оценивания неизвестной вероятности границы правостороннего и левостороннего гарантирующих доверительных интервалов определяютсявыражениями:bn = θbn + εn ,(51)где(52)an = θbn − εn ,εn =xβ+γ ∗ −1/2√,2 n"4A2γ ∗ ∈ (0, 1 − β).

При этом(53)nr = nl =x6β+γ ∗ −1/2 (γ ∗ )2#+ 1.Несмотря на то, что задача определения гарантирующего объема выборки решается, метод Монте-Карло обладает методологическим недостатком: точность решения задачи анализа зависит от величины β, которую можно назначить лишь субъективным путем.1.1.3Ядерная оценка функции вероятности.Пусть как и в предыдущем разделе, ξ – случайный вектор, Φ(x) : R1 → R1 —борелевская функция потерь, ξ1 , ..., ξn — независимые реализации вектора ξ.

Рассматривается задача статистической оценки функции вероятности(54)Pϕ = P {Φ(ξ) ≤ ϕ}.Поскольку Pϕ является функцией распределения случайной величины Φ = Φ(ξ), то вкачестве решения задачи можно принять выборочную оценку вероятности. Но выборочная функция распределения кусочно-постоянна, не убывает, а величины скачковв точках разрыва имеют порядок O(1/n). В тех случаях, когда априори известно,что случайная величина Φ абсолютно непрерывна, наличие указанных скачков может оказаться неудобным, несмотря на то что их порядок O(1/n) меньше величины√O(1/ n) погрешности выборочной оценки вероятности. Проблема сглаживания выборочной функции распределения решается путем введения в рассмотрение ядернойоценки функции вероятности:31Pbn∗(ϕ) =(55)Z+∞ ϕ−ydPbn (y),Qhn−∞где Q(y) — функция распределения некоторой случайной величины Y , называемая ядром, hn — некоторая положительная величина, называемая окном сглаживания.

Впервые ядерная оценка предложена в работе [94]. Подробное исследованиеее свойств изложено в [6].Т е о р е м а 2 [6]. Пусть выполнены следующие условия:(а) функции распределения F (ϕ) и Q(y) абсолютно непрерывны;(б) hn → 0 при n → ∞.Тогда ядерная оценка Pbn∗ (ϕ) сходится почти наверное к Pϕ равномерно по ϕ приn → ∞, т.е.(56)п.н.sup |Pbn∗(ϕ) − Pϕ | −−→ 0 при t → ∞.ϕ∈R11.1.4Статистические оценки функции квантили.Рассматривается проблема статистического оценивания функции квантили(57)ϕα = min{ϕ : Pϕ ≥ ϕ},по выборке независимых реализаций ξ1 , ..., ξn вектора ξ, где P ϕ — функция вероятности, Φ(x) : R1 → R1 — борелевская функция потерь, ξ — случайный вектор, α ∈ (0, 1)— заданная вероятность.Выборочная оценка функции квантили.Рассмотрим выборку Φ1 , ..., Φn значений случайной величины Φ = Φ(ξ), где Φk =Φ(ξk ), и соответствующий этой выборке вариационный ряд(58)Φn1 ≤ ...

≤ Φnn .Элементы вариационного ряда называются порядковыми статистиками. Порядковаястатистика с номером [αn], где [·] обозначает целую часть числа, т.е.(59)b n (α) = Φn ,Φ[αn]называется выборочной оценкой функции квантили.32Свойства выборочной квантили описаны во многих учебниках по математическойстатистике, например в [85, 92]. Приведем одно утверждение, доказанное в [24, 48]Л е м м а 3 [24, 48]. Пусть α ∈ (0, 1) и случайная величина Φ имеет плотностьвероятности p(ϕ), непрерывную в некоторой окрестности точки ϕα , причем p(ϕα ) > 0.Тогда случайная последовательность(60)b n (α) − ϕαΦsnp2 (ϕα ) F−→ U ∼ N(0, 1),α(1 − α)т.е.