В.В. Александров, С.С. Лемак, Н.А. Парусников - Лекции по механике управляемых систем, страница 10

Тогда1μy = 0, f (y1 , y2 ) =πи◦ ◦ 1y1 y2 dy1 dy2 = 0,R12 = M Y 1 Y 2 =πy12 +y22 ≤1поскольку подынтегральное выражение является нечетной функциейсвоих аргументов, а область интегрирования центрально симметрична. С другой стороны, величины y1 , y2 очевидно зависимы, посколькуy12 + y22 ≤ 1.Выясним вероятностный смысл понятия корреляции. ПопытаемсяX2 выразить через X1 линейным образомX2 aX1 + b,61подобрав коэффициенты a и b так, чтобы среднеквадратичная ошибкаδ линейного представления была минимальной:δ 2 = M (X2 − aX1 − b)2 = min .a,bПолучим2δ 2 = σ22 (1 − r12) + (aσ1 − r12 σ2 )2 + (μ2 − aμ1 − b)2 .Минимальное значение δ 2 обеспечивается приaσ1 − r12 σ2 = 0,μ2 − aμ1 − b = 0.И тогда2).δ 2 = σ22 (1 − r12Ошибка δ 2 максимальна при r12 = 0 (R12 = 0) и равна нулю при|r12 | = 1.

Кроме того |r12 | ≤ 1, поскольку δ 2 ≥ 0, и, соответственно,|R12 | ≤ σ1 σ2 .С другой стороны, если имеет место точное равенствоX2 = aX1 + b,то, как легко показать,r12 = sign(a).Таким образом, коэффициент корреляции служит мерой линейнойсвязи X2 с X1 .

Так как r12 отражает степень только линейной связи,из некоррелированности X2 и X1 еще не следует их независимость.2. Основные законы распределенияЗакон равной плотности (для скалярной случайной величины).Закон определяется двумя параметрами x1 и x2 (x2 > x1 ):⎧0,x ≤ x1 ,⎨1/(x2 − x1 ),x1 < x ≤ x2 ,f (x) =⎩0,x > x2 .x2 + x1(x2 − x1 )2, Dx =.212Hормальный закон распределения (закон Гаусса).Одномерный случай.Закон определяется параметрами μx = M [X] и σx2 = D [X] =μx =◦M [X 2 ]:62 (x − μ )2 1xexp −f (x) = √,2σx22πσxP (x1 ≤ X < x2 ) = Φ(t2 ) − Φ(t1 ),где1Φ(t) =2πte−u22du,t1 =x1 − μx,σxt2 =x2 − μx.σx0Для функции Φ(t) составлены подробные таблицы.Полезно знать два числа, связанные с нормальным законом распределения:P (|X − μx | < σx ) = 0.67,P (|X − μx | < 3σx ) = 0.997.Величину 3σx в инженерной практике называют предельной, темсамым пренебрегая вероятностьюP (|X − μx | > 3σx ).Многомерный случай.X = (X1 , X2 , .

. . , Xn ) ,f (x) = f (x1 , x2 , . . . , xn ) = 1n1= (2π)− 2 (det Rx )− 2 · exp − (x − μx ) Rx−1 (x − μx ) ,2◦ ◦ Rx = M X · X . (8.2)μx = M [X] ,Замечание 10. Важность нормального распределения в практических задачах частично объясняется центральной предельной теоремой , которая утверждает, что это распределение вполне естественно появляется в результате суммарногодействия большого числа независимых случайных величин.Точнее, пусть x1 , x2 , . . . , xn есть n взаимно независимых случайных величин с произвольными и, возможно, различными функциямираспределения.

Пусть μi и σi2 — среднее значение и дисперсия случайной величины xi , i = 1, . . . , n.Рассмотрим сумму случайных величинnai xi ,x=i=1где ai — произвольные фиксированные постоянные. Тогда среднеезначение μx и дисперсия σx2 случайной величины x имеют видnna i μi ,σx2 =a2i σi2 .μx =i=1i=163Последнее равенство справедливо в силу взаимной независимости xiи xj при i = j.Центральная предельная теорема утверждает, что при достаточно общих условиях распределение суммарной случайной величины xпри n → ∞ стремится к нормальному распределению с приведеннымивыше средним μx и дисперсией σx2 .Свойства нормального распределения1. Если X и Y — два случайных вектора, совместная плотностьвероятности которых имеет вид (8.2), то f (x), f (y) и f (x/y)также имеют вид (8.2).2.

Если Y = L[X] — линейный оператор, то из нормальностираспределения вектора X следует нормальность распределения вектора Y .3. Для случайных величин, распределенных по нормальному закону, понятия независимости и некоррелированности совпадают.4. Нормально распределенный вектор X с математическим ожиданием μx и ковариацией Rx может быть получен с помощьюлинейного преобразованияx = S x · u + μx ,где u — нормально распределенный вектор с нулевым среднимзначением и ковариацией, равной единичной матрице:M [u] = 0,M u u = E.Для отыскания Sx надо решить задачу факторизации, т. е.

задачупредставления Rx в видеRx = Sx SxприRx > 0.Матрицу Sx принято называть квадратным корнем из матрицы R.Задача факторизации может быть решена неоднозначным образом.Приведем два наиболее употребимых варианта.1. Известно, что квадратичная форма α Rα ортогональным преобразованием β = U α приводится к диагональному виду:α Rα = β Λβ,где Λ = diag(λ1 , λ1 , .

. . , λn ).В нашем случае все λi > 0. Отсюда следует R = U ΛU и1S = UΛ2 .642. В качестве матрицы S можно выбрать нижне- или верхне- треугольную матрицу вида⎛s11⎜ s21Sl = ⎜⎝ .sn10s22.sn2..........00.snn⎞⎟⎟,⎠⎛s11⎜ 0Su = ⎜⎝ .0s12s22.0..........⎞s1ns2n ⎟⎟.. ⎠snnВычисление элементов sij матриц Sl , Su определяется алгоритмами аналитического разбиения Холецкого.Заметим, что треугольные матрицы широко используются при решении задач оценивания.Их очевидные свойства:1. сумма и произведение однотипных матриц является треугольной матрицей того же типа;2. матрица, обратная к треугольной — есть треугольная матрицатого же типа.65Лекция 9Случайные процессы и их характеристикиСлучайным процессом (случайной функцией) X(t, ω) будем называть функцию двух аргументов: неслучайного параметра t и элемента ω ∈ Ω из пространства элементарных событий.При фиксированном t величина X является случайным вектором, при фиксированном ω — детерминированной векторной функцией (реализацией случайного процесса).

Параметр t далее будем интерпретировать как время. Параметр t либо изменяется непрерывнымобразом (процессы с непрерывным временем), либо принимает дискретные значения, допускающие нумерацию (процессы с дискретнымвременем).Самый простой способ описать случайный процесс — это задать закон распределения процесса в каждый момент времени t. Притаком способе вводится либо функция распределения F (x, t), либоплотность вероятности f (x, t).

В соответствии с этим определяются математическое ожидание M [x(t)] = μx (t) и матрица ковариации◦◦M [X(t)X (t)] = Px (t, t).Более полное описание случайного процесса получим, если будемучитывать связь между значениями процесса в моменты t1 = t и t2 =s, т.е. если зададим совместный закон распределения двух векторовX(t) и X(s):F (x(t), x(s); t, s).Для них можно определить матрицу◦◦Px (t, s) = M X(t)X (s) ,которую будем далее называть матрицей корреляции, в отличие отее частного случая — матрицы ковариации Px (t, t).

Очевидно, чтоматрица Px (t, s) — неотрицательно-определенная матрица.Теория, основанная на описании процесса с помощью характеристик его вероятностного распределения для двух моментов времени tи s, носит название корреляционной теории. В дальнейшем все рассуждения будут проводиться в рамках этой теории.В приложениях важна принадлежность или не принадлежностьслучайных процессов к трем классам. Эти классы таковы:66• стационарные,• марковские,• нормальные (гауссовы) процессы.Определение 9. В рамках корреляционной теории стационарными процессами называются такие, функции распределениякоторых не зависят от выбора начала отсчета времени:F (x(t), x(s)) = F (x(t + τ ), x(s + τ )).Для стационарного процессаμx = const ,Px (t, s) = Px (τ ),где τ = t − s.Компоненты вектора X в этом случае называются стационарно связанными.В частности, в скалярном случае◦◦Kx (t, s) = M X(t)X(s) ,причем Kx (t) – четная функция, т.е.

Kx (τ ) = Kx (−τ ), и Dx = Kx (0).Определение 10. Процесс называется марковским, если вероятностные свойства процесса в будущем полностью определяются вероятностными свойствами процесса в настоящем и независят от поведения процесса в прошлом.Пусть t1 < t2 < . . . < tn , где n — произвольное целое число. ТогдаP {X(tn ) < xn |X(tn−1 ) = xn−1 , . .

. , X(t1 ) = x1 } ≡≡ P {X(tn ) < xn /X(tn−1 ) = xn−1 } ,или, в терминах условной плотности:f (xn |xn−1 , . . . , x1 ) = f (xn |xn−1 ).Определение 11. Процесс называется нормальным или гауссовым, если для любых моментов времени t1 , t2 ,. . ., tn соответствующие случайные векторы имеют совместное нормальноераспределение.1. Анализ случайных процессовЦель последующего изложения — ввести понятия сходимости,непрерывности, производной, интеграла применительно к случайнымфункциям. Эти понятия, известные из области анализа, нуждаются всущественном уточнении. Имеется три различных определения сходимости последовательности случайных величин.67Определение 12. Сходимость по вероятности.

Последовательность {Xn (ω)} сходится по вероятности к X(ω), если для любого ε > 0lim P {|Xn − X| ≥ ε} = 0.n→∞Определение 13. Сходимость в среднеквадратичном. Последовательность {Xn } сходится в среднеквадратичном к X, еслиlim M |Xn − X|2 = 0.n→∞Из сходимости в среднеквадратичном вытекает сходимость по вероятности. Этот факт является непосредственным следствием неравенства Чебышева:M |Xn − X|2P {|Xn − X| ≥ ε} ≤.ε2Аналогично определяется непрерывность случайных функций.Определение 14.

Случайная функция x(t) непрерывна по вероятности в точке t, если для каждого ε > 0lim P {|X(t1 ) − X(t)| > ε} = 0.t1 →tОпределение 15. Случайная функция X(t) непрерывна в среднеквадратичном, еслиlim M |X(t1 ) − X(t)|2 = 0.t1 →tОба определения непрерывности ничего не говорят о непрерывности каждой реализации. Об этом говорит третье определение сходимости, называемой сходимостью с вероятностью единица или почтинаверное. Но в дальнейшем нам не понадобится это третье определение.Теорема 12. Операции предела и математического ожиданияпереставимы, если предел понимать в среднеквадратичном:lim M [Xn ] = M lim Xn = M [X] .n→∞n→∞Теорема 13. Для того, чтобы случайный процесс был непрерывен в среднеквадратичном, необходимо и достаточно, чтобыбыли непрерывны его математическое ожидание μx (t) и функция корреляции Px (t, s) в диагональных точках плоскости (t, s)(при t = s).Замечание 11.

Из непрерывности функции корреляции в диагональных точках следует ее непрерывность всюду.68Определение 16. Производной dxdt в среднеквадратичном называется предел в среднеквадратичном отношенияx(t + Δt) − x(t)при Δt → 0.ΔtОпределение означает, что2 x(t + Δt) − x(t) dxlim M−= 0.Δt→0ΔtdtТеорема 14. Для того, чтобы случайная функция была дифференцируема в среднеквадратичном, необходимо и достаточно, чтобы существовали производная математического ожидания и вторая смешанная производная функции корреляции вдиагональных точках.Замечание 12. Из существования второй смешанной производной в диагональных точках следует существование вторых ипервых производных от этой функции всюду.Поскольку производная является пределом в среднеквадратичном, операции дифференцирования и математического ожидания переставимы:◦◦ dx(t) dx dμdx(s) ∂ 2 Px (t, s)x,M·.==Mdtdtdtds∂t∂sВ частном случае стационарной функции получаемy=dx,dtPy (t, s) = −d2 Px (τ )= Py (τ ),dτ 2τ = t − s.bОпределение 17.