Переопределенные системы. МНК (метод наименьших квадратов)

Переопределенные системы. МНК (метод наименьших квадратов)В приложениях часто встречаются переопределенные системы, в которых числоуравнений больше числа неизвестных:naikxk  f i , i  1, m , m  n ,(1)k 1или в матричном виде: Ax  f , A  Amn , x  R n , f  R m , m  n .(2)Вводится следующее существенное предположение: ранг системы (2) (т.е.

числолинейно независимых уравнений) равен числу неизвестных n .Как правило, система (2) в обычном смысле не имеет решений (теорема КронекераКапелли).Определение.Согласно методу наименьших квадратов под обобщенным решениемсистемы (2) понимается набор чисел x1 , x2 ,  , xn , для которого минимальнасумма квадратов невязок:n2F  x1 , x2 ,  , xn    aik xk  f i  , F  min .(3)k 1Решение задачи (3) находится следующим образом. Записываются необходимыеусловия минимума, известные из математического анализа:n1 F n    aik xk  f i aij , j  1, n .2 x j i1  k 1Меняя порядок суммирования по i и по knn n  xk  aik aij   aik f i   0k 1 i 1i 10и обозначаяnb jk  naik aij , g k i 1aikfi ,(4)i 1получаем для определения x1 , x2 ,  , xn систему уже из n уравнений:nbjkxk  f j , j  1, n ,(5)k 1или в матричном виде: Bx  g , B  Bnn x  R n , g  R n ,(6)причем согласно (4)B  AT A , g  AT f .(7)Систему (5) в матричном виде, учитывая (6) и (7):AT Ax  AT f ,принято называть нормальным уравнением.Можно доказать (см.

Рябенький. Введение в вычислительную математику), чтосистема (8) всегда имеет и притом единственное решение, а ее матрица являетсяположительно определенной.(8) x  2 y  8.5Пример 1. Найти решение 2 x  y  6.7 . x  3 y  11.1 Эта система не имеет решения в обычном смысле.Для получения ее нормального псевдорешения (обобщенного решения), т.е. решения всмысле МНК, составляем новую систему по типу нормального уравнения (8) при n  2 ,m  3:1 2 8.5  T 1 2 1  A   2 1  , A   , f   6.7  2 1 31 311.11 2 8.5   33 12167121B  AT A    2 1  =  , g  AT f    6.7  =   . 2 1 3  2 1 3   7 14   57 1311.1  6 x  7 y  33 T TСистема A Ax  A f : - «эквивалентна» системе Ax  f .7 x  14 y  571251 6 7 33  6 7 33  1 0 1.8  1 0 1.8 2 2 12 6 1     7 14 57   5 0  9 6 7 33  0 7 22.2 12  1 0 1.8 7. 013.171 x   1.8 Ответ:     .

 y   3.171Замечание. Если второе уравнение исходной системы умножить, например, на 100, т.е 8.5 x  2yрешать систему 200 x  100 y  670 эквивалентную исходной в x  3y 11.1классическом смысле, то получим нормальное уравнение40002 x  20005 y  134019.6, решая которое находим решение20005x10013y67050.3 x   1.756     близкое к полученному выше, но все же отличное от него.y3.188  Интегральное квадратичное аппроксимирование функции на отрезке.Пусть f  x  непрерывная на отрезке a, b функция: f  C a, b  ;1  x ,  2  x ,  ,  m  x  - система линейно независимых на отрезке a, b функций;Qm  a11  x   a2 2  x     am m  x  - обобщенный полином.Надо аппроксимировать f  x  обобщенным полиномом Qm  x  на отрезке a, b так,bчтобы интеграл I   f x   Q x  dx был минимальным, т.е стоит задача подобрать2maa1 , a2 ,  , am (управляемые переменные) так, чтобы I принимал минимальноезначение.Запишем необходимое условие минимума:I 0 k k  1, m ,akиз которого получим систему уравнений:2bmmI bfxaxdx=2fxa j j  x  k  x dx = 0,j jak ak a j 2j 2a т.е.bmb a   x   x dx   f x  x dx , k  1, m .jj 2jkkaaТ.к.

система функций линейно независима, то определитель полученной системыотличен от нуля, поэтому решение существует и единственно.mЗамечание. Если система  k  x 1 ортогональна на a, b, то вычисления существенноb f x  x dxkbсократятся:  x  x dx  Ajakjk jk - и ak aкоэффициентыb2  x dxkaФурье разложения функции f  x  по ортогональной системе функций k x 1m .Примеры ортогональныч систем: 1, cos x, sin x,  , cos mx, sin mx на 0, 2  .a0 mQm    ak cos kx  bk sin kx  .2 k 1n1 dn 2 Полиномы Лежандра Pn  nx1, n  0, 1, 2,  на отрезке  1, 1 :2 n! dx nP0  x   1 ,P1  x   x ,1P2  x   3 x 2  1 ,21P3  x   5 x 3  3 x  ,21P4  x   35 x 4  30 x 2  3 , …8Замечание. Если надо приблизить функцию на отрезке a, b, то с помощьюbabaлинейного преобразования z xполучаем полиномы22~ 2z  b  a Pk  z   Pk  x   Pk  ортогональные на a, b.ba Полиномы Чебышева Tn cosn arccos x  на отрезке  1, 1 :T0  x   1 ,T1  x   x ,T2  x   2 x 2  1 ,T3  x   4 x 3  3x , …Tn1  x   2 xTn  x   Tn1  x  .Пример 2.

Получить среднеквадратичное приближение функции f  x   sin x наотрезке 0,   обобщенным полиномом третьей степени. Воспользуемся системой ортогональных полиномов Лежандра.2z  0,   , x   1, 1 , замена z  x  или x  z  1 .22~2Pk  z   Pk  x   Pk  z  1 .~P0  z   1 ,2~P1  z   z  1 ,21   2~P2  z    3 z  1  1 ,2 31  2~2P3  z    5 z  1  3 z  1  .2 ~~~~P 3  z   a0 P0  z   a1 P1  z   a2 P2  z   a3 P3  z  .1  sin zdza0 021 dz cos z 02,0220   z  1  sin zdz  0 z  sin zdz  cos z 0a1  23 220   z  1 dz z  1 2302 z cos z  0  2  cos zdz  202== 0,1  1 3  3 21   2 6 2 63z11sinzdz 2 z  z  1  sin zdz0 2     10 20   12 ,a2 22326621 20   2 z   z  1 dz0  2  3  z  1  1  dz a3  0 .210~~~ 0  P1  z   3  2  12 P2  z   0  P3  z  =2 2  10 120  62 10 21   26 3   12   3 z  1  1 =    3  2 z 2  z  1 = 2       60 2  12  2 60 2  12  12 2  10 z z.543P 3 z  Пример 3.

Получить среднеквадратичное линейное приближение функции f  x   sin xна отрезке 0,   .1 P  z   a0 1  a1  xНадо найти значения a0 и a1 , при которых I  sin z  P  z  dz минимален.120Получаем систему:  a0  1 1dz  a1  1  zdz   1  sin zdz 000, или a0 z 1dz  a1 z  zdz  z  sin zdz00 02aa21 022, т.е.

a0  , a1  0 .a0  a1 2  2321Ответ: P  z   . 2aa1 0223a0   a1  232, или.