Учебник - Практические занятия по вычислительной математике - Аристова, страница 12

Обозначим через А прямоугольную матрицу системы (1.1):Aa11a21a1sa2 san1ans.(1.2)Тогда систему (1.1) можно записать в видеbRs,Ab  f ,f Rn .(1.3)Введем в R «основное» скалярное произведение, положивnn(f , g)( n)   f k g k .(1.4)k 1Скалярное произведение в Rn можно ввести множеством других способов. Именно, произвольной симметричной и положительно определен-74III.2. Геометрический смысл метода наименьших квадратовной матрице B = B* > 0, т. е. (Bf, f) > 0, для любого вектора f ≠ 0 соответствует скалярное умножение(f , g) B  (Bf , g);f , g  R n.(1.5)Известно, что любое скалярное произведение в пространстве R можно записать формулой (1.5), подобрав соответствующий самосопряженный оператор B = B* > 0.Система (1.1), как правило, не имеет классического решения, т.

е. несуществует такого набора чисел b1, …, bs, который обращает каждое из nуравнений (1.1) в тождество.Определение. Фиксируем B = B* > 0, В: Rn → Rn. Введем функцию от b  R s , положивn(1.6)(b)  (Ab  f , Ab  f )B .Примем за обобщенное решение системы (1.1) вектор b  R s , придающий наименьшее значение квадратичной форме (1.6).Замечание. Выбор B = B* > 0 зависит от исследователя. Матрица Вимеет смысл «весовой» матрицы и выбирается из тех или иных соображений о том, какую цену придать невязке системы (1.1) при заданном(b1, b2, …, bs).Теорема 1.

Пусть столбцы матрицы А линейно независимы, т. е.ранг матрицы А равен s. Тогда существует одно и только одно обобщенное решение b системы (1.1). Обобщенное решение системы (1.1) является классическим решением системы уравненийA*BA b  A*B f ,(1.7)которая содержит s скалярных уравнений относительно s неизвестныхb1, b2, …, bs .В дальнейшем будем иногда использовать обозначениеC  A *BA.III.2.

Геометрический смысл метода наименьших квадратовПереопределенную систему Ab = f, где A = ||aij||, 1 ≤ i ≤ n, 1 ≤ j ≤ s,n > s, можно записать в виде:b1V1  b2 V2   bs Vs  f ,75III. МЕТОД НАИМЕНЬШИХ КВАДРАТОВгде Vi  R n – i-й столбец матрицы A, f  ( f1 , f 2 ,  , f n ) т  R n , а векторb  (b1 , b2 ,, bs ) т  R s .Требуется найти коэффициенты b1, b2, …, bs линейной комбинацииb1V1 + b2V2 + … + bsVs так, чтобы эта линейная комбинация наименее отличалась от f:f   bkVkB min.Обозначим через R s (V)  R n подпространство размерности s пространства Rn, состоящее из всевозможных линейных комбинаций векторов V1, …, Vs.Пусть b1, b2, …, bs – обобщенное решение переопределенной систе-мы.

Тогда линейная комбинация ΣbkVk – ортогональная в смысле скалярного умножения ( · , · )B проекция вектора f  R n на подпространствоRs(V), так как любой вектор из Rs(V) имеет видAδ  1V1 δ  Rs. 1Vs  Rs (V),Наименее уклоняется от f элемент ΣbkVk подпространства Rs(V),имеющий вид AbB , где bB – решение системы (1.7) методом наименьшихквадратов (МНК).В силу (AbB – f, Aδ)B = (B(AbB – f), Aδ)(n) = 0 элемент f – AbB ортогонален любому элементу Aδ  R s (V).Если в пространстве Rs вместо базиса V1, …, Vs выбрать какой-либодругой базис V1′, …, Vs′, то система (1.7) заменится системой(2.1)Cb   f с матрицей C′ = ||cij′||, где cij′ = (Vi′, Vj′)B, i, j = 1, 2, …, s, и правой частью,i-я компонента которой fi′ = (f, Vi′)B.Вместо решения bB системы (1.7) получим новое решение bB′ системы (2.1), но проекция f на Rs останется прежней.Если нас интересует проекция заданного вектора f на заданное подпространство R s  R n , то естественно стремиться к выбору базисаV1, V2, …, Vs этого подпространства, по возможности мало отличающегося от ортонормированного.

Искомая проекция от выбора базиса в Rs независит, а система МНК (1.7) в случае такого базиса будет иметь хорошообусловленную матрицу.76III.3. Задача неточной интерполяции функцииIII.3. Задача неточной интерполяции функцииЭта задача возникает, когда есть необходимость найти функциональную связь между переменной и значениями функции в некоторых выбранных точках, задаваемых таблицейxyx0y0……x1y1xnynЭта задача может ставиться как задача интерполяции, т.е.

как задачанахождения функции из заданного класса, проходящая через все точки(xi, yi). Однако если значения yi известны неточно, полученная в результате интерполяции функция может иметь большую ошибку между узламиинтерполяции.Зачастую мы хотим, чтобы функция y = f(x) передавала зависимость«в среднем». Обычно в этом случае вид зависимости y ≈ φ(x) выбираетсяиз каких-то внешних соображений из семейства m-параметрическихфункций φ(x, a1, a2, …, am), и эти параметры подбираются так, чтобы сумма квадратов отклонений приближенно вычисленной функции от табличных значений была минимальна:( xi , a1 , a2, ..., am ) 2n  ( xi , a1, a2, ..., am )  yi   min .i 0(3.1)Такая функция будет наилучшей аппроксимацией f(x) в смысле метода наименьших квадратов. Естественным требованием здесь также является n > m.Необходимым условием экстремума является обращение в нуль производных функционала Φ(xi, a1, a2, …, am) по параметрам:n  ( xi , a1 , a2, ..., am )  yi 0,a1 i 0a1...(3.2)  ( xi , a1 , a2, ..., am )  yi 0.an i 0annЕсли функция φ(x, a1, a2, …, am) представляет собой линейную функцию своих параметров a1, a2, …, am, то система (3.2) будет линейной.

Вобщем случае эта система может быть нелинейной, что может влечь засобой трудности в ее решении.В практике наиболее часто используются двухпараметрические итрехпараметрические семейства функций вида:77III. МЕТОД НАИМЕНЬШИХ КВАДРАТОВy = ax + b,y = a + b lnx, (y = a + b lgx);y=ax,y = a ebx , (y = a 10bx);by = 1/ (a + bx), y = x / (a + bx);y = a + b/x,2y = ax + bx + c, y = a xb + c, y = a ebx + c.При изучении периодических явлений применяют тригонометрические функции.Для самого распространенного случая поиска линейного приближения y = ax + b имеем линейную систему уравнений для поиска коэффициентовn  axi  b  yi   xi  0,i 0n  axi  b  yi  1  0.i 0Ее решение находится тривиально:a(n  1) xk yk   xk  yk(n  1) xk2   xk2 2,b yk  xk2   xk yk  xk .2(n  1) xk2   xk2Если зависимость приближающей функции от параметров являетсялинейной посредством комбинации базисных функцийm( x, a1 , a2, ..., am )   ai  i ( x) , то применение метода наименьшихi 1квадратов приводит к СЛАУ вида:(1 , 1 )a1  (1 , 2 )a2  ...(1 , n )an  (1 , y)...,(n , 1 )a1  (n , 2 )a2  ...(n , n )an  (n , y)где под скалярным произведением сеточных функций понимается величина(l , k ) n l ( xi ) k ( xi ).(3.3)i 078III.4.

Теоретические задачиЭто система с матрицей Грамма – симметричной, положительноопределенной, следовательно, решение такой системы существует и единственно.Если в силу каких-либо причин мы хотим по-разному учитывать влияние невязки интерполяции в различных точках интервала (например,чтобы уменьшить влияние краев), в определение (3.1) можно ввести весаn k rk2  min, rk  ( xi , a1, a2, ..., am )  yi .i 0Введение весов точек ρk аналогично использованию весовой матрицыB при решении переопределенных СЛАУ.При приближении непрерывной функции другой из выбранногокласса в смысле МНК скалярное произведение (3.3) должно быть заменено на интегралxn(l , k )   l ( x) k ( x) dx.(3.4)x0III.4.

Теоретические задачиIII.4.1. (В.С. Рябенький) Предложить алгоритм проведения на плоскостиокружности через четыре и более точек методом наименьших квадратов.III.4.2. Напряженность магнитного поля H и магнитная индукция B связаны соотношением B = H / (a + bH).

По результатам следующих экспериментальных измерений определить a и b:HB813.01014.01515.42016.33017.24017.86018.58018.8Указание. Непосредственное применение МНК к задаче нахождениякоэффициентов приводит к нелинейной системе. Линейную системууравнений для нахождения коэффициентов можно получить, проделавтождественные преобразования в функционале, приведя его к виду, пригодному для применения метода итерированного веса.III.4.3. Измерения трех углов плоского треугольника привели к значениям: A1 = 54°5, A2 = 50°1, A3 = 76°6. Сумма углов треугольникаA1 + A2 + A3 =180°12 дает невязку в 12, происходящую от погрешностейнаблюдений.

Ликвидировать невязку, следуя предписанию наименьшихквадратов.79III. МЕТОД НАИМЕНЬШИХ КВАДРАТОВIII.4.4. Периодическая, с периодом 2π функция y = f (x) задана в узлахxk = k∙2π/N, k = 0, 1, …, N – 1; yk = f(xk). Число N – нечетное. Построитьтригонометрический многочленPm(x) = C–me –imx + C–m + 1 e –i (m – 1)x + …+ Cm e imx,интерполирующий функцию y = f (x) в смысле метода наименьших квадратов в случае N = 5; m = 0, 1, 2.III.4.5.

Функцию y  1  sin 2 ( x  1) решено приближенно заменить тригонометрическим полиномомP2(x) = a + a1 sin x + b1 cos x + a2 sin 2x + b2 cos 2x, который наименее всмысле метода наименьших квадратов удаляется от таблицы значенийэтой функции, вычисленной в некоторых десяти заданных точкахx0, x1, …, x9.а) Опишите алгоритм для отыскания коэффициентов a, a1, a2, b1, b2.б) какие (существенные!) упрощения можно сделать в случае, еслиxk = k∙2π/10, k = 0, 1, …, 9.III.4.6.Пусть (1  2k )замерыфункцииy = f(x)осуществленывточках, k = 0, 1, …, n, являющихся нулями многочлена Чебы2(n  1)шёва Tn+1(x), и записаны в виде следующей таблицы.xk  cosxyX0Y0……x1y1xn – 1yn – 1xnynСреди многочленов степени не выше заданного k 0 ≤ k ≤ n указать тотмногочлен Pk (x), который наилучшим (в смысле метода наименьшихквадратов) образом приближает заданную функцию.Указание.