Метод наименьших квадратов

Метод наименьших квадратов

(приложения функции нескольких переменных)

Если в результате наблюдений при исследовании некоего процесса в точках х_i получены соответствующие значения у_i (i =1, 2, 3,..., n), то установить истинный характер функциональной зависимости невозможно, хотя для исследования процесса в промежуточных точках и для i > n желательно бы иметь такую функцию для его исследования методами математического анализа.

Поэтому перед исследователем стоит задача по точкам (х_i;у_i) , полученным в эксперименте, найти эмпирические (опытные) формулы у = f(х) общего вида, наилучшим образом согласующиеся с экспериментальными данными.

Эти формулы могут быть получены с помощью МНК, но они являются лишь гипотезами. Однако значение их велико, так как они дают возможность вычислять промежуточные значения (интерполяция) и прогнозировать изменения наблюдаемого в опыте процесса (экстраполяция).

Построение эмпирической формулы состоит из двух этапов:

• выбора общего вида формулы;

• определение параметров формулы, наилучшим образом согласующейся с опытными данными.

Наиболее часто в качестве эмпирических формул выбирают следующие функциональные зависимости:

1. линейные у = ах + b;

2. степенные у = сх^а;

3. п оказательные у = ;

4. г иперболические у = ;

5. многочлен где k > 1. В частности при k = 2 получим многочлен второго порядка: у = а₀ + а₁х + а₂х² (парабола).

Первые четыре функции содержат по два неизвестных параметра, а пятая – три при k =2, причем при k > 2 количество параметров будет увеличиваться.

6) сплайн функции (Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике. - М. 1976).

Примеры, 1) Экономика, погода, технические науки и т.д. 2) Материалы Х межд. конф. Актуальные проблемы электронного приборостроения. Т. 4, стр. 126 “Перепад волнового сопротивления нерегулярной линии передач” (интерполяционная формула получена как произведение степенной на экспоненту от многочлена: ).

1⁰ МНК для получения интерполяционной формулы

в виде линейной зависимости у = ах+b.

Если точки А_i(x_i;у_i) расположены на координатной плоскости с небольшими отклонениями вдоль некоторой прямой, то можно предположить, что между x_i и у_i существует линейная зависимость у = ах + b (1). Параметры а и b можно найти методом наименьших квадратов.

Подберем параметры α и b так, чтобы сумма квадратов отклонений

э кспериментальных точек от соответствующих точек , принадлежащих прямой y = ax + b, была наименьшей, то есть функция МНК

достигала экстремума (min).

Отклонение = B_i(х_i) – А_i(х_i), где B_i(х_i)= aх_i + b.

Продифференцируем по а и в , то есть найдем частные

производные по переменным а и в : и приравняем к

нулю, чтобы найти критические точки (*).

Т очность эмпирической формулы оценим с помощью среднего квадратического отклонения

(*) Нормальная система метода наименьших квадратов.

Пример. С помощью метода наименьших квадратов определить коэффициенты линейной функции у = ах + b по таблице экспериментальных значений

Изобразим точки на координатной плоскости и для 5 экспериментальных

значений (1), составляем функцию МНК и нормальную

систему метода наименьших квадратов (2).

(2)

В полученную систему подставляем значения из таблицы:

  Найденное уравнение имеет вид

. .

П огрешность , где у_i , берем из таблицы, а у_iэмп вычисляем

по полученной формуле для соответствующих х_i:

у_1эмп(х₁)= у_1эмп(1)=3,7; у_2эмп(х₂)= у_1эмп(2)=2,95; у_3эмп(х₃)= у_1эмп(3)=2,2;

у_4эмп(х₄)= у1эмп(4)=1,45; у_5эмп(х₅)= у1эмп(5)=0,77.

Тогда

= = = 0,731.

2⁰ МНК для получения интерполяционной формулы

в виде степенной, показательной и гиперболической функций.

В случае нелинейной зависимости (2, 3, 4) можно подобрать новые переменные U и V так, что бы между ними была линейная зависимость.

Такой прием называется выравнивание зависимости.

2.1. Выравнивание функциональной зависимости.

1. степенные функции у = сх^а;

П рологарифмируем и введем новые переменные: lny = V, lnx = U, lnc = b. Тогда у = сх^а ↔ V = аU + b – линейная зависимость.

1. показательные функции у = се^ах;

П рологарифмируем

и введем новые переменные: lny = V, x = U; lnc = b. Тогда у = се^ах ↔ V = аU + b – линейная зависимость.

1. гиперболические функции ;

Обозначим V = y; . . Тогда ↔ V = аU + b – линейная зависимость.

Пусть задана таблица экспериментальных значений

и точки А_i(u_i;v_i) изображены на координатной плоскости. Заметим, что они располагаются вдоль прямой v = аu + b.

Д ля решения этой задачи с переменными a и b в уравнении прямой, подберем их так, чтобы сумма квадратов отклонений экспериментальных точек А_i(u_i;v_i) от соответствующих точек B_i(u_i; au_i+b) l , была наименьшей, то есть

где отклонение = B_i(u_i) – A_i(u_i); B_i(u_i)= au_i + b , а функция МНК:

. Далее необходимо для исследования на экстремум продифференцировать функцию двух переменных

п о переменным a и b и приравнять частные производные к нулю.

 нормальная система метода наименьших квадратов.

Нормальная система метода наименьших квадратов – это система двух линейных алгебраических уравнений с двумя неизвестными. При ее решении любым способом, находим неизвестные параметры a и b и, соответственно, уравнение линейной зависимости: прямой v = аu + b.

Т очность эмпирической формулы оценим с помощью среднего квадратического отклонения , в том числе и для

функциональных зависимостей (2, 3, 4), где А_i(u_i;v_i), v_iэмп = аu_i + b .

Замечания. 1) Погрешность вычисляется по выровненной функциональной зависимости (линейной v = аu + b).

2) Ответ записывается как формула для соответствующей функциональной зависимости: степенной, показательной или гиперболической в соответствие с выполненной заменой переменных при выравнивании функциональной зависимости.

3⁰ МНК для подбора аналитической зависимости многочленом по

экспериментально полученным данным.

Интерполяция функции многочленом по методу наименьших квадратов.

Если для экспериментально полученных точек функциональная зависимость f(x_i) = y_i (i = 1, 2, 3,…., n) такая, что для ее аппроксимации удачнее выбрать

многочлен порядка k: P_k(x) = a₀ + a₁x + a₂x²+…. + a_kx^k = .

Используя метод наименьших квадратов, коэффициенты a_j , будем подбирать так, чтобы сумма квадратов отклонений многочлена P_k(x_i) от заданных y_i(x_i)

была минимальной, то есть для

производные по неизвестным параметрам а_j (j =0, 1, 2, 3,…,) должны быть равны нулю. Так как неизвестных параметров k+1, то после дифференцирования получаем систему линейных алгебраических уравнений относительно а_j порядка k+1:

, где m= 0, 1, 2.,k, причем система имеет единственное решение.

В частности:

Рассмотрим многочлен второго порядка при k = 2: P₂(x) = a₀ + a₁x + a₂x², содержащим 3 неизвестных параметра (a₀ , a₁ , a₂ ).

Составим для этого многочлена функцию разности квадратов отклонений по

методу наименьших квадратов: и систему линейных алгебраических уравнений третьего порядка относительно параметров а_j (j = 0, 1, 2) из частных производных функции по искомым параметрам:

.