Амосов А.А., Дубинский В.А., Копченова Н.В. Вычислительные методы для инженеров (1994) (1095853), страница 65
Текст из файла (страница 65)
Существуют различные подходы к решению поставленной задачи. Простейший из них состоит в использовании необходимого условия экстремума функции в: а Имеем в (а', у) = ~Р(а+ Ьв) — у~г = ~ра — у~г + 2(ра — у, РЬа) + + ~рда~г в (а у) + 2(ргра рту ~1а) + 1р~гар Остается заметить, что второе слагаемое в правой части полученного равенства в силу (11.100) равно нулю.
° Т е о р е м а 11.11. Еусгпь систпс.иа фунггций гас, уг, ..., гвн яинейно кезависижа в пгочках хв, хг, ..., х„. Тогда .иногочлен наи.гучшсго срсднвквадрапгичквго прибяижсния Ф$ суигесгпвуегп и единспгвен. и В силу теоремы 11.1 де1 Г Ф О. Поэтому решение а системы 3 а м е ч а н и е 1. Если гп = и и система функций ув, 1вг, ..., гг„ линейно независима в точках хв, хг, ..., х„, то многочлен Фй, найденный методом наименьших квадратов, совпадает с интерполяционным многочленом Ф„. В самом деле, Ф„(х,) = у; для всех г = О, 1, ..., и и поэтому в (Ф„, у) = О.
Так как среднеквадратичное уклонение не может быть отрицательным, то Ԅ— многочлен наилучшего среднеквадратичного приближения. В силу его единственност» Ф„= И. 3 а м е ч а н и е 2. Как правило, при использовании метода наи- меньших квадратов предполагается, что гп < и.
В этом случае метод обладает некоторыми сглаживающими свойствами. Очень часто для приближения по методу наименьших квадратов используются алгебраические многочлены степени гп < и. Поскольку система функций 1, х, ..., х" линейно независима в точках хс, хг, ..., х„ при ггг ~ и (см. пример 11.1), в силу теоремы 11.11 алгебраический многочлен наилучшего среднеквадратичного приближения существует и единствен.
Так как в случае приближения алгебраическими многочленами гггг(х) = хгг, то нормальная система (11.99) принимает следующий вид: Е ( Е х~'")а~ — — Е у,х~, 1 = О, 1, ..., т. г~О г*О г=с 346 (11.102) (11.101) существует и единственно. Таким образом, если многочлен Ф$ существует, то его коэффициенты ав, аг, ..., ан определяются единственным образом. Заметим теперь, что согласно лемме 11.1 для любого а' Ф а имеем в (а', у) Э в (а, у), т. е. на решении а нормальной системы действительно достигается минимум функции в.
° ~п и (и+ 1)ао+ ~Е х,~а1 — — Е уь 1*о Ех, ао+ Ех,. а1 — Еу,х;. (11.103) Если же используется многочлен второй степени Ра(х) = ао+ а1х + + агх2, то нормальная система имеет вид (и+1)ао+ Ех1 а1+ Ех~ а2 — Еуь Ех, ао+ Ех,. а1+ Ех,. а2- Еу,хь 2 + Е 3 + Е 4 Е 2 (11.104) Пример 11.15.
Пусть функция у = ~(х) задана следующей таблицей: Т а б л и ц а 11.13 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 у 0.21 0.23 0.31 0.29 0.42 0.35 0.58 0.61 0.59 0.66 Используя метод наименьших квадратов, аппроксимируем ее многочленами первой и второй степени и найдем соответствующие среднеквадратичные уклонения 61 и 62. Вычислим коэффициенты и правые части нормальных систем (11.103), 9 9 9 9 9 (11.104): Е х, = 4.5, Е х',. = 2.85, Е х,.
= 2.025, Е х, = 1.5333, Е у = 4.25, в=о ' 1=о ' в=о ' в'=о 9 Я Е у х, = 2.356, Е у,х', = 1.6154. ю'= о (=о Для многочлена первой степени нормальная система имеет вид 10ао + 4.5а1 = 4.25, 4.5ао + 2.85а1 = 2.356. Запишем систему (11.102) в развернутом виде в двух наиболее простых случаях тв = 1 и ~и = 2. В случае, когда приближение осуществляется многочленом первой степени Р1(х) = ао + а1х, нормальная система имеет вид Решив ее, получим значения ао и 0.183, а~ и 0.538 коэффициентов многочлена Р1(х) = ао + а~х наилучшего среднеквадратичного приближения.
Его график изображен на рис, 11.11, в. Запишем теперь нормальную систему для многочлена второй степени: 10ао + 4.5а1 + 2.85ат = 4.25, 4.5ао + 2.85а1 + 2.025ат = 2.356, 2.85ао + 2.025а1 + 1.5333а2 = 1.6154, Решив ее, получим значения ао и 0.194, а1 и 0.452, а2 н 0.0947 коэффициентов многочлена Р2(х) = ао + а1х + а2х2 наилучшего среднеквадратичного приближения. Вычисления по формуле для т = 1 и т = 2 дают значения б1 и 0.0486, 62 я 0.0481. Так как средняя погрешность е исходных данных заведомо превышает 0.01, нетрудно заключить, что приближения многочленами первой и второй степени дают в данной ситуации практически эквивалентный результат.
Учитывая большую простоту использования линейных функций, достаточно, по-видимому, остановиться на приближении ~(х) и 0.183 + 0.538а 3. Некоторые вычислительные аснекты задачи наименьших квадражв. Метод вычисления параметров ао, а1, ..., аа с помощью решения нормальной системы (11.101) кажется весьма привлекательным. Действительно, задача сводится к стандартной проблеме линейной алгебры — решению системы линейных алгебраических уравнений с квадратной матрицей.
Более того, можно показать, что в случае, когда функции уо, у~, ..., ре линейно независимы в точках хо, х~, ..., х„, матрица системы Г является симметричной и положительно определенной. В частности, это означает, что при решении нормальной системы методом Гаусса не нужен выбор главных элементов; возможно также использование метода Холецкого (см.
гл. 5). Следует тем не менее обратить серьезное внимание на то обстоятельство, что при отсутствии специального выбора базисных функций уо, ~р~, ..., р уже при я > 5 нормальная система обычно оказывается очень плохо обусловленной. Казалось бы, из теоремы 11.11 следует, что единственное ограничение на систему базисных функций состоит в том, что она должна быть линейно независима в заданных точках. Однако, будучи формально линейно независимой, система функций уо, 348 ~д~, ..., р„, может оказаться очень близкой к линейно зависимой. Использование такой "почти линейно зависимой" системы базисных функций делает задачу метода наименьших квадратов плохо обусловленной.
При переходе от задачи наименьших квадратов к задаче решения нормальной системы Р'Рв = Р'у происходит как бы снмметризация системы Ра в у (см. ~ 6.3). При этом еще более ухудшается обусловленность задачи. В этом случае вычисленные на ЭВМ как решение системы (11.101) параметры модели могут оказаться полностью искаженными ошибками округления. Простейший пример такой "почти линейно зависимой" системы базисных функций при больших юв дает система 1, х, ..., х®, широко применяемая при аппроксимации алгебраическими многочленами.
При ш > б соответствующая нормальная система, как правило, здесь на- столько плохо обусловлена, что ее использование практически бесполезно. В определенном смысле "наиболее линейно независимой" является система функций уо, у~, ..., у„, ортогональных на множестве точек хс, хп ..., х„. Матрица Грама такой системы диагональна, а потому решение нормальной системы (11.101) вычисляется легкр: а~ = 6~/уц„Ь| = Е у;щ(г;), ~ц, = Е щ(х;)~, й = О, 1, ..., ш.
ю=О оа Хотя выбор ортогональной на множестве точек хэ, х~, ..., х„системы функций и желателен, он далеко не всегда возможен и удобен. Поэтому часто используются системы базисных функций, для которых матрица Грама лишь близка к диагональной. При аппроксимации на отрезке [-1, 1] алгебраическими многочленами степени т пример такой системы дает система многочленов Чебышева Тд(х), Т~(х), ..., Т (х). Заметим, кстати, что найденный методом наименьших квадратов многочлен Р(х) = асТа(х) + а~Т~(*) + ... + авТ,„(х) дает лишь иное, отличное от стандартного (11.95) представление многочлена наилучшего среднеквадратичного приближения. Однако задача определения пара- и и "ю метров а~, а~, ..., а„обладает существенно лучшей обусловленностью и поэтому предпочтительнее с вычислительной точки зрения.
Существуют методы решения задачи наименьших квадратов, предваряющие решение нормальной системы численной ортогонализацней системы базисных функций (см., например, [50], [60]). Однако в настоящее время в серьезной вычислительной практике нормальная система, как правило, не используется. Применяются другие, более надежные методы (учитывающие, например, информацию об уровне 349 погрешности данных и относительной точности используемой ЭВМ). С одним из таких методов, основаннрм нв сингулярном разложении матрицы Р, можно познакомиться в [86]. 4. Понятие о статистических свойствах метода наименьших квадратов.
Пусть значения у, функции ~ в точках х, определяются в результв- те эксперимента. Предположим, что ошибки наблюдения с, = у,. — у, о являются независимыми случайными величинами с нулевым средним значением и дисперсией, павкой а~„т. е. М [е~ = О, М [е',.] = а2 (ю = О, 1, ..., в), М [е~~ = 0 (ю а,у, 1 = О, 1, ..., п, 1' = О, 1, ..., в). (11.105) (Н.106) Рассмотрим сначала простейший случай, когда измеряемая величина постоянна, т.
е. ~(х) = а. В этом случае естественно искать приближение в виде постоянной ао. В изложенной выше схеме-это соответствует выбору т = О, уо(х) = 1 и Фо(х) = ао, а нормальная система преви ращается в одно линейное уравнение (а + 1) ао — — Е у,. Таким образом, 1=0 оценкой постоянной величины а по методу наименьших квадратов является среднее арифметическое значение ао= — ~ уь и+ 1;=о " (11.107) т. е. измеренные значения осредняются так, как это принято в статистике. Пусть Ьао — а — ао — ошибка оценки (11.107). Заметим, что Ьао —— й Е еь а потому и + 1,=о М[Ьао~ = Е М[яД = О, (11.108) Итак, математическое ожидание ошибки Ьао равно нулю, причем, квк видно из равенства (11.108), ее дисперсия стремится к нулю при в ~ м.
Аналогично усредняются случайные ошибки с ростом числа наблюдений и в общем случае. о о и Пусть Ф„" (х) = Е а~~~рь(х), ФУ(х) = Е аь1оь(х) — многочлены нвилуча=о а=о шего среднеквадратичного приближения, первый из которых отвечает 350 вектору уо = (уо, у~, ...> у„)т данных, не содержащих ошибок, а второй ~ектору у = (уо, у~, ..., у„) данных, содержащих случайные ошибки. Положим Р = (ао, ад, ..., а~~)т, Ьа = (Ьао, Ьа~, ..., Ьа®)т (где Ьа~ = = аК вЂ” аь й = О, 1, ..., ш) и а = (ео, еь ..., еп)т, Рассмотрим многочлен о Я$ ЬФп(х) = Ф$ (х) — ' ФуВх) = Е Ьа~~р1(х).
а.о Так как векторы а и Р удовлетворяют системам уравнений Га = = Р'у, ГР =Ргуо, то вектор Ьа является решением системы (И.109) ГЬа = Р'е. Отсюда вытекает равенство (11.110) Ьа = Г ~Р'и. Заметим, что ЬФп(х) и Ьа~ — это случайные ошибки значения М [Ьа] = Г ~Р'М [е] = О, откуда в свою очередь 'имеем М [ЬФ„(х)] = Е М [ЬаЯщ(х) = О. й*о Введем величину равную среднеквадратичному значению ошибки ЬФ„(х). Т е о р е и а 11.12. Справедливо равепстпво М [р2] = а~. и+1 и+1 (11. 111) и Заметим, что р2 = (РЬа, РЬа) = (Ьа, РгРЬа) = 1 1 и + 1 ' п + 1 многочлена Ф4(х) и его коэффициентов аь, вызванные наличием случайных ошибок с; в исходных данных.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
