В.И.Тихонов Статистическая радиотехника (2-е издание, 1982) (1092037), страница 90
Текст из файла (страница 90)
Поэтому Л = М (Л) = 2,5 — М Лп) = 2,5 — 4/3 1,2. Такая оценка неприемлема, так как противоречит априорной плотности вероятности р (Л), рт 459 4.6. ЛИНЕИИОЕ ОЦЕНИВАИИЕ. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Оценки неизвестных параметров распределения, представляющих собой линейные функции от элементов выборки, называются линейнь!ми оценками. Одним нз частных примеров такой оценки является выборочное среднее значение (4.3.40). Однако это выборочное среднее значение есть только одна из возможных линейных оценок математического ожидания, которые можно построить.
Например, для выборки (х„х„..., ..., х„) величина (взвешенное выборочное среднее) (4.5.1) где а! — заданные коэффициенты (веса), удовлетворяющие условию Е! ! а!=1, (4.5.2) будет также несмещенной оценкой математического ожидания. Действительно, если все х!имеют одно и то же математическое ожидание М (х!) = т„то ь ь М(т!) = '~ а; М(х!) =т, ~ а!=т,. (4.5.3) Г=! ю=-! Можно привести следующий пример, когда оказывается необходимым пользоваться формулой (1) вместо (4.3.40).
Пусть выполнены прямые, но неравноточные измерения некоторой случайной величины $. Неравноточность может быть обусловлена использованием неодинаковых приборов или разными объемами выборок. Спрашивается, как в данном случае определять оценку неизвестного математического ожидания т, случайной величины. Ниже будет показано, что в данном случае следует пользоваться формулой (1), подобрав надлежащим образом веса а!. Если среди всех линейных оценок выбрана какая-то определенная оценка, то необходимо указать критерий, на основании которого этот выбор сделан.
Для линейных несмещенных оценок один из широко применяемых критериев состоит в выборе той оценки, которая обладает наименьшей возможной дисперсией. Такая оценка называется линейной оценкой с наименьшей дисперсией. Аналогично если (х„х„..., х„) есть выборка из совокупности с математическим ожиданием т, и дисперсией Р, то любая квадратичная форма Х!!а!; (х; — т!) (х! — т!), математическое ожидание которой равно Р, является несмещенной квадратичной оценкой для Р. Если существует единственная несмещенная квадратичная оценка для Р, имеющая наименьшую возможную дисперсию, то она называется квадратичной оценкой с наименьшей дисперсией.
Отметим, что любая квадратичная оценка есть линейная функция от квадратичных членов. Поэтому часть результатов теории линейных оценок применима к квадратичным оценкам. Линейные оценки с наименьшей дисперсией сами имеют дисперсию, которую обычно можно несмещенно оценивать при помощи квадратичных оценок. 460 В качестве примера линейной оценки рассмотрим оценку взвешенного выборочного среднего (1).
Если отдельные наблюдения (измерения) х! независимы и имеют дисперсии В!, то дисперсия взвешенного выборочного среднего т; будет определяться выражением (4.5 .4) 1=! Чтобы линейная оценка (1) имела наименьшую дисперсию, веса нужно выбирать из условия получения минимума правой части выражения (4). Ввиду того, что на коэффициенты а; уже наложено ограничение (2), исследуем выражение на условный минимум, применяя метод множителей Лагранжа.
Составляем функцию Лагранжа: а / а Р= ~ а!'1:1!+2), ~1 — '~~ а; !=1 1=1 Приравняв нулю частные производные по а; — =2а!О! — 2Х=О, !=1,2,..., да! находим веса а!=-Х/ь!!=Хд!, д!=О! '. (4.5.5) Следовательно, веса а„..., а„должны быть обратно пропорциональны дисперсиям отдельных измерений. При этом формулы для взвешенного выборочного среднего (1) и дисперсии (4) примут следующий окончательный вид: ! р, д! гч * (=! т!= а ~я 1=! (4.5.6) Для упрощения вычислений дополнительное условие (2) можно вообще отбросить, понимая под д! величины, обратно пропорциональные дис- персиям В!: Π— !!1)-!! !Π— ! (4.5.7) Если все измерения являются равноточными (В, = 7), = ... = = Ра), то й! = Ы, = ... = д и формулы (6) переходят соответственно в (4.3.40) и (4.3,41).
Из второй формулы (6) следует, что весовое объединение результатов различных измерителей одной и той же случайной величины всегда повышает результирующую точность ее определения и поэтому является целесообразным. Например, для двух измерителей имеем О,„* = !.~1 11 + !'-!11)-!2) 1 Отсюда при 11!(1), получаем г1„,. (ь!!. ! Отметим, что в случае двух коррелированных результатов измерений х, и ха с дисперсиями О,, О, и нормированной корреляцией г фор- 461 мулы (6) для выборочного взвешенного среднего и его дисперсии, как нетрудно убедиться, примут вид т", = а, х, + а, х„Р * Р, Р, (1 — «'У Ь, (4.5.8) где о, =) «Р, Ь Р,— УР2); а, =) «Р, О«Р,— )«В,)1Л; (4.5.0) Л = Р,— 2«)«'Р, Р,+.Р2 Положим в предыдущих формулах к!Р! = Р (4.5.10) где )«Р = а можно назвать средней ошибкой измерения на единицу веса. Тогда вместо (6) можно написать Р.*=Р)В! ! д!. (4.5.1 1) По результатам измерений можно вычислить приближенное значение Р: л Р'=22= — '~' д!(х! — т!)'.
(4.5.12) н — 1 ~ы 2=1 Оправданием этой формулы служит то, что математическое ожидание величины 22 равно Р. Для доказательства этого утверждения выберем начало отсчета на оси Ох так, чтобы выполнялось условие т*, = О. В этом случае М (Е д! (х; — т!)) = М (Е д! х!' — 2Х у!х; т!+ Е 8!! т2*) = =Хд, М(х,') — и (т!)Вд2=~й2Р! — Р„. Вй!= Р— Р=(п — ЦР.
1 Поэтому согласно (12) М (з2) (4.5.13) В силу (11) для дисперсии Р ° взвешенного выборочного среднего Уй !" (6) получим приближенное значение Р *=з2)Х," ! д!. (4.5.14) Эту формулу можно применять лишь тогда, когда известно, что веса взяты правильно, т. е. обратно пропорциональны дисперсиям Р,. Можно показать, что если (х„..., х„) — выборка случайной величины $, имеющей математическое ожидание т, и дисперсию Р, и если (дц) — некоторый набор постоянных, для которых сумма О = — ~ч', дц (х! — т!) (х! — т",) (4.5.15) 2, !'=! имеет математическое ожидание Р, то значения величин (дц), для которых Я имеет минимальную дисперсию, определяются выражениями д2! — — Ы(п — 1), ! = 1, 2, ..., и; дц = О, !' ~ 1. (4.5.16) В этом случае Я сводится к выборочной дисперсии 1се.
С линейным оцеинванием тесно связан метод »саине наших квадралшв. Этот метод дает алгоритм обработки результатов наблюдений с целью получення оценок неизвестных параметров*. В том случае, когда при линейном оценивании средние значения наблюдений являются линейными функциями неизвестных параметров и когда наблюдения попарно пекоррелированы, получаемые оценки обладают свойством оптимальности: они оказываются несмещенными, имеют наименьшую дисперсию и являются линейными функциями от наблюдений. Иногда указанную задачу оценки параметров трактуют иначе— как задачу о сглаживании экспериментальной зависимости и формулируют ее следующим образом.
Пусть задана детерминированная функция у = гр (х, Л„, ..., Ль), зависящая от и параметров Л„..., Ль, значения которых неизвестны. По результатам наблюдений (у„у„..., у„) в выбранных точках (х„х„..., х„) нужно получить оценки неизвестных параметров Л„..., Л„. В качестве критерия оптимальности принимается следующий: сумма квадратов отклонений наблюденных значений у; от ординат сглаживающей кривой ср(хс, Л, ..., Ль) должна быть минимальной: ~в~~ [У; — гР(хс, Л!...,, Ль))'=пни.
с 1 гь! (4.5. 17) Отсюда и происходит название «метод наименьших квадратов». ;" В рамках линейного оценивания функция гр (х, Л„..., Ль) должна зависеть линейно от неизвестных параметров. Она, например, может иметь вид у= ~чР Лссрс(х), с-! где грс (х) — известные функции. Методика нахождения оценок следующая. Чтобы выражение (17) имело минимум, нужно приравнять нулю частные производные по Лс> "э Ль ~в ', [у; — ср (хь Л„..., Ль)) гр' = О, с-! ~в' [у; — гр (хь Л„..., Л„)) гр„' = О, с-! (4.5.18) ~в~~ [ус — гр (х„Л», ..., Ль)1 ср' = О, с ! и 463 «Если результаты наблюдений имеют совместное нормальное распределение, то метод наименыпих квадратов следует из метода наибольшего правдоподобию. Таким образом, имеем систему й уравнений с !г неизвестными, из которых (при определенных условиях) определяем искомые значения ),„ ..., Хь.
Так как система содержит случайные величины у„..., уп, то и решение системы ) !, ..., ) г будет случайным. Величины ) *!, ..., )ьа являются оценками неизвестных параметров по результатам наблюдений. Их статистические характеристики находят по соответствующим вероятностным характеристикам наблюдений. Рассмотрим простой пример. Пример 4.6.1. Подбор параметров линейной функции. Пусть из опыта получена совокупаость значений (хь у;), ! = 1, 2, ..., и (рис. 4.6).
Нужно методом наименьших квадратов подобрать параметры а и Ь линейной функции у= ах+ Ь, (4.5.19) изображающей данную экспериментальную зависимость. Применительно к рассматриваемому примеру выражение (17) прнмст вид л ~ (у! — ах! — Ь)'=гп(п. а,ь Приравнивая нулю результат дифференцирования по а и Ь, получаем систему из двух линейных уравнсний ~л'~'(у! — ах; — Ь) х;= О, ~~, '(у! — ах; — Ь) =О, Из второго уравнения находим г= — ! г=! Подставив найденное значение в первое уравнение н преобразуя его, имеем ~~~~ х; у; — а ~ хз — пт (и„' — ат') =О, откуда находим х; у; — пт т„~', (х; — и ) (у; — т„) г=! г=! а— л Л хгз — ли .
(х! — и„) з г=! * г=! илн а=- К „/17„, где — ~Ь (х! — и ) (у; — т„); 0„ = — ~~~~ ~(х; — и„')з, г=! !=1 Таким образом, линейная функция у — т„=)7 „(х — т„)!17„ (4.5.20) наилучшим образом (среди всех линейных функций) выражает зависимость у от х.
Приведем теперь основные результаты теории линейного оценивания по методу наименьших квадратов, применяя для экономии записей векторные и матричные обозначения 116). 446 М(е) =О и корреляционную матрицу ошибок измерений =М( '), (4.5.23) где К вЂ” невырожденная матрица (и Х и). Метод наименьших квадратов состоит в минимизации квадратичной формы Я = (х — АЛ)т К ' (х — АЛ) по компонентам вектора Л. В том случае, когда ошибки измерения е; не коррелированы в совокупности и имеют дисперсии В!, т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
