Секей Г. Парадоксы в теории вероятностей и математической статистике (1990) (1151962), страница 20
Текст из файла (страница 20)
! ! (Ее риск равен 2/(и+ 1).) Итак, принцип минимакса и несмещенность приводят к различным оценкам. в) Объяснение парадокса л Сумма ~. (Х, — а)х минимальна только при а = Х. Од- ! 1 пако математическое ожидание Е, вообще говоря, не равно величине Х (лишь близко к ней). Следовательно, оценка Оса, показывающая действительное отклонение, больше, чем Ж Вот почему необходима поправка Бесселя. С другой стороны нет причин, по которым минимаксная или допустимая оценки должны быть несмещенными. (В 11/2 мы уже видели, что оценка Джеймса — Стейна для математического ожидания лучше, чем обычная несмещенная оценка Х.) Поскольку несмещенная и минимаксная оценки дисперсии нормального распределения не совпадают, в каждой конкретной задаче нужно решать, какую оценку предпочесть.
К счастью, даже при малых значениях а различие между двумя оценками невелико. (Однако в других проблемах разница может быть существенной.) г) Замечания Как ни удивительно, но можно показать, что указанная выше минимаксная оценка не является допустимой. (См. статью Стейна или книгу Заков.) С другой стороны, если математическое ожидание нормального распределения известно, то оценка л и+2хл( 1 г=! является не только минимаксной (с риском 2/(а+ 2)), но и допустимой при указанной выше функции потерь. (См.
книгу Закса.) д) Литература 5!е)п С. "1павппвв!ынду о1 Ше папа!,еы!гпа1е 1ог Ше чамапсе о1 а поггпа1 61в!г)ьп!!оп м!!Ь пп)гповгп гпеап", Аллам !пв!. 5!агы!. Мо!Д, 16, 155— 160, (1964). сас)гв 5. Тье Тзеогу о) 5гогиисо! !л(егепсе, мг)1еу, )Чем Уог)г — ).опвоп— Зувпеу — Тогоп1о (1971), !Имеется перевод: Закс Ш. Теория статистических выводов.
— Мх Мир, 1975.1 4. Парадокс метода наименьших квадратов а) История парадокса Из-за неизбежных ошибок измерений часто кажется, что теоретические формулы и эмпирические данные противоречат друг другу. В начале прошлого века Лежандр, Гаусс и Лаплас предложили эффективный метод, позволяющий уменьшить влияние ошибок измерений. (Например, Лежандр разработал и применил его в 1805 г. для нахождения орбит комет.) Основоположниками этой теории были Галилей (1632), Ламберт (1760), Эйлер (1778) и другие. Новый прием, названный методом наименьших квадратов, детально исследован Гауссом в его работе «Теория движения небесных тел» (1809). Именно Гаусс указал также на вероятностный характер этого метода. (Хотя Лежандр обвинял Гаусса в плагиате, он не мог представить для этого достаточных оснований.
Гаусс претендовал на приоритет лишь в использовании метода, а не его публикации.) Лаплас опубликовал свой основной труд по теории вероятностей в 1812 г., посвятив его «великому Наполеону». На протяжении всей четвертой главы его книги излагается исчисление ошибок. С того времени метод наименьших квадратов развился в новый раздел математики. Возможности метода порой переоценивают и часто используют тогда, когда другие методы были бы более подходящими. На эту проблему обращал. внимание еще Коши (Сошр1ез )хепдпз, 1853) во время «дебатов» с Бьенеме (в ходе диспута Коши использовал плотность вероятности 1/(я(1 + х')), названную позднее его именем, хотя он и не был первым ученым, применившим «плотность Коши»).
б) Парадокс Пусть ае-»г» — я1 — плотность распределения наших наблюдений, подверженных случайным ошибкам измерений. Постоянные а и Ь известны, а 12 нужно оценить. Проведем независимые наблюдения Хь Хь ..., Х . По методу наименьших квадратов 12 следует оценить величиной й, которая минимизирует сумму (Х1 — Й)2+ (Х2 — Й)2+...
+ (Մ— Р)2, Легко посчитать, что эта сумма принимает наименьшее значение, когда й есть среднее арифметическое результатов наблюдений 22 (Х! + Х2+ ° + Х )/а ° Однако, если нам нужна оценка й„для которой максимальна вероятность (точнсе, плотность всроятности) того, что л наблю. дений будут именно Х!, Хь ..., Х„, т. е. и максимизирует функцию ае я -ь() х!-и(+...+(х„-я() или, что эквивалентно, р минимизирует )х,— м!+)х,— м~+... +!х„— й), то мы приходим к противоречию, так как сумма квадратов и сумма абсолютных величин не достигают минимума при одном и том же значении )ь, т. е.
оценки )ь и р различны. Какая из них лучше? е) Объяснение парадокса Если ошибки измерения нормально распределены (т. е. если их плотность вероятности имеет вид ае М*-иу, то указанного выше противоречия не будет, так как )ь максимизирует я -ь((х!-и)ьь...+(х„-и)ь) В методе наименьших квадратов Гаусс исходил из предположения о нормальном распределении ошибок, что встречается на практике чаще всего. Однако, когда известно, что распределение ошибок отлично от нормального, использование метода наименьших квадратов не всегда выгодно. В указанном выше парадоксе применение оценки р более оправдано (см.
также предыдущий раздел) . Используя стандартные понятия математической статистики, парадокс можно кратко сформулировать следующим образом: оценка по методу наименьших квадратов не всегда совпадает с оценкой максимального правдоподобия (об оценках максимального правдоподобия см. равд, 8). Действительно, если )'(х)— положительная плотность, полунепрерывная снизу в точке х = О; ((х — О) — плотность распределения измерений и Х = = (Х! + Хь + ..
+ Х,)/п есть оценка максимального правдоподобия параметра О для и = 2, 3, то ((х) является плотностью нормального распределения с нулевым средним. Это — закон Гаусса об ошибках, который можно доказать следующим образом: если предположить для простоты, что существует производная (', и произведение Пг(Х! — О) максимально при О=Х, то ! 1 ~ — '(Х,-Х)=О, ! 1 т.
е. (обозначая А! — — Х! — Х) из равенства ~~~ А! = О вытекает ~ — (бг!) = О, Г ! ! ! ! что возможно при а = 2, 3 (если отношение )'Д измеримо) только тогда, когда — (х) = сх; откуда следует, что ) = вте — '", р — гвг где с и г! — положительные числа (в противном случае функция 1 не была бы плотностью). Таким образом„оценка параметра сдвига по методу наименьших квадратов совпадает с оценкой максимального правдоподобия только для нормальных распре- делений.
г) Замечание Арифметическое среднее м= Х и медиана )в являются одними из немногих «простых» оценок максимального правдоподобия параметра сдвига Р, имеющих вид в 7.= ~, агХ;, ! ! где Х;(~Хз(~... (~Х'„есть упорядоченная выборка и аг) О, !=1, 2, ..., п, 2 а,=1. В статье, которая готовится к луб!=! ликации, мы (с 3. Буцоличем) доказываем, что если Ь отлично от арифметического среднего Х, то не более двух а, могут быть отличны от О.
Если два коэффициента а! отличны от нуля, то это либо а! и а„, и в этом случае элементы выборки равномерно распределены на некотором интервале, либо ненулевыми являются два соседних коэффициента а! и аьь!. Возможно, что ненулевым является лишь один из коэффициентов аь например, когда Ь вЂ” медиана, или когда элементы выборки имеют показательное распределение, тогда а! = 1 (ь =- Х,).
д) Литература Вегйвоп Л. 7двцша!!оп Ьу 1еав1 вяиагез апб Ьу шахипшп 1!Ье!!Ьооб", Ргос. Згу Всгйе!еу Зушр. оп Мой. В!а!!з!. опг( Ргоб., 1, 1 — 11, (195б). В1оошпеЫ Р. В., Яе!Кег тЧ. 1.. Арр!!соаопв о( Ееив! Абво!исе Оешоаопд ВМЫ!аизег Чег!ая, Вазе! — Вов1оп — 5!ипдаг(, (1983). Наг1ег Н. Ь. "Тье Ме!Ьоб о! )еав! вяиагев апб вогпе апегпа!!нез", Раг1. 1 — Ч.
!и!егпо(, В!иав!. )7ен. (1974 — 1975) Линник ВХ В. Метод наименьгонх квадратов и основы математихо-статистической теории обработки наблюдений, нзд. 2-е. — Мс Фнзматгиз, 19б2. 5Ьеуп!п О. В. "С. и, Оаивв апб Ьче бйеогу о1 еггогв", Агсыне )ог Н!з!огу о) Ехнс! Яс!епссв, 19, 2! — 72, (1979). 5!!21ег 5. М. "СаисЬу апб Ьйг и бсЬ о1 АдпезГ', Вготе!грйо, 61, 375 — 350, (1974).
5. Парадоксы корреляции а) История ларадокса К последней трети прошлого века некоторые науки (например, молекулярная физика) достигли такого уровня развития, что стало необходимым использование в них теории вероятностей и математической статистики. В 1889 г. книга Дарвина произвела революцию в биологии и вскоре после этого двоюродный брат Дарвина Фрэнсис Гальтон заложил основы генетики человека. (Исследования Менделя по генетике были заново «открыты» лишь на рубеже веков; слово «генетика» употребляется только с 1908 г., но результаты Гальтона привлекли всеобщее внимание уже в прошлом веке).
Гальтон и его ученики (особенно Карл Пирсон) ввели такие важные понятия, как корреляция и регрессия, которые стали основными понятиями в теории вероятностей и математической статистике (а также в связанных с ними науках). Вес и рост человека, естественно, тесно связаны между собой, но они не определяют друг друга однозначно. Корреляция выражает эту связь одним числом, абсолютная величина которого не превосходит 1.
Для двух случайных величин Х и У корреляция определяется следующим образом. Пусть Е„ и Е)«, Ег и .()г обозначают математическое ожидание и стандартное отклонение Х и У соответственно. Тогда коэффициент корреляции (или кратко: корреляция) для Х и У определяется формулой Е((Х вЂ” Е~) (У вЂ” Ег)1 г=г(Х, У)= Абсолютное значение корреляции максимально (т. е. равно 1), когда между Х и У существует линейная зависимость, т. е. У= =аХ+Ь (где аФО). Если Х и У независимы (и их дисперсии конечны), то их корреляция равна О, другими словами, они некоррелированы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
