Н.И. Чернова - Лекции по математической статистике

ОглавлениеJJIIJIЛекции по математической статистике2-й курс ЭФ, отделение«математические методы и исследование операций в экономике»Н. И. Черноваcher@nsu.ruНа стр. ... из 179НазадВо весь экранУйтиСтр. 1Предлагаемый вашему вниманию курс теоретической статистики содержит материализ классических разделов математической статистики. Речь пойдет об оценке параметров,проверке гипотез, немного о регрессионном анализе.

Курс предназначен студентам экономического факультета НГУ, но его могут попробовать освоить студенты математическогофакультета. Курс не содержит экономических приложений и ни в коей мере не собирается обсуждать применение статистических методов.

И то, и другое студенты-экономистыв НГУ изучают в годовом курсе эконометрики (регрессионного анализа).Оглавление1ОглавлениеJJIIJIОсновные понятия1.1 Основные понятия выборочного метода . . . . . . .1.2 Выборочное распределение . . . . . . . . . . . . . .1.3 Эмпирическая функция распределения, гистограмма1.4 Выборочные моменты .

. . . . . . . . . . . . . . .1.5 Состоятельность выборочных характеристик . . . .1.5.1 Свойства ЭФР . . . . . . . . . . . . . . . .1.5.2 Свойства гистограммы . . . . . . . . . . . .1.5.3 Свойства выборочных моментов . . . . . .1.6 Группированные данные . . . . . . . . . . . . . . .1.7 Вопросы и упражнения . . . . . . . . . . . . . . . .................................................................................................................................................................5781014151520212526На стр. ...

из 179НазадВо весь экран2 Точечное оценивание2.1 Параметрические семейства распределений2.2 Свойства оценок . . . . . . . . . . . . . .2.3 Метод моментов . . . . . . . . . . . . . .2.4 Состоятельность ОММ . . . . . . . . . .2.5 Метод максимального правдоподобия . . .2.6 Вопросы и упражнения . . .

. . . . . . . .........................................................................................................................28282932353845Сравнение оценок3.1 Среднеквадратический подход . . . . . . . . .3.2 Единственность эффективной оценки . . . . .3.3 Асимптотически нормальные оценки . .

. . .3.4 Скорость сходимости . . . . . . . . . . . . . .3.5 Асимптотическая нормальность ОММ . . . .3.6 Асимптотический подход к сравнению оценок..................................................................................................................46475053555760......Уйти3Стр. 23.7ОглавлениеJJIIJIНа стр. ...

из 179НазадВо весь экранУйтиСтр. 3Вопросы и упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 Эффективные оценки4.1 Условия регулярности . . . . . . .4.2 Примеры . . . . . . . . . . . . .4.3 Неравенство Рао — Крамера . .4.4 Проверка эффективности оценок4.5 BLUE . . . . . . . . . . . .

. . .4.6 Вопросы и упражнения . . . . . .5................................................................................................................................................Интервальное оцениваниеПроверка гипотез7.1 Две простые гипотезы . . . . . . . .7.2 Подходы к сравнению критериев .

.7.3 Критерий отношения правдоподобия7.3.1 Для математиков . . . . . . .7.3.2 Лемма Неймана — Пирсона......62626366717979806 Распределения, связанные с нормальным6.1 Гамма-распределение . . . . . . . . . . . . . . . . . . .6.2 χ2 -распределение Пирсона . . . . .

. . . . . . . . . . .6.3 Распределение Стьюдента . . . . . . . . . . . . . . . .6.4 Распределение Фишера . . . . . . . . . . . . . . . . .6.5 Лемма Фишера . . . . . . . . . . . . . . . . . . . . . .6.6 Доверительные интервалы для параметров нормального6.7 Вопросы и упражнения . . . . .

. . . . . . . . . . . . .7......61................................................... . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .распределения .. . . . . . . . .............................91. 92. 94. 97. 100. 101. 109.

111.........................112. 116. 118. 121. 124. 126........................................ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 48 Критерии согласия8.1 Критерий Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.2 Критерий χ2 Пирсона . . . . . . . . . . . . . . . . . . .

. . . . . . . . .8.3 Критерий χ2 для проверки параметрической гипотезы . . . . . . . . . . .8.4 Проверка гипотезы однородности: критерий Колмогорова — Смирнова .8.5 Проверка гипотезы независимости: критерий «хи-квадрат» Пирсона . . .8.6 Критерий Фишера . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .8.7 Критерий Стьюдента . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.8 Гипотеза о среднем нормальной совокупности с известной дисперсией . .8.9 Гипотеза о среднем нормальной совокупности с неизвестной дисперсией8.10 Критерии и доверительные интервалы .

. . . . . . . . . . . . . . . . . .........................................1331351371421451461481511541551569 Линейная регрессия9.1 Математическая модель регрессии . . . . . . . . . . . .9.2 Метод максимального правдоподобия . . . . . . . . . .9.3 Метод наименьших квадратов . . . . . . . . . . . . . .9.4 Примеры . . . . .

. . . . . . . . . . . . . . . . . . . .9.5 Общая модель линейной регрессии . . . . . . . . . . .9.6 Метод наименьших квадратов. Нормальное уравнение9.7 Свойства ОМНК . . . . . . . . . . . . . . . . . . . . .............................157157159160161164165167......................................................................Добавления171AМногомерное нормальное распределение . . . . . .

. . . . . . . . . . . . . . . . 171BДоказательство теоремы Пирсона . . . . . . . . . . . . . . . . . . . . . . . . . . 1731. Основные понятия математической статистикиОглавлениеJJIIJIНа стр. ... из 179Математическая (или теоретическая) статистика опирается на методы и понятиятеории вероятностей, но решает в каком-то смысле обратные задачи.В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предметтеории вероятностей — свойства и взаимосвязи этих величин (распределений).Но часто эксперимент представляет собой черный ящик, выдающий лишь некиерезультаты, по которым требуется сделать вывод о свойствах самого эксперимента.Наблюдатель имеет набор числовых (или их можно сделать числовыми) результатов,полученных повторением одного и того же случайного эксперимента в одинаковых условиях.При этом возникают, например, следующие вопросы:НазадВо весь экранУйтиСтр.

5Если мы наблюдаем одну случайную величину — как по набору ее значенийв нескольких опытах сделать как можно более точный вывод о ее распределении?Если мы наблюдаем одновременно проявление двух (или более) признаков, т. е.имеем набор значений нескольких случайных величин — что можно сказать об ихзависимости? Есть она или нет? А если есть, то какова эта зависимость?ОглавлениеJJIIJIНа стр.

... из 179Часто бывает возможно высказать некие предположения о распределении, спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным даннымтребуется подтвердить или опровергнуть эти предположения («гипотезы»). При этомнадо помнить, что ответ «да» или «нет» может быть дан лишь с определенной степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнеемогут быть выводы. Наиболее благоприятной для исследования оказывается ситуация,когда можно уверенно утверждать о некоторых свойствах наблюдаемого эксперимента— например, о наличии функциональной зависимости между наблюдаемыми величинами, о нормальности распределения, о его симметричности, о наличии у распределенияплотности или о его дискретном характере, и т.

д.Итак, о (математической) статистике имеет смысл вспоминать, еслиНазадВо весь экран• имеется случайный эксперимент, свойства которого частично или полностьюнеизвестны,УйтиСтр. 6• мы умеем воспроизводить этот эксперимент в одних и тех же условияхнекоторое (а лучше — какое угодно) число раз.Примером такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность гербов и решек притысячекратном подбрасывании монеты.1.1. Основные понятия выборочного методаОглавлениеJJIIJIНа стр.

... из 179НазадВо весь экранУйтиСтр. 7Пусть ξ : Ω → IR — случайная величина, наблюдаемая в случайном эксперименте.Предполагается, что вероятностное пространство задано (и не будет нас интересовать).Будем считать, что проведя n раз этот эксперимент в одинаковых условиях, мыполучили числа X1 , X2 , . . .

, Xn — значения этой случайной величины в первом,втором, и т. д. экспериментах. Случайная величина ξ имеет некоторое распределениеF, которое нам частично или полностью неизвестно.Рассмотрим подробнее набор X = (X1 , . . . , Xn ), называемый выборкой.В серии уже произведенных экспериментов выборка — это набор чисел. Но еслиэту серию экспериментов повторить еще раз, то вместо этого набора мы получим новыйнабор чисел. Вместо числа X1 появится другое число — одно из значений случайнойвеличины ξ. То есть X1 (и X2 , и X3 , и т. д.) — переменная величина, котораяможет принимать те же значения, что и случайная величина ξ, и так же часто (стеми же вероятностями). Поэтому до опыта X1 — случайная величина, одинаковораспределенная с ξ, а после опыта — число, которое мы наблюдаем в данном первомэксперименте, т. е. одно из возможных значений случайной величины X1 .Выборка X = (X1 , .

. . , Xn ) объема n — это набор из n независимых и одинаковораспределенных случайных величин («копий ξ»), имеющих, как и ξ, распределение F.Что значит «по выборке сделать вывод о распределении»? Распределение характеризуется функцией распределения, плотностью или таблицей, набором числовых характеристик — E ξ, D ξ, E ξk и т. д. По выборке нужно уметь строить приближения длявсех этих характеристик.1.2.ОглавлениеJJIIJIНа стр.

... из 179НазадВо весь экранВыборочное распределениеРассмотрим реализацию выборки на одном элементарном исходе ω0 — набор чиселX1 = X1 (ω0 ), . . . , Xn = Xn (ω0 ). На подходящем вероятностном пространстве введемслучайную величину ξ∗ , принимающую значения X1 , . . . , Xn с вероятностями по 1/n(если какие-то из значений совпали, сложим вероятности соответствующее число раз).Таблица распределения вероятностей и функция распределения случайной величины ξ∗выглядят так:ξ∗PX11/n......Xn1/nF∗n (y) =X 1количество Xi ∈ (−∞, y)=.nnXi <yРаспределение величины ξ∗ называют эмпирическим или выборочным распределением.Вычислим математическое ожидание и дисперсию величины ξ∗ и введем обозначениядля этих величин:nnX11XXi = X,Eξ =Xi =nn∗i=1i=1nnX11X∗ 2(Xi −X)2 = S2 .Dξ =(Xi −E ξ ) =nn∗i=1i=1Точно так же вычислим и момент порядка kУйтиE (ξ∗ )k =nnX1X k1 kXi =Xi = Xk .nni=1i=1В общем случае обозначим через g(X) величинуСтр.

81Xg(Xi ) = g(X).nnE g(ξ∗ ) =i=1ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 9Если при построении всех введенных нами характеристик считать выборку X1 , . . . , Xnнабором случайных величин, то и сами эти характеристики — F∗n (y), X, S2 , Xk , g(X) —станут величинами случайными. Эти характеристики выборочного распределения используют для оценки (приближения) соответствующих неизвестных характеристик истинного распределения.Причина использования характеристик распределения ξ∗ для оценки характеристикистинного распределения ξ (или X1 ) — в близости этих распределений при больших n.Рассмотрим,дляпримера,nподбрасыванийправильногокубика.Пусть Xi ∈ {1, . .