Доверительные интервалы и области

6.5. Доверительные интервалы и области

Доверительные интервалы параметров модели

В разделе 1.5 показано, что нормированная случайная переменная имеет распределение N(0, 1), то есть, распределена по стандартному нормальному закону со средним равным 0 и дисперсией s²=1. Следовательно, если провести нормирование случайных переменных  и , то получаются нормированные случайные переменные  и , имеющие стандартное нормальное распределение N(0, 1). А если в выражения (6.2.11) и (6.2.10) дисперсий D() и D() оценок параметров вместо s² подставить её оценку s² из выражения (6.2.11), то случайные переменные  и , как и в разделе 1.10, приобретают распределение t с п–2 степенями свободы.

Определим t_α,L(п–2) и t_α,U(п–2), соответственно, нижним и верхним предельными значениями распределения t(п–2) [Searle (1971) стр. 107]. Сумма вероятностей, что статистика t* меньше или равна нижнему пределу и больше или равна верхнему пределу

Pr[t*≤t_a,L(п–2)]+Pr[t*≥t_a,U(п–2)]=α.

Отсюда для имеющей распределение t(п–2) статистики t* получаем вероятность

Pr[t_a,L(п–2)≤t*≤t_a,U(п–2)]=1–α.                                 (6.5.1)

Случайные переменные  и  тоже имеют распределение t(п–2), поэтому можно записать

Pr[t_α,L(п–2)≤≤t_α,U(п–2)]=1–α

Рекомендуемые материалы

и

Pr[t_α,L(п–2)≤≤t_α,U(п–2)]=1–α.

Преобразование этих вероятностных выражений приводит к следующим неравенствам:

Pr[–st_α,U(п–2)≤ q₀≤–st_α,L(п–2)]=1–α

и

Pr[–st_α,U(п–2)≤q₁≤–st_α,L(п–2)]=1–α.

Эти неравенства дают 100(1–α)% доверительные интервалы для q₀ и q₁ соответственно между меньшими и большими значениями

–st_α,U(п–2), –st_α,L(п–2),       (6.5.2)

и

–st_α,U(п–2), –st_α,L(п–2).                    (6.5.3)

Для этих доверительных интервалов часто требуется, чтобы они были симметричны по отношению к  и , а для этого необходимо

–t_α,L(п–2)=+t_α,U(п–2)=t_α/2(п–2), где вероятность Pr[t*≥t_α/2(п–2)]=α/2.       (6.5.4)

Поэтому меньшие и большие предельные значения интервалов (6.5.2) и (6.5.3) находятся по формулам

±st_α/2(п–2)                             (6.5.5)

и

±st_α/2(п–2)            .                                  (6.5.6)

Они имеют длины 2st_α/2(п–2) и 2st_α/2(п–2).

Доверительные области параметров

Доверительные интервалы полученного типа легко вычисляются и полезны, но они не принимают во внимание корреляцию между оценками параметров. Эта корреляция или зависимость между оценками большая, если столбцы матрицы модели в значительной степени не ортогональны.

Чтобы пояснить влияние корреляции рассмотрим совместную оценку параметров модели, имеющей две влияющие на отклик переменные. В ней переменную отклика и влияющие на неё переменные x₁ и x₂ подвергнем нормированию. При этом уравнение модели принимает вид

у_н=1b₀+b₁х₁+b₂х₂+e_н.                                                           (6.5.7)

Для оценки параметров этой модели используем часть данных таблицы 7.1 главы 7 из опытов 1, 2, 3 и 4. В этих опытах переменные x₁ и x₂ устанавливались только при двух значениях, следовательно, как показано в разделе 6.2, этим достигается минимальная дисперсия оценки параметров модели. Нормирование значений переменных отклика выполним по формуле у_нi=(у_i–)/S, где S=- натуральное стандартное отклонение, как определено в разделе 1.4, а нормирование значений переменных x₁ и x₂ выполнялось по формуле (2.6.4). Рассматриваемые данные для модели (6.5.7) представлены в левой части таблицы 6.5.1.

Дисперсия нормированных переменных отклика у_н равна 1. Матрица модели в этом случае Х=. Все её столбцы ортогональны друг другу. Оценка параметров модели (6.5.7) выполняется по формуле =(Х^ТХ)^–1Х^Ту_н. А, если для модели с нормированными переменными дисперсия s_н²=1, то дисперсионная матрица вектора  оценки параметров имеет вид (Х^ТХ)^–1=.

Таблица 6.5.1. Данные коэффициента (у) усиления транзистора и переменных x₁ и x₂

В данном случае доверительные интервалы параметров β₁ и β₂ могут быть найдены по статистике, имеющей распределение хи-квадрат. Разности β₁– и β₂– имеют нулевые математические ожидания Е(β₁–)=β₁–Е()=β₁–β₁=0 и Е(β₂–)

=β₂–Е()=β₂–β₂=0. Из дисперсионной матрицы вектора  видно, что дисперсии всех оценок равны 1/4. Поэтому, умножая разности β₁– и β₂– на 4, получаем их дисперсии равные 1. Отсюда, по данному в разделе 5.3 определению, переменные  4(β₁–)² и 4(β₂–)² имеют распределения хи-квадрат с одной степенью свободы. Соответствующее вероятности 0,95 критическое значение для этого распределения с одной степенью свободы равно 3,841. Следовательно, зная значения =0,977 и =0,214 и решая уравнения

4(β₁–)²=3,841 и 4(β₂–)²=3,841                                                (6.5.8)

относительно β₁ и β₂, можно найти индивидуальные доверительные интервалы для этих параметров. Для данных таблицы 6.5.1 с ортогональными столбцами х₁ и х₂ они получаются следующие: для β₁ доверительный интервал 0,977±0,980 длиной 1,960 и для β₂ доверительный интервал 0,214±0,980 тоже длиной 1,960.

Совместная доверительная область параметров b₁ и b₂ может быть найдена также по имеющей распределение хи-квадрат статистике. Из дисперсионной матрицы вектора  оценки параметров видно, что все оценки распределены независимо. Следовательно, и разности β₁– и β₂– тоже распределены независимо, а при умножении на 4 их дисперсии становятся равными 1. Отсюда по определению распределения хи-квадрат сумма

4(β₁–)²+4(β₂–)²~χ²(2)                                       (6.5.9)

имеет распределение хи-квадрат с 2 степенями свободы. Критическое значение для этого распределения, соответствующее вероятности 0,95 и 2 степеням свободы, равно 5,991. Следовательно, круговая совместная 95% доверительная область параметров b₁ и b₂ с центром в точке (, ) состоит из всех точек с координатами (b₁,b₂) определяемыми значениями параметров b₁ и b₂, так что

4(β₁–0,977)²+4(β₂–0,214)²≤5,991.                            (6.5.10)

Совместная область и индивидуальные интервалы параметров b₁ и b₂ показаны на Рис.6.5.1.

Рис.6.5.1. 95% совместная доверительная область и доверительные интервалы при ортогональном плане эксперимента

Теперь используем представленные в правой части таблицы 6.5.1 данные опытов 1, 6, 11 и 14 таблицы 7.1. В этих опытах переменные x₁ и x₂ устанавливались при более чем двух значениях, следовательно, в этом случае невозможно получить минимальную дисперсию оценки параметров модели. Нормирование значений переменной отклика и переменных x₁ и x₂ в данном случае необходимо выполнять так же, как это делалось со значениями переменной отклика в левой части таблицы. При этом уравнение модели в нормированных переменных принимает вид

у_н*=1b₀+b₁*х₁*+b₂*х₂*+e_н*.                                               (6.5.11)

Дисперсия нормированной переменной отклика у_н* в этом случае тоже равна 1, но матрица модели Х*=. При таком нормировании, как и для данных в левой части таблицы, столбцы значений нормированных переменными х₁* и х₂* ортогональны столбцу из единиц матрицы модели, но не ортогональны между собой х₁*^Тх₂*=2,408≠0. Оценка параметров модели (6.5.11) выполняется также методом наименьших квадратов по формуле =(Х*^ТХ*)^–1Х*^Ту_п* и оценки следующие: =0,818 и =–0,327. Для модели (6.5.11) также дисперсия s_n²=1, поэтому матрица дисперсий и ковариаций вектора  оценки параметров имеет вид (Х*^ТХ*)^–1=.

Из полученной матрицы видно, что оценки параметров b₁ и b₂ коррелированы и, в действительности, нельзя рассматривать разности β₁*– и β₂*– в качестве случайных переменных, имеющих распределение хи-квадрат. Однако с целью сравнения результатов эксперимента, выполненного по плану, где все столбцы матрицы модели ортогональны, и по плану, где это условие не соблюдается, допустим, что они имеют распределение хи-квадрат. Тогда, зная значения =0,818 и =–0,327 и решая уравнения

(β₁*–)²/0,392=3,841 и (β₂*–)²/0,392=3,841               (6.5.12)

относительно β₁* и β₂*, можно найти индивидуальные доверительные интервалы для этих параметров. Для данных таблицы 6.5.1 с не ортогональными столбцами х₁* и х₂* они получаются следующие: для β₁* доверительный интервал 0,818±1,227 длиной 2,454 и для β₂* доверительный интервал –0,327±1,227 тоже длиной 2,454.

Совместную доверительную область параметров b₁* и b₂* будем искать тоже по аналогии с выражениями (6.5.9) и (6.5.10). При этом, как предложено в [Box, Draper (2007) стр.67], используя матрицу Х*^ТХ*=, добавим в левой части выражения (6.5.10) удвоенную ковариацию переменных β₁*– и β₂*–

4(β₁*–)²+4(β₂*–)²+4,816(β₁*–)(β₂*–)≤5.991               (6.5.13)

Следовательно, круговая совместная 95% доверительная область параметров b₁* и b₂* с центром в точке с координатами (,) определяется неравенством

4(β₁*–0,818)²+4(β₂*+0,327)²+4,816(β₁*–0,818)(β₂*+0,327)≤5.991           (6.5.14)

Эта совместная область и индивидуальные интервалы показаны на Рис.6.5.2.

На основании полученного результата, отметим, что ортогональный план на много более желателен, чем не ортогональный, в том смысле, что

Ø Площадь совместной доверительной области меньше,

Ø Длины индивидуальных доверительных интервалов меньше.

Вывод, следующий из сравнения дисперсионных матриц оценок, состоит в том, что более высокая точность оценок параметров получается при ортогональном плане. Однако чтобы делать такое сравнение должным образом для сравниваемых планов необходимо определять их масштаб в одинаковых единицах. При данном сравнении это соблюдалось посредством равенства числу 4 сумм квадратов нормированных элементов каждого столбца для обоих планов.

Теперь рассмотрим Рис.6.5.1 и Рис. 6.5.2 вместе. Во-первых, сравним доверительные интервалы и совместную доверительную область на Рис. 6.5.2 для не ортогонального плана. Рассмотрим пару значений (β₁₀, β₂₀) параметров, соответствующих координатам точки «Р». Видно, что хотя β₁₀ имеет место в пределах доверительного интервала для β₁ и β₂₀ имеет место в пределах доверительного интервала для β₂, сама точка с координатами (β₁₀, β₂₀) попадает за пределы совместной области. Это значит, что хотя значение β₁₀ и допустимо для некоторых значений параметра β₂, но оно недопустимо для конкретного значения β₂₀. В общем случае, чтобы понять совместную приемлемость значений группы параметров необходимо рассматривать совместную область и совсем непросто сделать это видимым, когда имеется более двух или трёх параметров. На Рис.6.5.1 показано как с использованием ортогонального плана это затруднение значительно уменьшается, но не устраняется. Ортогональные планы приводят к круговым контурам для двух параметров или гипер-сферическим контурам для большего числа параметров.

Рис.6.5.2. 95% совместная доверительная область и доверительные интервалы не ортогонального плана эксперимента

Упражнения

6.1. При испытаниях полупроводниковых устройств памяти получены приведенные ниже данные

1. Найдите оценки параметров модели у=b₀+b₁x +e, а также оценки ожидаемых значений переменной у и остатки. Подтвердите, что =+ с погрешностью ошибки округления.
2. Пронормируйте переменную x по формуле x=(x–x₀)/S. Какие значения имеют x₀ и S.
3. Найдите оценки параметров модели у=b₀+b₁x+e, а также оценки ожидаемых значений переменной (у) и остатки.
4. Какая из моделей у=b₀+b₁x +e и у=b₀+b₁x+e является предпочтительной? Почему?
5. Что показывают остатки?
6. Предлагается провести анализ не с самой переменной (у), а с преобразованной переменной w=log(y). Найдите оценки параметров модели w=b₀+b₁x+e.
7. Для модели w=b₀+b₁x+e проверьте гипотезу (b₀, b₁)=(0,6; 0,25). Каковы выводы?

6.2. В предыдущем упражнении можно подумать, что было бы лучше апроксимировать имеющиеся данные моделью у=b₀+b₁x+b₂x²+e. Сделайте анализ. Вы согласны? Объясните.

6.3. Рассмотрим модель у=bх+e, где значения переменной х элементы вектора х^T=[1, 1, 1, 1, 1], а соответствующие значения переменной (у) элементы вектора у^T=[11, 8, 9, 10, 7]. Оцените параметр b и проверьте гипотезу H₀: b=8 в сравнении с H₁: b≠8.

6.4. (Источник: Bain W.A., Batty J.E. Inactivation of adrenaline and nonadrenaline by human and other mammalian liver in vitro, British Journal of Pharmacology and Chemotherapy, 11, 1956, 52-57) Данные в приведённой ниже таблице представляют п=14 концентраций адреналина, переменная у (эрг/мл), для пяти «периодов в нижних тканях», переменная x (мин), нормированная в х.

1. Как выполнено нормирование?
2. Допустим, что данные представляют 14 независимых наблюдений. Оцените параметры модели у=b₀+b₁x+e и покажите, что она неадекватная. Какую другую модель вы рекомендуете?
3. Оцените параметры другой модели.
4. Теперь, обратившись к статье, находим, что столбцы значений переменной (у) в таблице являются отдельными опытами, в каждом из которых образцы брались последовательно во времени из той же пробирки. Может это повлиять на анализ? Если да, то, как и почему?

6.5. Для постулируемой модели у=b₀+b₁x+e, методом наименьших квадратов находятся оценки параметров для значений х₁, х₂, ..., х_п переменной х. Первые три момента переменной х находятся по формулам:

=/п, с=/п, d=/п,

где i=1, 2, ..., п. Покажите, что, если модель у=b₀+b₁x+b₁₁x²+e вызывает опасение и используется модель у=b₀+b₁x+e, то

Лекция "11 Несобственные кратные интегралы" также может быть Вам полезна.

Е(b₀)=b₀+[(c–d)(c–)]b₁₁

Е(b₁)=b₁+[(d–c)(c–)]b₁₁.

1. Возможно ли выбрать такой набор значений х₁, х₂, ..., х_п, что обе оценки будут несмещёнными? Объясните.
2. Возможно ли выбрать такой набор значений х₁, х₂, ..., х_п, что оценка b₁ будут несмещённой? Если да, то предложите простой способ достижения этого.

6.6. Покажите, что статистика t₁= в (6.3.12) имеет нецентральное распределение t(n–2, d) с параметром d=.

6.7. Сделайте проверку гипотезы H₀: b₁=с в сравнении с H₁: b₁≠с.

6.8.      (а) Сделайте проверку гипотезы H₀: b₀=а в сравнении с H₁: b₀≠а.

(б) Найдите доверительный интервал для b₀.