Многопараметрические линейные модели - описание модели

Глава 7  Многопараметрические линейные модели

В этой главе рассматриваются статистические линейные модели со многими параметрами. С использованием таких моделей могут оцениваться переменные отклика, зависящие предположительно от р факторов x₁, x₂, ..., x_р, а также предсказываться их значения для новых значений факторов x₁, x₂, ..., x_р. В качестве переменных отклика рассматриваются непрерывные случайные переменные, а факторами x₁, x₂, ..., x_р являются контролируемые в опытах эксперимента дискретные или непрерывные неслучайные переменные, принимающие некоторые числовые значения. Вопросы прикладного линейного регрессионного анализа при контролируемых факторах рассмотрены в [Graybill, Iyer (1994), Ryan (1997), Draper, Smith (1998), Kutner с соавт. (2005) и др.] Теоретические методы изложены в [Searle (1971), Wang, Chow (1994), Hocking (2003), Seber, Lee (2003), Christensen (2010)] и др.

7.1. Описание модели

Представленная в разделе 2.6 линейная модель (2.6.3) с р факторами имеет вид

у=q₀x₀+q₁x₁+q₂x₂+…+q_р–1x_р–1+e.                                         (7.1.1)

В ней, как и в простых линейных моделях, переменная x₀ принимает значение равное 1. Для оценки параметров q₀, q₁, q₂, …, q_р–1 модели, называемых также коэффициентами регрессии, используется выборка наблюдаемых значений переменных у_i отклика в п опытах эксперимента и соответствующие им значения факторов x₁, x₂,…, x_р–1. Зависимость переменной отклика у_i от влияющих на неё факторов в i-м опыте выражается в виде модели

у_i=q₀+q₁x_i1+q₂x_i2+…+q_р–1x_i(р–1)+e_i,    (i =1, 2,..., п)               (7.1.2)

где x_i1, x_i2, …, x_i(р–1) – устанавливаемые в i-м опыте значения факторов x₁, x₂,…, x_р–1 и e_i - случайная ошибка i-го опыта.

В п опытах эксперимента, проводимых при наборах разных значений влияющих на отклик переменных, результатами являются значения п случайных переменных отклика у_i, а в моделях (7.1.2) имеется столько же случайных переменных e_i ошибок. Как и в разделе 6.1, для случайных переменных e_i и у_i делаются следующие дополнительные допущения:

Рекомендуемые материалы

1. E(e_i)=0 и Е(у_i)=q₀+q₁x₁+q₂x₂+…+q_р–1x_iр–1 для всех i =1, 2, ..., п.

2. D(e_i)=s² и D(у_i)=s² для всех i =1, 2, ..., п.

3. C(e_i, e_j) =0 и C(у_i, у_j) =0 для всех i≠j, где j =1, 2, ..., п.

Допущение 1 утверждает, что функция модели верна, то есть действительно линейная и все нужные влияющие на отклик переменные x₁, x₂, …, x_р–1 в неё включены. Допущение 2 означает, что дисперсии переменных отклика у₁, у₂, …, у_п в опытах эксперимента равны и не зависят от меняющихся значений переменных x₁, x₂, …, x_р–1. Допущение 3 утверждает, что переменные у₁, у₂, …, у_п не коррелированы друг с другом. Как правило, это допущение имеет место, когда для результатов опытов эксперимента справедлива гипотеза случайной выборки. Однако при рассмотрении данных реально проведённого эксперимента любое из выше принятых допущений может не соблюдаться. Для проверки справедливости этих допущений разработаны специальные методы, рассматриваемые в главе 8.

Если модель (7.1.2) записать для всех п опытов эксперимента, то получается система уравнений

у₁=q₀+q₁x₁+q₂x₂+…+q_р–1x_1(р–1)+e₁

у₂=q₀+q₁x₁+q₂x₂+…+q_р–1x_2(р–1)+e₂

...

у_п=q₀+q₁x₁+q₂x₂+…+q_р–1x_п(р–1)+e_п.

Эту систему уравнений можно представить в матричном виде

=+

или более компактно

у=Xq+e,                                                        (7.1.3)

где

у=, X=, q= и e=.

В этом случае, сделанные выше допущения для случайных переменных e_i и у_i могу быть представлены в матричном виде:

1. E(e)=0 и Е(у)=Xq,

2. С(e)=D(e)=s²I и С(у)=D(у)=s²I.

При этом допущение С(e)=s²I включает в себя оба допущения D(e_i)=s² и С(e_i, e_j) =0.

В выражении (7.1.3) матрица X размеров пxр. В этой главе полагается, что n>р и матрица X полного ранга по столбцам. Если n<р или существует линейная зависимость между столбцами матрицы X, например, x₅=(x₁+x₂+x₃+x₄)/4, то эта матрица неполного ранга по столбцам. Если в опытах эксперимента значения x_ij факторов планируются (по выбору исследователя), то без первого столбца матрица X представляет план эксперимента и иногда называется матрицей плана.

Коэффициенты регрессии или параметры q₁, q₂, …, q_р–1 модели показывают степень влияния или воздействия факторов x₁, x₂, …, x_р–1 на математические ожидания Е(у_i) переменных отклика. Например, q₁ показывает воздействие фактора x₁ на ожидаемые значения переменных отклика в присутствии других факторов. В случае, если вектор-столбцы матрицы X модели не ортогональны, то это воздействие будет отличаться от воздействия фактора x₁ на Е(у_i) при отсутствии в модели других факторов. Например, параметры q₀ и q₁ в модели

у=q₀+q₁x₁+q₂x₂+e,

будут отличаться от q₀^* и q₁^* в модели

у=q₀^*+q₁^*x₁+e^*

Изменение параметров при удалении из модели одного фактора показано (с оценками) в следующем примере.

Пример 7.1. В интегральной микросхеме коэффициент (у) усиления транзистора между эмиттером и коллектором зависит от двух контролируемых в процессе напыления переменных: времени (x₁ в мин.) разгонки примеси эмиттера и эмиттерной дозы (x₂ в единицах по 10¹⁴ ионов) [Myers с соавт. (2016) стр.17-18)]. После напыления брались 14 образцов, и полученные данные эксперимента представлены в таблице 7.1.

Оценим параметры линейной модели, используя коэффициент (у) усиления в качестве переменной отклика, а x₁ и x₂ в качестве влияющих на отклик переменных. Сначала рассмотрим простые модели (6.1.1) с одним фактором. Используя формулы (6.2.5) и (6.2.4) получаем уравнения оценки ожидаемых значений переменных отклика в зависимости только от x₁ или только от x₂ соответственно

=–394,3+6,8x₁ и =1919–154,4x₂.

Таблица 7.1. Значения коэффициента (у) усиления транзистора и факторов в опытах эксперимента

Теперь, если воспользоваться теоремой 7.2.1 следующего раздела и оценить по формуле (7.2.2) параметры линейной модели с двумя факторами, то уравнение оценки ожидаемых значений переменных отклика в зависимости от переменных x₁ и x₂ принимает вид

=484,82+7,03x₁–213,39x₂.

Как и ожидалось, результаты оценки параметров меняются при переходе от любой из моделей с одним фактором к модели с двумя факторами. Параметры модели со многими факторами иногда называют частными коэффициентами регрессии. Так как, например, результат оценки параметра q₁ определяет ожидаемое изменение переменной отклика при изменении x₁ на единицу, при постоянном значении переменной x₂, а результат оценки параметра q₂ определяет ожидаемое изменение переменной отклика при изменении x₂ на единицу при постоянном значении переменной x₁.

□

Однако если столбцы матрицы модели X сделать между собой ортогональными, то есть, если x₁^Т1=0, x₂^Т1=0 и x₁^Тx₂=0, где 1, x₁ и x₂ вектор-столбцы матрицы X, то, как показано в разделе 6.2, получим q₀=q₀^* и q₁=q₁^*.