Линейные преобразования функции модели

7.5. Линейные преобразования функции модели

Найденный обычным методом наименьших квадратов вектор  оценки параметров модели обладает тем свойством, что оцениваемые с его использованием ожидаемые значения переменных отклика =+x_i1+x_i2+…+x_i(р–1) =x_iс остаются тем же при простых линейных преобразованиях факторов. Значения этих факторов являются элементами строк x_iс= [1, x_i1, x_i2,..., x_i(р–1)] матрицы X модели. Пусть их преобразование делается по формуле u_j=c_jx_j, то есть умножением на соответствующие определённые числа c_j (j=1, 2, ..., р–1). Так строка x_iс преобразуется в строку u_iс=[1, c₁x_i1, c₂x_i2, ..., c_р–1x_i(р–1)]. В следующей теореме доказывается, что результат  оценки ожидаемого значения переменной отклика на основе строки u_iс является таким же, как и на основе строки x_iс.

Теорема 7.5. Если x_iс=[1, x_i1, x_i2,..., x_i(р–1)] - строки матрицы X и u_iс=[1, c₁x_i1, c₂x_i2,..., c_р–1x_i(р–1)] - строки матрицы U, то =x_iс=u_iс, где =(U^ТU)^–1U^Тy – вектор оценки методом наименьших квадратов вектора параметров модели с преобразованными факторами.

Доказательство: Преобразование строки x_iс в строку u_iс можно записать в виде u_iс=x_iсD, где диагональная матрица D=диаг[1, c₁, c₂,..., c_р–1]. В силу (П.2.22), вся матрица X преобразуется в матрицу U по формуле U=XD. Подставим U=XD в формулу оценки параметров =(U^ТU)^–1U^Тy чтобы получить

=[(XD)^Т(XD)]^–1(XD)^Тy

=(XD)^–1[(XD)^Т]^–1(XD)^Тy

=D^–1X^–1(D^ТX^Т)^–1(XD)^Тy

=D^–1X^–1(X^Т)^–1(D^Т)^–1D^ТX^Тy       [в силу (П.5.5)]

=D^–1(X^ТX)^–1X^Тy

Рекомендуемые материалы

=D^–1,                                                           (7.5.1)

где  - вектор оценки, вычисляемый по формуле (7.2.2). В результате имеем

=u_iс=x_iсDD^–1=x_iс.

□

Следующим следствием теоремы 7.5 доказывается, что оценка ожидаемых значений переменных отклика остаётся неизменной и при любом линейном преобразовании полного ранга значений факторов в матрице модели.

Следствие 1. Результаты  оценки ожидаемых значений переменных отклика инвариантны к линейному преобразованию полного ранга значений факторов в матрице модели.

Доказательство: Линейное преобразование матрицы X модели посредством матрицы полного ранга можно представить в виде

F=XK=[1, X₁]

=[1+X₁0, 10^Т+X₁K₁]

=[1, X₁K₁],

где X₁ - матрица плана эксперимента

X₁=                                      (7.5.2)

и K₁ – соответствующая невырожденная матрица. Здесь матрицы X и K разделены таким образом, чтобы преобразовать только элементы матрицы X₁, оставляя первый столбец матрицы X неизменным. Как и при получении результата в выражении (7.5.1), вектор  оценки параметров находится преобразованием вектора  в виде

=(F^ТF)^–1F^Тy

=K^–1.                                                          (7.5.3)

Преобразование i-й строки матрицы X в i-ю строку матрицы F выполняется по формуле f_iс=x_iсK, а преобразование f_iс в x_iс в виде f_iсK^–1=x_iс. Следовательно, результат  оценки ожидаемого значения i-й переменной отклика находится так

=f_iс

=f_iсK^–1

=x_iс.                                                            (7.5.4)

Поэтому произведения f_iс и x_iс дают один и то же результат , что и указывает на его инвариантность к линейному преобразованию полного ранга значений факторов в матрице модели.

□

В дополнение к результатам  оценки ожидаемых значений переменных отклика результат s² оценки дисперсии также инвариантен к линейным преобразованиям факторов. В силу (7.5.4), результаты  оценки ожидаемых значений переменных отклика инвариантны к линейным преобразованиям факторов. Поэтому их вектор =X тоже инвариантен к линейным преобразованиям значений факторов. Оценка дисперсии делается по формуле s²= (у–X)^Т(у–X)/(n–р), поэтому и её результат инвариантен к линейным преобразованиям значений факторов.

Статистики, имеющие распределения t и F, а также статистика R² тоже инвариантны к линейным преобразованиям значений переменных отклика или факторов, но не к совместному линейному преобразованию переменных отклика и факторов.

Модель с центрированной функцией

Для каждого из n опытов эксперимента модель (7.1.2) можно записать с центрированной функцией путём центрирования значений факторов их усреднёнными значениями в виде

y_i=q₀+q₁x_i1+q₂x_i2+…+q_р–1x_i(р–1)+e_i,

=q_c+q₁(x_i1–)+q₂(x_i2–)+…+q_р–1(x_i(р–1)–)+e_i,             (7.5.5)

где =/n (j=1, 2, ..., р–1) и

q_c=q₀+q₁+q₂+...+q_р–1.                                             (7.5.6)

Для вектора у^Т=[у₁, у₂, ..., у_п] переменных отклика модель (7.5.5) с центрированной функцией в матричном виде записывается так

у=[1, X_c]+e,                                  (7.5.7)

где q₁^T= [q₁, q₂,..., q_р–1],

X_c=(I–Е/n)X₁

=,  (7.5.8)

и матрица X₁ дана в (7.5.2). Матрицу I–Е/n иногда называют матрицей центрирования.

Как и в (7.2.5), нормальные уравнения для модели (7.5.7) записываются в виде

[1, X_c]^Т[1, X_c]=[1, X_c]^Тy.                                   (7.5.9)

В силу (П.3.1) и (П.3.5), произведение [1, X_c]^Т[1, X_c] в левой части преобразуется к виду

[1, X_c]^Т[1, X_c]=[1, X_c]=

=,                                                (7.5.10)

где 1^ТX_c=0^Т, так как суммы элементов столбцов матрицы X_c равны нулю. Это легко проверить, сделав следующие преобразования

1^ТX_c=1^Т(I–Е/n)X₁=1^Т(I–11^Т/n)X₁=(1^Т–1^Т11^Т/n)X₁=(1^Т–1^Т)X₁=0^Т.

Правую часть выражения (7.5.9) можно записать в виде

[1, X_c]^Тy=y=.

На основе сделанных преобразований оценка параметров модели (7.5.7) методом наименьших квадратов делается с использованием выражения в матричной форме

={[1, X_c]^Т[1, X_c]}^–1[1, X_c]^Тy=

==

или отдельными формулами

=                                                            (7.5.11)

и

=(X_c^ТX_c)^–1X_c^Тy.                                          (7.5.12)

Эти формулы оценки являются такими же, как и формула =(X^ТX)^–1X^Тy оценки методом наименьших квадратов без центрирования факторов, но с корректировкой

=–––...–

=–^Т,                                                     (7.5.13)

получаемой на основе выражения (7.5.6) для q_c. Это можно продемонстрировать следующим образом. Если матрица X и вектор q разделены в виде X=[1, X₁] и q=, то нормальные уравнения X^ТXq=X^Тy принимают вид

=.

Из них получаем два выражения

пq₀+1^ТX₁q₁=п                                            (7.5.14)

и

X₁^Т1q₀+X₁^ТX₁q₁=X₁^Тy.                                  (7.5.15)

Уравнение (7.5.14) после преобразования становится

q₀+q₁=,

где =X₁^Т1/п – вектор усреднённых значений факторов в опытах эксперимента. В силу (7.5.6), это уравнение принимает вид =. Выражение (7.5.15) можно записать так

пq₀+X₁^ТX₁q₁=X₁^Тy.                                    (7.5.16)

Представленные выражением (7.5.9) нормальные уравнения для модели с центрированной функцией могут быть записаны в форме

=,

что представляется также и в разделённом виде отдельными выражениями

nq_с=n                                                          (7.5.17)

и

X_c^ТX_cq₁=X_c^Тy.                                                (7.5.18)

Следовательно, уравнение (7.5.17) является тем же, что и уравнение (7.5.14).

В силу (7.3.8), имеем X_c=(I–Е/n)X₁ и произведение X_c^ТX_c принимает вид

X_c^ТX_c=X₁^Т(I–Е/n)X₁=X₁^ТX₁–X₁^Т11^ТX₁/n=X₁^ТX₁–n.

Также можно получить, что

X_c^Тy=X₁^Т(I–Е/n)y=X₁^Тy–X₁^Т11^Тy/n=X₁^Тy–n.

Подставляя в (7.5.18) вместо X_c^ТX_c и X_c^Тy полученные их выражения, имеем

X₁^ТX₁q₁–nq₁=X₁^Тy–n

или

X₁^ТX₁q₁+n(–q₁)=X₁^Тy.

В силу (7.5.13), –q₁^Т=q₀, следовательно, выражение (7.5.18) является тем же самым, что и (7.5.16).

На примере применения обобщенного метода наименьших квадратов покажем, что для определённого вида ковариационной матрицы S результат оценки параметров получается тем же, что и для центрированной модели с применением обычного метода наименьших квадратов.

Пример 7.5.1. Рассмотрим модель с разделёнными матрицей X модели и вектором w её параметров вида

у=[1, X₁]+e.

В матрице ковариаций

S=s²[(1–r)I+rЕ]=s²V                                             (7.5.19)

= s²,

случайных переменных модели они все имеют одну и ту же дисперсию s² и все пары переменных имеют одинаковую корреляцию r. Такое представление матрицы ковариаций предполагается для некоторых повторных измерений и случаев внутригрупповой корреляции. Определение коэффициента корреляции r дано выражением (3.2.14).

В силу (7.4.2), имеем

==(X^ТV^–1X)^–1X^ТV^–1y.

Для разделённой матрицы X=[1, X₁] матрица X^ТV^–1X в разделённом виде записывается так

X^ТV^–1X=V^–1[1, X₁]

=.

Обратная матрицы V=(1–r)I+rЕ размеров пхп задается выражением [Rencher, Schaalje (2008) cтр.176]

V^–1=а(I–brЕ),                                                                      (7.5.20)

где а=1/(1–r) и b=1/[1+(п–1)r]. Используя выражение (7.5.20) для V^–1, матрица X^ТV^–1X принимает вид

X^ТV^–1X=                                             (7.5.21)

и также

X^ТV^–1у=.                                                      (7.5.22)

Отсюда получаем

=(X^ТV^–1X)^–1X^ТV^–1y

=,

являющееся тем же, что и в выражениях (7.5.11) и (7.5.12) для модели в центрированном виде. Таким образом, оценка обычным методом наименьших квадратов является наилучшей линейной несмещённой оценкой при ковариационной матрице с равными дисперсиями и равными коэффициентами корреляции.

□

Когда вектор  оценки ожидаемых значений переменных отклика выражается через факторы, представленные в центрированной форме, то имеем

=[1, X_c]

=1+X_c(X_c^ТX_c)^–1X_c^Тy.                                  (7.5.23)

Выражение суммы квадратов остатков для модели с центрированной функцией имеет вид

S_E=–^ТX_c^Тy,                                         (7.5.24)

оказываясь тем же, что и S_E=y^Тy–^ТX^Тy для обычной модели. Это можно показать, сделав следующие преобразования:

y^Тy–^ТX^Тy=y^Тy–[,][1, X₁]^Тy

=y^Тy–[,]

=y^Тy–n–X₁^Тy

=y^Тy–(–)n–X₁^Тy     [в силу (7.3.13)]

=y^Тy–n–(X₁^Тy–n)

=–X_c^Тy.

Таким образом, оценка дисперсии для модели с центрированной функцией остаётся такой же, как и для обычной модели.

Модель с нормированной функцией

Для каждого опыта эксперимента модель (7.5.5) можно записать с использованием центрированных и линейно преобразованных или нормированных факторов в виде

y_i=b₀+b₁(x_i1–)/S₁+b₂(x_i2–)/S₂+…+b_р–1(x_i(р–1)–)/S_р–1+e_i,     (7.5.25)

где S_j²= (j=1, 2, …, р–1) - значения вторых моментов факторов в опытах эксперимента относительно их усреднённых  [Box, Wilson (1951) стр.9; Box (1952)]. Модель в таком виде имеет нормированную функцию и широко используется для анализа результатов планируемых экспериментов. Состоящую из нормированных факторов матрицу плана эксперимента легче анализировать, и она более удобна для расчётов, чем матрица плана в исходных значениях факторов.

Вышеуказанное нормирование применяется в случаях, когда в опытах эксперимента факторы устанавливаются при многих значениях. Однако если они устанавливаются только при двух значениях, то их нормирование возможно по формуле (2.6.4). При двух, то есть большем x₊ и меньшем x_– значениях фактора, эта формула принимает вид

x=[x–(x₊+x_–)/2]/(x₊–x_–)/2.

Формула нормирования фактора, принимающего в опытах многие значения, имеет вид

x=(ξ–)/S,

где =, S= и m – число значений фактора x. Две эти формулы нормирования одинаковы, когда =(x₊+x_–)/2 и =(x₊–x_–)/2. Отсюда имеем =(x₊–x_–)/2 и, возводя в квадрат обе части этого равенства, получаем =m[(x₊–x_–)/2]². Это равенство соблюдается только тогда, когда переменная ξ принимает два значения x₊ и x_–.

В силу (5.1.2), числитель выражения для S_j² можно записать в виде квадратичной формы

=x_j^Т(I–Е/n)x_j,

откуда S_j=[x_j^Т(I–Е/n)x_j/n]^1/2. Для всех столбцов x₁, x₂, ..., x_р–1 матрицы X₁ плана эксперимента в исходных значениях факторов можно получить диагональную матрицу

D_s=диаг{[x₁^Т(I–Е/n) x₁/n]^1/2, [x₂^Т(I–Е/n)x₂/n]^1/2, …, [x_р–1^Т(I–Е/n)x_р–1/n]^1/2},

которая имеет вид D_s= и ей обратную D_s^–1=. Следовательно, для переменных у₁, у₂, ..., у_п отклика модель (7.5.25) в матричной форме принимает вид

у=[1, X₁]+e,                                 (7.5.26)

где b₁^T= [b₁, b₂,..., b_р–1],

X₁=(I–Е/n)X₁D_s^–1                                                        (7.5.27)

=,

и исходная матрица X₁ дана в (7.5.2). Матрицы I–Е/n и D_s^–1 невырожденные и выполняют элементарные преобразования столбцов матрицы X₁. Следовательно, матрица X₁ эквивалентна матрице X₁ [Seber (2008) стр. 330].

Как и в (7.2.5), нормальные уравнения для модели (7.5.26) записываются в виде

[1, X₁]^Т[1, X₁]=[1, X₁]^Тy.                                 (7.5.28)

В силу (П.3.1) и (П.3.5), произведение [1, X₁]^Т[1, X₁] в левой части преобразуется так

[1, X₁]^Т[1, X₁]=[1, X₁]=

=,                                                           (7.5.29)

так как 1^Т1=n и 1^ТX₁=1^Т(I–Е/n)X₁D_s^–1=(1^Т–1^Т11^Т/n)X₁D_s^–1=0^ТX₁D_s^–1=0^Т. Правую часть выражения (7.5.28) можно записать в виде

[1, X₁]^Тy=y=.

На основании этих преобразований оценка параметров модели методом наименьших квадратов даётся матричным выражением

={[1, X₁]^Т[1, X₁]}^–1[1, X₁]^Тy=

==

или отдельными формулами

=                                                            (7.5.30)

и

=(X₁^ТX₁)^–1X₁^Тy.                                        (7.5.31)

Вектор оценки ожидаемых значений переменных отклика находится по формуле

=[1, X₁]

=1+X₁(X₁^ТX₁)^–1X₁^Тy.                                (7.5.32)

В силу (7.5.8) и (7.5.27), имеем X₁=X_cD_s^–1 и, подставляя это в (7.5.32), получаем

=1+X_cD_s^–1(D_s^–1X_c^ТX_cD_s^–1)^–1D_s^–1X_c^Тy

=1+X_cD_s^–1D_s(X_c^ТX_c)^–1D_sD_s^–1X_c^Тy

=1+X_c(X_c^ТX_c)^–1X_c^Тy.                                  (7.5.33)

Таким образом, вектор оценки ожидаемых значений переменных отклика получается тем же самым, что и в (7.5.23) для модели с центрированной функцией. Следовательно, все результаты, полученные для модели с центрированными факторами справедливы и для модели с нормированными факторами.

В теории планирования экспериментов и методологии функций отклика принято пользоваться линейной моделью с нормированными факторами [Box, Draper (2007); Myers с соавт. (2016)]. Эта модель имеет вид

у=Хb+e,                                            (7.5.34)

где Х=[1, X₁] и b=. Сумма квадратов остатков для этой модели находится по формуле

S_E=(у–X)^Т(у–X)

=y^Тy–^ТX^Тy.

Скорректированная усреднённым значением переменных отклика эта сумма принимает вид

S_E=y^Тy–[,^Т][1, X₁]^Тy

=y^Тy–[,^Т]

=y^Тy–n–^ТX₁^Тy

=y^Тy–n–^ТX₁^Тy

=–^ТX₁^Тy. [в силу (5.1.1)]      (7.5.35)

В ней член ^ТX₁^Тy преобразуется так

^ТX₁^Тy=y^ТX₁(X₁^ТX₁)^–1X₁^Тy

=y^ТX_c(X_c^ТX_c)^–1X_c^Тy

=X_c^Тy.

Следовательно, сумма квадратов остатков для модели с нормированной функцией такая же, как для модели с центрированной функцией в (7.5.24) и исходной модели в (7.3.10).

Упражнения

7.1. Покажите, что в (7.2.3) сумма =(у–Xq)^Т(у–Xq).

7.2. Покажите, что (7.2.7) получается из (7.2.6). Почему матрица X^ТX положительно определённая?

7.3. Получите ковариационную матрицу С() в (7.2.12) из (7.2.11).

7.4. Покажите, что в примере 7.2.2 дисперсия D()=s²()/такая же, как дисперсия D() в (6.2.13).

7.5. Покажите, что произведение AA^Т в доказательстве теоремы 7.2.4 может быть представлено в виде AA^Т=[А–(X^ТX)^–1X^Т][А–(X^ТX)^–1X^Т]^Т+(X^ТX)^–1.

7.6. Докажите следствие 1 теоремы 7.2.4, используя описанный в конце раздела П.14 метод множителей Лагранжа.

7.7. Проверьте (7.5.3) в доказательстве следствия 1 теоремы 7.5.

7.8. Покажите, что (у–X)^Т(у–X)=y^Тy–^ТX^Тy, как в (7.3.8).

7.9. Покажите, что E(S_E) =s²(n–р), как и в теореме 7.3.2, используя следующий подход. Покажите, что S_E=y^Тy–^ТX^ТX. Покажите, что Е(y^Тy) =ns²+q^ТX^ТXq и Е(^ТX^ТX)=рs²+q^ТX^ТXq.

7.10. Покажите, что нецентрированную модель можно записать в центрированном виде (7.5.5) с q_c определенным выражением (7.5.6).

7.11. Покажите, что X_с=(I–Е/n)X₁ как в (7.5.8), где X₁, как показано в (7.5.2).

7.12. Покажите, что оценки = в (7.5.11) и =(X_c^ТX_c)^–1X_c^Тy в (7.5.12) такие же, как =(X^ТX)^–1X^Тy в (7.2.2), используя обратную матрицы X^ТX в разделённом виде:

(X^ТX)^–1=[(1, X₁)^Т(1, X₁)]^–1.

7.13. Покажите, что в доказательстве теоремы 7.3.5 имеем

(у–Xq)^Т(у–Xq)= (у–X)^Т(у–X)+(–q)^ТX^ТX(–q).

7.14. Объясните, почему после теоремы 7.3.5 отмечено, что функция f(y; q, s²) не разлагается на сомножители в виде g₁(,q)g₂(², s²)h(у).

7.15. Покажите, что для матрицы V=(1–r)I+rЕ выражения (7.5.19) матрица V^–1=а(I–brЕ), где а =1/(1–r) и b=1/[1+(п–1)r], является обратной.

7.16.  (а) Покажите, что X^ТV^–1X=, как дано в (7.5.21).

(б) Покажите, что X^ТV^–1у=, как дано в (7.5.22).

7.17. Покажите, что С()=s_к²(X^ТX)^–1X^ТVX(X^ТX)^–1 как и в (7.4.8), где =(X^ТX)^–1X^Тy и С(y)= s_к²V.

7.18.  (а) Покажите, что по взвешенному мотоду наименьших квадратов при D(у_i)=s²x_i оценки параметров модели у_i=w₀+w₁x_i+e_i находятся по формуле (7.4.9).

21 Аргентина 1980-1990-е гг. - лекция, которая пользуется популярностью у тех, кто читал эту лекцию.

(б) Проверьте выражение ковариационной матрицы С() в (7.4.10).

7.19. Получите выражение ковариационной матрицы С() в (7.4.11).

7.20. В качестве альтернативного вывода D() в (7.4.12) используйте следующие два шага, чтобы найти D() с помощью =/:

(а) Используя D(у_i) =s²x_i, покажите, что D() =s²x_i/[]².

(б) Покажите, что это выражение для D() равно тому, что в (7.4.12).

7.21. Используя x =2, 3, 5, 7, 8, 10, сравните D() в (7.4.12) с D() в (7.4.13).