ММО и поиск достоверных закономерностей в данных. Учебное пособие. Сенько (1185323), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Для решения задач распознавания часто используются- cтатистические методы, включая байесовские метод;- методы, основанные на линейной разделимости;- методы, основанные на ядерных оценках;- нейросетевые методы;- комбинаторно-логические методы и алгоритмы вычисления оценок;- алгебраические методы;- решающие деревья и леса;- методы, основанные на принятии коллективных решений по системамзакономерностей- методы, основанные на опорных векторах.Для решения задач регрессии используютсямногомерная линейная регрессия;ядерные оценки;нейросетевые методы;метод опорных векторов.2. Линейная регрессия2.1 Методы настройки моделейРаспространённымпеременнымсредством решения задач прогнозирования величиныX1,Yпоявляется использование метода множественной, Xnлинейной регрессии.

В данном методе связь переменной Y с переменными X 1 ,, Xnзадаётся с помощью линейной моделиY   0  1 X 1 где 0 , 1 ,n X n   ,, nвещественные регрессионные коэффициенты,- случайнаявеличина, являющаяся ошибкой прогнозирования.РегрессионныеSt  {s1  ( y1 , x1 ),коэффициентыищутся, sm  ( ym , x m )} , гдепоистандартнымY   0  1 X 1 , X n , j  1,,n.распределена нормально с нулевым ожиданием.отклонениемn X nОткудаследует,что. 0Откуда следует, что функционал правдоподобия (1.9) ( y j  0 m, n )  может быть записан в виде L( St ,  0 , 1 ,j 1Прологарифмировав функцию правдоподобия ( y j  0 1ln[ L1 ( St , 1 )]   ln[e2s j K1 0разностьтакже распределена нормально с нулевым ожиданиеми стандартным отклонениемmвыборкеy j - значение прогнозируемой переменной Y ,x j  ( x1 j , , xnj ) - вектор значений переменных X 1 ,Предположим, что ошибкаобучающейn i xij )2i 12 2]1e2n i xij )2i 12 2. ( y j  0 n i xij )2i 11  {ln()  ln[e2s j K1]} 2 2n m1 ln( )  12 m1 ln(2 ) ( y j   0   i xij ) 22s j K1i 12Традиционным способом поиска регрессионных коэффициентов является методнаименьших квадратов (МНК).

МНК заключается в минимизации функционалаэмпирического риска с квадратичными потерямиQ ( St ,  0 ,, n ) m1mj 1[ y j   0   x ji  i ]2 . То есть оценки ˆ0 , ˆ1 ,регрессионных коэффициентов( ˆ0 ,ni 1 0 , 1 ,, ˆn )  arg min[Q( St ,  0 ,, ˆn,  n по методу МНК удовлетворяют условию,  n )] . Очевидно, МНК является вариантом методаминимизации эмпирического риска с квадратичной функцией потерь. Покажем, что длязадач, в которых величина случайной ошибкине зависит от переменных2.2 Одномерная регрессия.Рассмотрим простейший вариант линейной регрессии, описывающей связь междупеременной Y и единственной переменнойэмпирического риска на выборкеQ ( St ,  0 , 1 ) m1mj 1X : Y   0   X   .

. ФункционалSt  {( y1 , x1 ),,( ym , xm )}принимает вид[ y j   0  1 x j ]2 .Необходимым условием минимума функционалаQ( St ,  0 , 1 )являетсявыполнение системы из двух уравненийQ( St ,  0 , 1 )2 m2 1 m   y j  20  xj  0 0m j 1m j 1(2)mQ ( St ,  0 , 1 )2 m2 1 m 2   x j y j  20  x j  xj  01m j 1m j 1j 1( ˆ0 , ˆ1 )Оценки(  0 , 1 )являются решением системы (2) относительно параметровсоответственно .Таким образом оценки могут быть записаны в видеmˆ1 x yjj 1jmxj 12jmmx  y1mj 1mjj 1 ( x j )Выражение для1m̂1Cov(Y , X | St ) переменных Y и X ,,ˆ0  y  1 x , где y 2m1my ,j 1jxm1mxj 1j 1может быть переписано в видеm1mj(yj 1jˆ1 Cov(Y , X | St ), гдеD( X ) y )( x j  x ) является выборочной ковариациейD ( X | St ) m1m(xj 1j x ) 2 - выборочная дисперсияпеременной X .2.3 Многомерная регрессия.При вычислении оценки вектора параметров0 , , nлинейной регрессии удобно использовать матрицу плана Xв случае многомернойразмераm  (n  1) ,jкоторая строится по обучающей выборкеx j  ( x j1 ,, x jm ) - вектор значений переменных X 1 ,1 x11вид X  1 x j11 xm1ПустьSt  {( y1 , x1 ),, X n .

Матрица плана имеетx1n x jn  .xmn y  ( y1 ,переменными,( ym , x m )} , где, ym )X1,, Xn- вектор значений переменнойна объектах обучающей выборки может быть описана сy  βXt  ε , где ε  (1 ,помощью матричного уравненияпрогнозирования для объектовSt .Функционал Q( St ,  0 ,может быть записан в виде, n )Y . Связь значений Y с,  m ) - вектор ошибокn 1mQ( St ,  0 , ,  n )  m1  [ y j    i x ji ]2j 1, где x ji - элементы матрицы плана X ,i 1определяемые равенствами x j1  1 , x j1  x j (i 1) при i  1 .Необходимымусловиемминимумаявляется выполнение системы из n  1Q( St ,  0 , 0, n )mm n 1j 1j 1 i 1функционалаQ ( St ,  0 ,, n )уравнений 2[ y j x j1   i x ji x j1 ]  0(3)Q( St ,  0 , nВектор, n )оценокmm n 1j 1j 1 i 1 2[ y j x jn   i x ji x jn ]  0значенийрегрессионныхкоэффициентовβˆ  ( ˆ0 ,, ˆn )является решением системы уравнений (3) .

В матричной форме система (3) может бытьзаписана в виде2Xt y t  2Xt Xβt  0(4)Решение системы (4) существует, еслиdet( Xt X)  0 . В этом случае для Xt Xсуществуетобратная матрица и решение (4) относительно вектора может быть записано в виде:βˆ t  ( Xt X)1 Xt y t . Из теории матриц следует, чтоматрицыXX i  { X 1 ,мерных векторов значений накоррелированностиX i  { X 1 ,, X n } на выборке Stявляется линейной комбинацийSt других переменных из { X 1 ,m -мерного, X n } на выборкевекторазначенийβˆ tоднойизпеременныхSt с какой-либо линейной комбинациейможет сильнонебольших чисто случайных изменениях вектораm-, X n } .

При сильнойdet( Xt X) оказывается близким к 0.переменных значениевычисленный вектор оценокесли рангn  1 , что происходит, если m -мерный вектор значенийпо строкам менееодной из переменныхdet( Xt X)  0другихПри этомизменяться при относительноy  ( y1 ,, ym ) . Таким образомоценивание с использованием МНК при наличии мультиколлинеарности оказываетсянеустойчивым.

Отметим также, чтоdet( Xt X)  0 при n  1  m . Поэтому МНК неможет использоваться для оценивания регрессионных коэффициентов, когда числопеременных превышает число объектов в обучающей выборке. На практике высокаяустойчивость достигается только, когда число объектов в выборках по крайней мере в 3-5раз превышает число переменных.Для подробного изучения методов многомернойлинейно регрессии может быть рекомендована, например, книга [27]2.4.

Методы, основанные на регуляризации по ТихоновуОдним из возможных способов борьбы с неустойчивостью являетсяиспользованиеметодов, основанных на включение в исходный оптимизируемыйфункционалQ ( St ,  0 ,,  n ) дополнительной штрафной компоненты.

Введение такой компонентыпозволяет получить решение, на котором Q( St ,  0 ,,  n ) достаточно близок к своемуглобальному минимуму. Однако данное решение оказывается значительно болееустойчивым и благодаря устойчивости позволяет достигать существенно более высокойобобщающей способности. Подход к получению более эффективных решений с помощьювключения штрафного слагаемого в оптимизируемый функционал принято называтьрегуляризацией по Тихонову.X1, , X nНа первом этапе переходим от исходных переменныхX ns ,стандартизированнымX is X i  Xˆ i ˆ, Xi ˆ im1m x jij 1Yпрогнозируемой переменнойYs  Y m1myj 1jm,ˆ i 1m(xj 1ji, X ns Xˆ i ) 2ак,такжегдеотисходнойк стандартизованной прогнозируемой переменнойx sj1  1 , x sji  x sj (i 1) при i  1 , где x sj ( i 1) - значение признака. Пусть x11ssX i для j-го объекта. Пусть также X s   x j1 xm1стандартизированныхx jnxmny s  ( y1s ,переменных,стандартизованной переменнойx1sn, yms ) -- матрица плана длявекторзначенийYs .Одним из первых методов регрессии, использующих принцип регуляризации, являетсяметод гребневой регрессии (ridge regression).

В гребневой регрессии в оптимизируемыйфункционал дополнительно включается сумма квадратов регрессионных коэффициентовприпеременныхQridge ( St ,  0 , ,  n ) гдеX 1s ,m1mj 1, X ns.Врезультатеn 1функционалимеетвидn[ y   i x ]    i2 ,sji 1s 2jii 0s- положительный вещественный параметр, X 1 ,, X ns для j-го объекта, Пустьβˆ r является вектором оценок регрессионных коэффициентов, полученным в результатеминимизации Qridge ( St ,  0 ,, n ) .коэффициентовкприводитОтметим,увеличениючтоувеличениерегрессионныхQridge ( St ,  0 , ,  n ) .

Таким образомиспользование гребневой регрессии приводит к снижению длины вектора регрессионныхs, X ns .коэффициентов при переменных X n ,rРассмотрим конкретный вид вектора регрессионных коэффициентов βˆ . Необходимымусловием минимумавыполнение системы изQ( St ,  0 , 0, n )Q ( St ,  0 , n, n )Qridge ( St ,  0 , ,  n )функционалаn 1являетсяуравненийm n 1m 2[ y j x   i x sji x sj1   0 ]  0sj1j 1(5)j 1 i 1mm n 1j 1j 1 i 1 2[ y j x sjn   i x sji x sjn   n ]  0Поэтому вектор оценок регрессионных коэффициентов в методе гребневая регрессияявляется решением системы (5).Вматричнойформе Xts y ts  ( Xts X s   I ]βˆ t  0система(5)можетбытьзаписанаввидеtt tt1или в виде βˆ  X s y s [ X s X s   I ] , где I – единичнаяматрица.Отметим, чтопроизведениеXts X sпредставляетнеотрицательно определённую матрицу.

МатрицаXts X s   Iсимметрической матрицей. Каждому собственному значениюсоответствует собственное значениеt[( X s )t X   I ]1 всегда существует.также являетсяktматрицы X s X si   матрицы Xts X s   I . Таким образомминимальное собственное значение матрицы X s X s   Imin   . Откуда следует, что всегдасобой симметрическуюудовлетворяет неравенствуdet( Xts X s   I )  0 , а обратная матрицаБольшая величинаdet( Xts X s   I )  0приводит к относительно небольшим изменениям оценок регрессионных коэффициентовпри небольших изменениях в обучающих выборках.Наряду с гребневой регрессией в последние годы получил распространение метод Лассо,основанныйнаминимизациифункционалаmn 1nj 1i 1i 0QLasso ( St ,  0 , ,  n )  m1  [ y sj   i x sji]2    | i | .Интересной особенностью методаЛассо является равенство 0 части из регрессионных коэффициентовравенство0коэффициентанасамомделеозначает( 1 ,исключение, n ) .Однакоизмоделисоответствующей ему переменной.

Характеристики

Список файлов книги