Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 98
Текст из файла (страница 98)
ПИ (19.39) инвариантен относительно преобразований масштаба в пространстве Л и аффинноинвариантен относительно преобразований в пространстве Х. Однако относительно вращений в пространстве Л этот ПИ неинвариантен, поскольку при этом могут меняться маргинальные функции плотности 1! (г('>). Можно получить некоторую «разумную» аффинноннвариантную относительно преобразований Л разновидность ПИ (19.39), заменив маргинальные плотности 1! (г(!)) плотностями нормального распределения. При этом, учитывая инвариантность (19.39) относительно линейных преобразо- ваннйХ, можно заранее перейти в пространстве Х к махаланобисовой метрике (см.
9 5.2). Векторы У>, ..., У«будем выбирать ортонормированными. Соответствующий критерий будет иметь внд « '1 9 9(У,Х) 1(Р(Х) — П 9(Рц, 9, 1)) РХ (19491 (=! где (р (г; 0,1) — плотность стандартного нормального расцределения. Этот критерий направлен на поиск (1-мерных проекций, индуцированное распределение для которых наиболее сильно отличается от стандартного (1-мерного нормального распределения с независимыми компонентами. !7 Заказ № 291 Поскольку, как указывалось в $19.1, известно, что невыразительные проекции имеют, при широких предположени. ях, нормальное распределение, критерий (19.40) будет обладать достаточной общностью. Для поиска одномерных проекций такой критерий предлагается в!65).
Нормальное распределение с независимыми компонентами в (19.40) выступает, таким образом, в качестве эталона бесструктурности. Возможна дальнейшая полезная модификация критерия (! 9.40) на основе следующего приема. Если случайные величины г распределены по закону Уч(0, 1ч), то случайные ве- личины уьо — Ф(,и!), где Ф (г) — функция нормального стандартного распределения, распределены равномерно в единичном кубе с вершинами (О, ..., 0), (1, О, ..., 0) и т. д. Интеграл (19.40) после преобразования (19.4!) переходит (с точностью до множителя, не зависящего от неизвестных векторов Ун ..., (/ч) в 6((7, Х)=~ (р(У) — 1)'дУ, (19.42) П где р ()') — плотность распределения, а область интегрирования — единичный куб.
Здесь в качестве эталона однородности выступает рае. номерное распределение в единичном кубе. Элементарное преобразование (!9.42) приводит снова к критерию типа среднего значения степени плотности Еи, Х)=~р (У)дУ, и (19.42') 6!4 поскольку проекции, максимизирующие (!9.42) и (19.42'), совпадают. Критерий, аналогичный (19.42), предложен в !227).
19.6.2. «Наивные» ПИ на основе параметризации вида зависимости. Хотя сами случайные величины г<'>, ..., гьо линейно независимы (т. е. сот (г<'>, г<'>) =- 0 при 1 ~ 1), можно по. пытаться установить наличие зависимости между ними, используя некоторые функции от них и изучая линейную зависимость между этими функциями. Пусть о = 2. Будем искать функции чь (гьв) и ф,(гов), такие, чтобы коэффициент корреляции между ф, (г!П) и ф, (г<'>) был бы максимальным.
Решение этой задачи дано в ~ 18.3. Однако, если ограничиться конкретным классом функций, например полиномов от г'>, можно получить рещение задачи максимизации коэффициента корреляции в аналитическом виде, что, конечно, существенно удобнее для реализации вычислительных процедур по максимизации критерия. В частности, ограничиваясь двумя степенями от г<'>, можно использовать такие ПИ: ) <1< Ф, Х) = гк(г«>, ут)+г'(у„г<г>); (19.4З) ! <~ ((7, Х)=(),((7, Х)+г'(у„у,), (19.43') где у; == (г<'>)', г (, ) — соответствующий коэффициент корреляции. Приведем аналитическое выражение как функцию компонент векторов проецирования, например для г (г<'>, уг). Для упрощения обозначений положим, что г<'> = (!>'Х), г<'> = (У'Х).
Кроме того, будем считать, что ((7'У) = О, ЕХ = О, $ =- 1„(махаланобисова метрика). Тогда Ег<'> = = Ег<'> = О, Пг<» = 0г<"> = 1, Еу, = Еу,—.- 1, ПУэ = Е (У> — — 1)т =- Е У3 — 1. Далее Еу,'= — Е(У' Х)х= ~ пп и;, о;„о;, >< «,. „<,, <~==1 х Е !х«> х«> х<'> х<' >!. (!9.44> Коэффициент корреляции г (г<'>, у,) = Ег, (у, — !) <"у' !)у,.
Отсюда получаем Р > (г<'>, ум'= '~' о<, и<, ип Е !хп > х<О> х«>)Д/Еу,' — 1, «,, ,. «, . (19 45) где значение Еу$ определяется формулой (!9.44). Аналогичные формулы полу.чаются и для остальных коэффициентов корреляции. Зто дифференцируемые функции от компонент (7 и У. Для вычисления производных нужно знать значения смешанных третьих и четвертых моментов компонент вектора Х (на практике используются их оденки) ! 9.7. Регрессия на основе целенаправленного проецирования Пошаговая адднтнвная процедура аппроксимации функции регрессии. Подход для аппроксимации функции регрессии с использованием ЦП предложен в работе [229!.
Пусть име- <7* 5!5 ется выборка объема а из (р + 1)-мерного распределения вектора )' и необходимо восстановить функцию регрессии уся+ н-й компоненты на р первых компонент вектора. Далее для упрощения формул будем употреблять обозначение у вместо усР и и Х для вектора, составленного из р первых компонент вектора ['. Предположим„что функцию регрессии можно представить в виде у = ~ йс (У, Х) !-е, (19.46) с=с где яс (.) — неизвестные функции: Ус — неизвестные векторы; с/ — число проекций, которое также неизвестно. Уравнение (19.46) может рассматриваться как развитие обобщенной линейной модели [12[.
Вычислительная процедура состоит в следующем. На первом шаге ищут такую функцию с/с (.) и вектор У,, чтобы (19.47) б',= ~э~~ (у/ — йс(У[ Х/))*=~го[и. с=! Этот поиск осуществляется следующим образом. Задавая некоторую проекцию У,, ищут непараметрическую оценку функции дс (.), например с помощью сплайн-аппроксимации, минимизирующую бс. Далее при фиксированной функции яс (.) ищут новый вектор У,. Затем снова настраивается функция яс ( ) и т.д. до тех пор, пока значение бс (У,, д,) не стабилизируется.
После этого от величин ус переходят к остаткам ус = у, — я, (Ус, Х;). Поиск вектора У„и функции й', ( ) проводится теперь из условия минимизации величины 6,' = ~~~~ (у; — яс (У, Х/) ) с'=! описанным выше способом. Данный процесс итерируется до тех пор, пока остаточная сумма квадратов 6"; для некоторого с/ нс станет меньше' порогового значения. Доказано [631[, что регрессия в форме (19.46) точно восстанавливает истинную функцию регрессии, если последняя имеет вид полинома некоторой степени от компонент Х.
В качестве примера в [229[ рассмотрен случай, когда р = 2 и истинная зависимость между у и хен и хсв имеет вид у= хсс>хссс. Тогда легко проверить, что яс ~ — !/4, я, = 1/4, У,' = (1,1), Ус = (1,— !) точно восстанавливают функцию регрессии. 516 Этот же пример использован и для иллюстрации работы предлагаемого алгоритма при наличии выборки Другие возможные подходы. В отличие от работы (229), где делается попытка прямой аппроксимации функции регрессии, будем искать подпространство арап (О„..., У„), для которого достигает максимума значение ПИ: Яр,„(К Х)= ! Хх(ы"-~(ф(У, Я) — ~р (у)~(Л)) 6Ъ)у, (19.48) Восстановление плотности и связь с томографией 19.8.
19.8.1. Оценка плотности методом целенаправленного проецирования. Пусть имеется выборка Х~ю = (Х,, ..., Х„) р-мерных наблюдений объема и. Опишем итерационную процедуру получения оценки плотности )' (Х) в виде )„(Х) х ~~Пд (8' Х). Здесь 1, (Х) — начальная плотность, которая задается вместе с некоторой р-мерной выборкой Хьч1= = (Хпь ..., Х„,,) из нее, и,)) и. На М-м шаге процедуры строится оценка в виде плотности )м (Х) = )м - ~ (Х) фм (йм Х) (19.49) вместе с выборкой Х и = (Х,м, ..., Х„мм) из нее. Поправочиая функция лм(у) и направление 6м с )ср, )(Эм!! = 1, вы- где ф (р, Я) — плотность совместного распределения случайных величин Я = (гы>, ..., гел)', г<п = [l,'Х;1 (г) — маргинальная плотность распределения только Х; ~р (у)— маргинальная плотность распределения у; Хх — матрица ковариаций Е, ПИ (19.48) инвариантен относительно линейных преобразований Л, поэтому без ограничения общности можно считать, что компоненты вектора 2 некоррелированы.
В случае махаланобисовой метрики в пространстве Пр (Х) это эквивалентно обычной попарной ортогонаньности векторов !I;, поэтому без ограничения общности можно считать, что !Хх! = 1. ПИ (19.48) является мерой расхождения модели «случайная величина р независима от Л» с ситуацией, имеющей место на самом деле. Максимизируя (19.48), ищут подпространство, где это расхождение максимально, т. е. такое, где у наиболее сильно зависит от Л. бираются так, чтобы они минимизировали значение функ- ционала относительной энтропии Н (~(Х),7(Х)) =~!ой — '' ~(Х) дХ 7(х) в классе всех плотностей ~ (Х) вида ~м, (Х) я (6'Х).
Име- Н()(Х), Гм-~ (Х)6(8'Х))=Н(1(Х), 1м — ~(Х))— — ~ 1ои я (6' Х) !'(Х) дХ = Н (((Х), ~м, (Х))— — ~!пад(у)7 (у, 6)оу, где ~ (у,й)= )г ~(Х)дХ. ед=д Далее, из условия ) ~д Х = 1 следует, что ) ~м ~ (у, 6) х Хд (у) Йу = ! . Положим Ж (8, я (у)) = ! 1ои я (уЦ (у, 6) ду. Таким образом, ям (у) и 6м являются решением задачи: найти (19.50) агд шах%'(6, д(у)) а.а при условии ( ~м- ~ (у, 6) я(у) ду = 1 При каждомфиксированном 8 задача (!959) будет стандартной вариационной задачей, решением которой является функция йа(д) =цд, йу~,(д, 6).
(19.51) Таким образом, дм (у) = ли (у), где ба — решение следующей задачи целенаправленного проецирования: найти (19. 52) ьгдшах%'(8, 1(9, 6)Нм ~(у, 6)). е Наряду с выборкой Хоо = (Х„..., Х„), по предположению индукции, имеется выборка Х™ ' = (Х,, м Х„ч,, м — ~). Опишем, как при помощи этих выборок получить оценку ~начения функционала %'(8, 1' (у, 6))/~м ~ (у, 8)) каждого 6. Фиксируем некоторый алгоритм оценки <р (у) плотности ф (у) одномерной случайной величины по выборке р„..., ул.
Например, ф(у) =-„' '~'Ь(р — В; Ь), ! Ь вЂ”, если (у)л, "—; а' 2 ' где Ь(у; Ь)= О, если (у(= 2 Тогда можно положить лм, ,'~~л (у — 8' Х,; л) ив (У)— лм л ~ч; а(у — в'х. „,,гл) 1 (19.53) л!9 В (!9.53) остается свободным параметрЬ. В !631! рекомендуется Ь выбирать зависящим от у так, чтобы условию (у— и — 6'Х,. м-1 ! -~ — удовлетворяло ровно а пм 1 точек Х,,м,, где а=сопя!, например, О,1; 0,05 и т.д.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
