Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 78
Текст из файла (страница 78)
После принятия этой гипотезы разбиение на группы естественно строить так, чтобы параметры, принадлежащие к одной группе, были коррелированы сравнительно сильно, а параметры, принадлежащие к разным группам, — слабо. После такого разбиения для каждой группы признаков строится случайная величина, которая в некотором смысле наиболее сильно коррелирована с параметрами данной группы; эта случай- 409 ная величина интерпретируется как искомый фактор, от которого существенно зависят все параметры данной группы. Очевидно, подобная схема является одним из частных случаев общей логической схемы факторного анализа.
В отличие от ранее описанных классических моделей факторного анализа при эвристически-оптимизационном подходе группировка признаков и выделение общих факторов делаются на основе экстремизации некоторых эвристически введенных функционалов. Разбиения, оптимизирующие функционал )'! или /, (см. ниже), называются экстремальной группировкой параметров. Вообще под задачей экстремальной группировки набора случайных величин х<'), х<') ..., х<»> на заранее заданное число классов р' понимают отыскание такого набора подмножеств 5,, 5,, ..., 5р натурального »' ряда чисел 1, 2, ..., р, что О 5<= (1. 2, ..., р), а 5<П5« = <=! = О ири 1чьд, и таких р' нормированных (т.
е. с единичной дисперснеи 1>><' — — 1) факторов)ч>>, )т»), ..., [<»'>, которые максимнзируют какой-либо критерии оптимальности. Остановимся здесь на алгоритмах для двух различных критериев оптимальности [331. Первый алгоритм экстремальной группировки признаков в качестве критерия оптимальности использует функционал .[,= ~я<', [сот(х<'>, ~<!))»+...+ ~ [сот(х<'), ~<»'>))», <е 51 <ез» в котором под сог (х, >) понимается обычный парный коэффициент корреляции между признаком х и фактором 1. Обозначим А< — — (х<), ! с 5<), 1-= 12, ..., р'. Максимизация функционала У! (как по разбиению признаков на группы А,, ...
А, так и по выбору факторов )<<>, 1<»>, ..., р»')) отвечает требованию такого разбиения параметров, когда в одной группе оказываются наиболее «близкие» между собой, в смысле степени коррелированности, признаки: в самом деле, при максимизации функционала уп для каждого фиксированного набора случайных величин )т'), ~<»), „,, 1<»'), в одну 1-ю группу будут попадать такие признаки, которые наиболее сильно коррелированы с величиной ><И; в то же время среди всех возможных наборов случайных величин р!), 1<«>, ..., 1<»'> будет выбираться такой набор, что каждая из величин >и> в среднем наиболее «близка» ко всем признакам своей группы.
Очевидно, что при заданных классах 5,, 5», ..., 5р отпимальный набор факторов ~<<>, ~<»), ..., ~<»'> получается 4>0 в результате независимой максимизации каждого слагае- мого ~д 1сог(х<» ~<»)1) (( 1 Р') <65< откуда <' <пах )д — — ~" Л<<, )< а), )<д>,, )<л где Л< — максимальное собственное значение матрицы Е» составленной из коэффициентов корреляции переменных, входящих в Аь При этом оптимальный набор факторов )<», 1 = 1,2, ..., р' задается формулами: ~ „«п) до) г<» = <ез< 1 а") ан) г < ы <.
уев< (14.14) где г„= сог (х<'), х<))), а а<» =(и<'), и<», ..., а"',) — собственный вектор матрицы Х<, отвечающий максимальному собственному значению Л<, т. е. дч и<» = Л, и"). С другой стороны, считая известными факторы 1<д), ~<з), ..., )о'), нетрудно построить разбиение 5„5„..., 5,, максимизирующее 1д при фиксированных ~<'), ~<'), ~<Р'), а именно: 5,=(<: согд(х<», !<») -зсогд(х«), ~<д)) для всех <1= =1, 2, ..., р'). (14.15) 4)) Соотношения (14.14) и (!4.15) являются необходимыми условиями максимума <д.
Для одновременного нахождения оптимального разбиения 5,, 5„ ..., 5р и оптимального набора факторов )тд), 1<д), ..., ~<р) предлагается итерационный алгоритм, последовательно осуществляющий выбор оптимальных (по отношению к разбиению, полученному на предыдущем шаге), факторов, а затем выбор разбиения, оптимального к факторам, полученным на предыдущем шаге. Пусть на т-м шаге итерации построено разбиение параметров на группы А„..., А„. Для каждой такой группы параметров строят факторы )тл по формуле (14.14) и новое (т + 1) разбиение параметров А<д.+д), ..., А< +" в соответ- стени с правилом: параметр х<» относится к группе А>'"+», если со>а ~х<»„ф>) всогэ(х»> )ы>) (>1= 1, 2„..., р').
(14.16) Если для некоторого параметра х>'> найдутся два или более факторов таких. что для хп> и этих факторов в (14.16) имеет место равенство, то параметр хп> относится к одной из соответствующих групп произвольно. Очевидно, что на каждом шаге итераций функционал 7> не убывает, поэтому данный алгоритм будет сходиться к максимуму.
Максимум может быть локальным. Для описания второго алгоритма экстремальной группировки признаков введем функционал ./, = ~чг„( сог (х»>, 1» >) (+ ч ', ~ сот (хп>, Г> э>) (+ ... + ~ез~ >езэ + ~ч' '1 сот (х>'>, Го'>) ~. >езг. В содержательном смысле функционал 1, похож на Функционал У, и его максимизация также соответствует основному требованию к характеру разбиения признаков на группы. В [331 показано, что имеет место следукицее утверждение. Необходимыми и достаточными условиями максимума функционала 7, являются следующие: разбиение параметров на группы А„..., Ар таково, что функционал >аз> ю> я> гы и /ез> (14.17) Логическая схема доказательства этого следукицая.
Сначала, варьируя функционал 7, и используя метод множите- (где я> — некоторые числовые коэффициенты, равные либо + 1, либо — 1) достигает максимума как по разбиению на группы, так и по значениям коэффициентов л>. Здесь под Рг понимается, как обычно, дисперсия случайной величины факторы ~»> определяются соотношениями ч', я,х>п лей Лагранжа для учета условия !У/((> = 1, показывают, что в точке максимума функционала /, фактор 7((> имеет вид (14.!7).
Затем доказывается, что если /(<> имеет вид (!4.17), то при любом наборе коэффициентов д< =- ->- 1 и любом разбиении параметров на группы имеет место соотношение /, >,/,, а если же 7, достигает максимума, то ,/« = /,. Из этого утверждения следует, в частности, что для нахождения групп 5< и факторов )(<) достаточно максимизировать функционал У, При фиксированном разбиении иа группы функционал У, достигает максимума тогда, когда для каждого ! соответствующие коэффициенты д( максимизируют величину 0 ~ ~~,'«д(х(<>). (14.18) где 1 при х)0, з!йпх= 0 при х=О, — 1 при х(0 и для всех ! = 1,2, ..., р' вычисляются разности О / ~~ д( ) х(/) +д<~+ ) х( ) «(т+» / «.
< «/ ~«ез(ч) /;< О ~«к(ч> х(/) « /««< Поэтому естественно воспользоваться рекуррентной процедурой максимизации /,. В процедуре циклически перебираются переменные х<'), х('>, ..., х(м, и на каждом шаге принимается решение об отнесении очередного параметра х(» к одной из групп А„..., А „и определяется знак д<. Пусть к т-му шагу алгоритма построены разбиения параметров на группы А(«т>, ..., А(,"', вычислены коэффициенты г«('», д<ю, „др«)>, равные + или — 1, н пусть на этом шаге рассматривается признак х<') с А)'~. Тогда строятся р' вспомогательных коэффициентов й(",( ) (! == 1, ..., р') по. формуле в(«+ >) з!в«п ~ в(ч) / () ~ () «(/> ел(и) с Затем выбирается такой номер 1 = Р, что Л" + '= шах Л'~ ~ ' ><><э и признак хп> исключается из группы А, и присоединяется ь группе А >., остальные группы признаков на этом шаге не меняются.
В результате получаем новое разбиение признаков — А<'~'>, А<;+'>, ..., А'„"~ >. Новые значения коэффициентов а,"~> ' определяются по формулам: д~'~ ' = д~~" (для ) эь (), д>'+ ' =- й>, > На следующем (т + 1)-м шаге алгоритма рассматривается параметр хо"'>, если (Ф р, и х>'>, если > = р. Процедура заканчивается, если при рассмотрении всех признаков очередного цикла сохранились как разбиения признаков на группы, так и значения всех коэффициентов; полученное разбиение и значения коэффициентов рассматриваются как оптимальные.
Для демонстрации сходимости метода к локальному максимуму в 133) доказывается, что на каждом шаге алгоритма значение l, не убывает. Нетрудно проследить идейную близость метода экстремальной группировки факторов с методами, опирающимися на логическую схему факторного анализа. Так, например, отправляясь от общей модели вида э' хп>= ~я~ 1>ч >ы>+и> д=. > (14.1), первую компоненту ~<» и «нагрузки» 1>, в методе главных компонент можно определять из условия минимума выражения ~ 0 (хо> — 1„>Ы>) при нормирующем ограничен=1 нии 0(ы> = 1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
