46235 (665454), страница 3
Текст из файла (страница 3)
Для исследования начальными данными являются ковариации или коэффициенты корреляции. В дальнейшем будем использовать коэффициенты корреляции.
Для установления связи между главными компонентами и коэффициентами корреляции перепишем формулу для любого i в виде:
(2.2)
Вариабельность, зависящая от особенностей объектов, является причиной разброса показаний признаков от объекта к объекту относительно математического ожидания. Полная дисперсия выражается через дисперсию главных компонент, а так как дисперсии нормированных величин равны единице, то можно записать:
.(2.3)
Поскольку главные компоненты ортогональны, то выражение упрощается . Слева записана дисперсия, а справа доли полной дисперсии, относящиеся к соответствующим главным компонентам. Дисперсия является характеристикой изменчивости случайной величины, её отклонений от среднего значения. Полный вклад r-ого факторов дисперсию всех n признаков определяет ту долю общей дисперсии, которую данная главная компонента объясняет.
Этот вклад вычисляется по формуле:
(2.4)
Различают два вида компонент, общие и генеральные. Генеральные главные компоненты существенно связаны со всеми признаками задачи, общие - более чем с одним.
Несмотря на то, что вместо признаков получено такое же количество главных компонент, вклад в общую дисперсию большинства оказывается небольшим. Можно исключить из рассмотрения те компоненты, вклад которых мал.
Итак, при проведении эксперимента мы получаем результаты в виде матрицы наблюдаемых величин ХN,n где N - число наблюдаемых объектов, n - число измеряемых признаков.
Элементы данной матрицы центрируются и нормируются, и мы получаем матрицу Y.
Выясним, что представляют собой весовые коэффициенты между признаками и главными компонентами. Для этого умножим на первую главную компоненту и получим:
. (2.5)
Чтобы получит коэффициент корреляции между j-ым признаком и первой главной компонентой, просуммируем левую часть по всем N наблюдениям и разделим сумму на число наблюдений N, тогда правая часть примет вид:
. (2.6)
Учитывая, что , перепишем выражение:
, (2.7)
где -коэффициент корреляции между j-ым признаком и r-й главной компонентой,
- коэффициент корреляции между r-й и первой главной компонентой,
- весовые коэффициенты, которые называются в факторном анализе коэффициентами отображения. Поскольку в методе главных компонент компоненты не коррелированны между собой, можно записать
=0 (rk), поэтому
=
. И в общем случае в методе главных компонент можно написать
=
.
Матрица наблюденных коэффициентов корреляции может быть представлена так:
R=YY , (2.8)
где Y - матрица нормированных значений признаков, Y - транспонированная матрица.
Коэффициент корреляции характеризует связь между двумя случайными величинами Хj и Хr в случае линейной корреляции между ними. Коэффициент корреляции представляет эмпирический первый основной смешанный момент. Для любых признаков и случайных величин
,
(2.9)
Среднее значение случайной величины Хj определяется по формуле
, (2.10)
а среднеквадратическое отклонение
. (2.11)
В результате преобразований корреляционной матрицы можно получить y=U1/2f, где -матрица собственных значений матрицы R, U - матрица из собственных векторов R. Отсюда можно заключить, что искомая матрица А может быть определена как А=U1/2, или, соответственно для столбцов .
Вклад данного вектора аr в общую дисперсию определится по формуле
. (2.12)
2.2.2. Геометрическая интерпретация метода главных компонент
Геометрической интерпретацией метода главных компонент служит переход к новой системе координат, где осями служат главные компоненты распределения. [3,11].
Рассмотрим простейший двумерный случай. Она представлена на Рис 2.1.
Рис. 2.1. Геометрическая интерпретация метода главных компоент для двумерного случая
2.2.3 Блок схема алгоритма
Блок схема алгоритма метода главных компонент приведена на рисунке 2.2.
Рис 2.2. Блок схема алгоритма метода главных компонент
2.2.4 Обратная факторная задача
Как было указано выше, каждая главная компонента даёт некую новую общую характеристику всем изучаемым объектам. Причем каждая компонента является функцией особенностей каждого из изучаемых объектов. Часто нас интересует случай, когда нас интересуют качества объектов, связанные с одной или несколькими главными компонентами. Если было бы возможно получить значение компоненты для каждого из рассматриваемых пациентов, то их можно было бы ранжировать и классифицировать по такой важной интегральной особенности, как тяжесть ранения.
Обратимся к модели метода главных компонент. Развернём равенство , для j-ого признака:
(2.13)
Выразим теперь значения главных компонент через значения признаков. Для r-ой компоненты:
. (2.14)
Предложенный метод не является единственным, зато он легко программируется на ЭВМ.
2.2.5 Проблема собственных чисел и собственных значений
При решении задачи методом главных компонент возникает проблема вычисления собственных чисел и собственных векторов. В соответствующей литературе, посвященной методу главных компонент [4], для решения этой проблемы рекомендуется воспользоваться стандартными подпрограммами и библиотеками, входящими в поставку программного обеспечения ЭВМ. Однако, в связи с грандиозным прогрессом в области вычислительной техники, развитием персональных ЭВМ, и переориентацией рынка программных средств, данные рекомендации теряют актуальность. Очевидно так же, что и при написании этой методической литературы, данные рекомендации не являлись идеальными, так как при использовании стандартных подпрограмм никак не используются свойства матриц, получающихся при расчетах методом главных компонент.
2.2.6 Методы нахождения собственных чисел и собственных векторов
2.2.6.1 Постановка задачи
Собственным значением квадратной матрицы А называется такое число , что для некоторого ненулевого вектора х имеет место равенство Ах=х. Любой ненулевой вектор х, удовлетворяющий этому равенству, называется собственным вектором матрицы А, соответствующим собственному значению . Все собственные векторы матрицы определены с точностью до числового множителя. Множество всех собственных значений матрицы А называется спектром матрицы А.
Собственные значения матрицы А являются корнями алгебраического уравнения:
(2.16)
которое называется характеристическим уравнением матрицы А.
Известно, что характеристическое уравнение имеет в области комплексных чисел ровно m корней 1, 2, ..., m (с учетом их кратности). Таким образом каждая квадратная матрица А порядка m обладает набором из m собственных значений 1, 2, ..., m.
Если матрица А симметричная, то все её собственные значения являются вещественными числами. В противном случае, для несимметричных матриц возможно наличие комплексных собственных значений вида =i с ненулевой мнимой частью. В этом случае собственным значением матрицы будет и комплексно-сопряженное число.
Численные методы решения проблемы собственных значений до конца 40-х годов, сводились, в основном, к решению характеристического уравнения. При реализации такого подхода, основные усилия были направлены на разработку эффективных методов быстрого вычисления коэффициентов характеристического уравнения. Такие методы имеют названия прямых. Популярным методом этого типа является метод Данилевского [10].
Указанный подход становится неудовлетворительным при вычислении собственных значений матриц, имеющих порядок m в несколько десятков (и тем более сотен). В частности, одним из недостатков является так же то, что точность вычисления корней многочлена высокой степени данным методом чрезвычайно чувствительна к погрешности в коэффициентах, и на этапе вычисления последних может быть в значительной степени потеряна информация о собственных значениях матрицы.
С появлением ЭВМ широкое распространение получили интерполяционные методы решения проблемы собственных значений, не использующие вычисление характеристического многочлена. В настоящее время эти методы почти полностью вытеснили прямые.
2.2.6.2 QR разложение матрицы
В настоящее время лучшими методами вычисления всех собственных значений квадратных заполненных матриц общего вида являются алгоритмы, основанные на QR разложении, которое позволяет получить представление исходной матрицы А в виде произведения ортогональной матрицы Q на верхнюю треугольную матрицу R. Планарные (плоские) вращения (они же вращения Якоби или Гивенса) представляют собой наиболее простое средство получения искомого ортогонального разложения. Метод планарных вращений может быть естественным образом обобщен для получения более удобных форм ортогональных вращений, осуществляемых в пространстве с произвольным числом измерений. Такими обобщениями является алгоритм Хаусхольдера (метод отражений) и модифицированный алгоритм Грама - Шмидта [1,8].
Очевидно, что для полного разложения, независимо от применяемого алгоритма, требуется некая последовательность ортогональных преобразований, которые могут быть представлены матрицами Q0,Q1,...,Qm. Таким образом, полученная в результате матрица примет вид Q= Q0,Q1,...,Qm.
2.2.6.3 Метод вращений ( метод Гивенса)
Отдельное планарное вращение, применяемое к матрице А, эквивалентно умножению её на матрицу вида:
(2.15)
где с=cos, s=sin, - угол вращения. Таким образом, в процессе преобразования матрицы изменяются только её элементы строк i и l.
Предположим, что в результате проведенных преобразований расположенные ниже главной диагонали элементы строк с 1 по l матрицы А стали равными нулю. Тогда для обращения в нуль расположенных ниже главной диагонали элементов (l+1) -й строки матрицы А осуществляется её вращение последовательно с первой, второй и последующими строками. Этот процесс продолжается до тех пор, пока все расположенные ниже главной диагонали элементы (l+1) -й строки не станут равными нулю. То есть, пока не получим треугольную матрицу вида:
(2.16)