Лекция 11. Методы кластерного анализа_ метод главных компонент (2014 Лекции (Сенько)), страница 3

Очевидноxj −kXei (ei , xj ) = xj −i=1kXei zji =i=1nXei zjii=k+1То естьmmknX1 X X1 X2[xj −ei (ei , xj )] =(ei zji )2 =m−1m−1j=1i=1=j=1 i=k+1mn1 X Xzji 2 .m−1j=1 i=k+1Однако последняя сумма является суммой дисперсийпеременныхPZk+1 , . . . , Zn , равной остаточной дисперсии ni=k+1 Λi .Сенько Олег Валентинович ()МОТП, лекция 1127 / 30Метод главных компонентИными словами остаточная дисперсия равна среднему квадратурасстоянию векторов до линейного замыкания k собственныхвекторов, соответствующих k первым главным компонентам. Такимобразом низкая величина остаточной дисперсии соответствуетхорошей аппроксимации данных этим линейным замыканием.

Нарисунке 2 представлен пример использования метода главныхкомпонент для задачи с исходным признаковым пространствомразмерности 2. Собственный вектор, соответствующей первой главной(компоненте направлен вдоль прямой (c1,c2). Собственный вектор,соответствующей второй главной компоненте, перпендикулярен(c1,c2).

Синими кружками отмечены точки, соответствующие данным.Из рисунка можно видеть значительную дисперсию проекций объектоввыборки на направление первой главной компоненты. Следуетотметить небольшую величину расстояний объектов обучающейвыборки до прямой (c1,c2).Сенько Олег Валентинович ()МОТП, лекция 1128 / 30Метод главных компонентОтметим, что изначально метод главных компонент рассматривалсяК.Пирсоном как метод поиска линейных многообразий в признаковомпространстве, наилучшим образом аппроксимирующих данные.

Методглавных компонент имеет широкий спектр применений, включаяформирование нового признакового пространства, снижениеразмерности, визуализацию данных. Главные компоненты могут бытьэффективно использованы при решении задач распознавания,регрессионного анализа. Метод очень широко используется вразличных областях, включая биоинформатику, экономику,гуманитарные науки.Сенько Олег Валентинович ()МОТП, лекция 1129 / 30Метод главных компонентРис. 2. пример использования метода главных компонент для задачи сисходным признаковым пространством размерности 2.

Синимикружками отмечены точки, соответствующие данным.Сенько Олег Валентинович ()МОТП, лекция 1130 / 30.