5 Уменьшение размерности описания данных - метод главных компонент (1162173), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Однако, в том случае, если исходные вектора v i являются нормированными, т.е.∥v i ∥ = 1, то вектора X T v i нормированными уже не являются. Нормированные вектора можнополучить с помощью следующего преобразования:qi = √1X T vi.N λiТеперь, объединяя все вышесказанное, можно составить схему метода главных компонент,представленную в алгоритме 1.Ядровой метод главных компонентМетод главных компонент является линейным методом уменьшения размерности, т.к.преобразование (4) от xn к tn , а также обратное преобразование (5) от tn к xn,pr являютсялинейными. В том случае, если выборка данных образует в многомерном пространственелинейное многообразие, то применение метода главных компонент будет приводить к большойошибке проектирования.Обобщение метод главных компонент на нелинейный случай возможно с помощью ядровогоперехода. Рассмотрим некоторое нелинейное преобразование ϕ : RD → H такое, что в новомпространстве H нелинейное многообразие выборки переходит в гиперплоскость (см.

рис. 8).Например, квадратичное многообразие в двухмерном пространстве (x, y) видаa11 x2 + a12 xy + a22 y 2 + a1 x + a2 y + a3 = 010является гиперплоскостью в пятимерном пространстве (x2 , xy, y 2 , x, y). Пусть далее известно,что скалярное произведение в пространстве H может быть вычислено с помощью функцииобъектов в исходном пространстве⟨ϕ(x), ϕ(y)⟩ = ϕT (x)ϕ(y) = K(x, y).Такая функция K называется ядровой функцией.

Если представить схему метода главныхкомпонент таким образом, чтобы она зависела от выборки X только посредством скалярныхпроизведений объектов xTn xm , то тогда поиск оптимальной гиперплоскости проектирования впространстве H можно осуществлять без рассмотрения преобразования ϕ. Преобразуем схемуметода главных компонент в соответствии с этим требованием.∑Предположим сначала, что выборка является центрированной, т.е. Nn=1 xn = 0. Матрицавсех скалярных произведений объектов выборки X вычисляется как XX T .

Условие (7)показывает, что матрица скалярных произведений XX T имеет те же собственные значения,что и выборочная матрица ковариации X T X. Пусть найден собственный вектор v i изусловия (8). Тогда, как было показано выше, вектор ui = X T v i является собственным векторомвыборочной матрицы ковариации S. Вычисление вектора ui требует знания матрицы X T , чтов случае ядрового перехода соответствует знанию преобразования ϕ. Однако, при уменьшенииразмерности с помощью метода главных компонент нам требуется знать лишь величинупроекции выборки X на собственные вектора ui . Эти проекции вычисляются какtni = xTn ui = xTn X T v i = (Xxn )T v i .Таким образом, проекции tni зависят от выборки X только посредством скалярныхпроизведений Xxn .Пусть теперь выборкаX не является центрированной.

Рассмотрим центрированную∑Tвыборку x̂n = xn − N1 Nxm=1 m . Скалярное произведение x̂n x̂l может быть вычислено какx̂Tn x̂l=xTn xlNNN1 ∑ T1 ∑ T1 ∑ Tx xk .x xm −x xl + 2−N m=1 nN m=1 mN m,k=1 mТаким образом, скалярное произведение объектов центрированной выборки может бытьвычислено через скалярные произведения объектов исходной выборки.11.

Характеристики

Список файлов лекций