Ким_ Мьюллер и др - Факторный_ дискриминантный и кластерный анализы (Ким_ Мьюллер и др - Факторный_ дискриминантный и кластерный анализы.djvu), страница 3

Мы начнем с описания основной стратегии, которая является общей для ряда методов выделения. Она включает проверку гипотез о минимальном числе общих факторов, необходимых для воспроизведения наблюдаемых корреляций, Прн отсутствии априорных данных следует обратиться к однофакторной модели. Эта «гипотеза» (достаточности одного фактора) проверяется с помощью критерия, применяя который можно узнать, достигнуто ли удовлетворительное расхождение между предполагаемой моделью и данными, Если расхождение статистически значимо, то оценивается модель с еще одним дополнительным фактором и снова применяется критерий. Этот процесс продолжается до тех пор, пока расхождение не сможет быть приписано случайности выборки.

Следует заметить, что реальные компьютерные программы могут явно не делать такую последовательную оценку, но принцип выделения первых й факторов, которые согласуются с наблюдаемыми ковариациями, остается в силе. Хотя принцип этой основной стратегии прост, его применение — разнообразно, поскольку есть различные критерии наилучшего соответствия (или минимальной невязки). Существуют два главных метода решения, в которых фигурируют общие факторы: 1) метод максимального правдоподобия [Еач!еу, Махче11, 1971; Логезйод, 1967; Зогезхой', ).аъ1еу, 19681, варианты которого сводятся к каноническому факторному анализу [Као, 1955) и к алгоритмам, основанным на минимизации детерминантов матрицы частных коэффициентов корреляции [Вгоъне, 19681; 2) метод наименьших квадратов, варианты которого включают метод главных осей с итерациями по общности ,'[Тйотзоп, 19341 и метод минимальных остатков [Наггпап, 1976].

Кроме того, существуют еще три основных метода выделения: 1) альфа-факторный анализ [Ка)зег, СаИгеу, 19651; 2) анализ образов [Сп((гпап, 1953; Нигг(з, 19621 и 3) анализ главных компонент [Но1е111пд, 19331. ГЛАВНЫЕ КОМПОНЕНТЫ, СОБСТВЕННЫЕ ЗНАЧЕНИЯ И ВЕКТОРА Мы начинаем обсуждение именно с анализа главных компонент по двум причинам: во-первых, он послужит в качестве базовой модели, с которой будут сравниваться и сопоставляться методы, где используются общие факторы, Во-вторых, ои представляется наиболее простым для введения таких особых понятий, как корни характеристического уравнения' (собственные числа) и собственные вектора, и дает возможность выявить их роли в алгоритмах факторного анализа.

(Мы не отказывается от стремления применять наиболее простой математический аппарат, но знакомство с подобной терминологией необходимо для использования многих компьютерных программ. Мы настоятельно рекомендуем читателям ознакомиться с основными определениями.) Анализ главных компонент — это метод преобразования данной последовательности наблюдаемых переменных в другую последовательность переменных. Наиболее простой способ пояснить внутреннюю логику метода сводится к его изучению в двумерном случае. Предположим, что есть две переменные Х и у с совместным нормальным распределением, У е! Х и У «аррелировены )ре) у х)р ) в) Х и У линейно еевисныы 6) Х и У не корр.лнровены Рнс.

2. Главные осн двумерных распределений Совместное нормальное распределение величин, имеющих положительную корреляцию, представлено на рис. 2 с помощью кривых равных вероятностей. Эти кривые показывают, что благодаря положительной связи между Х и У данные представляют кластер, в котором ббльшие величины Х имеют тенденцию соответствовать ббльшим величинам У (и наоборот). Таким образом, в большинстве случаев точки попадают в первый и третий квадранты, и реже — во второй и четвертый. Кривые равных вероятностей имеют форму эллипсов, две оси которых изображены пунктирными линиями. Главная ось (Р,) проходит по линии, вдоль которой располагается основная часть данных; вторая ось (Рз) — по линии, вдоль которой расположена меньшая часть данных.

Теперь предположим, что нужно представить точки в терминах только одной размерности (оси). В этом случае естественно выбрать ось Рь потому что в целом она ближе описывает данные наблюдений. Тогда первая главная компонента есть не что иное, как представление точек, расположенных вдоль выбранной главной оси.

Например, точка с единичными значениями Х и У будет иметь координату, большую 1 по оси Р, и меньшую 1 по оси Рз. Если мы описываем каждую точку в терминах Р, и Рз (в новой системе координат), потери информации не произойдет. Тем не менее можем сказать, что первая ось (и первая компонента) является более информативной в описании точек, так как связь между Х и У становится сильнее. В том случае, когда Х и У связаны линейной зависимостью, первая главная компонента будет содержать всю информацию, необходимую для описания каждой точки.

Если Х н У независимы, то главная ось отсутствует н анализ главных компонент не способствует даже минимальному сокращению (сжатию) результатов наблюдений. Понятие главных осей относится не только к нормальным распределениям. В общем случае главная ось задается линией, для которой сумма квадратов расстояний до всевозможных точек минимальна. Сравнение анализа главных компонент с принципом наименьших квадратов поможет объяснить это определение. При нахождении линии регрессии (У=а+ггХ) методом наименьших квадратов мы минимизируем сумму квадратов расстояний между У и У, т. е. минимизируем* (У вЂ” 1), где расстояние измеряется по линии, параллельной оси У и перпендикулярной оси Х. При нахождении главной оси мы минимизируем расстояние** от точки до оси (т.

е. расстояние по перпендикуляру к главной оси, а не к оси Х). Это отличие показано на рис. 3. (В (Ма!!гъ чапд, 1970] описан метод наименьших квадратов с помощью ортогональной регрессии.) * Более точно мнннмнзируется среднее значение квадрата такой невязкн.— Примеч, ред. " Более точно минимизируется среднее значение квадрата этого расстояния. — Примеч.

ред. г4 менесэие ератм 15 Поскольку первая компонента определена таким образом, что основная доля информации содержится именно в Наи ней (дисперсия в направлении этой компоненты максимальна), вторая компонента определяется аналогичным образом при условии, что ее ось перпендикулярна первой. Следовательно, в двумерном случае после фиксирования первой компоненты вторая становится известна автоматиче- х ски.

Если у не является ли- Минимиэируетси З б, иейной функцией от Х, то главных компонент будет две (для полного описания совместного д, распределения необходимы две осн) . у При определении главныл компонент не обязательно предполагать существование гипотетических факторов. Новые оси являются математическими (линейнымн) функциями наблюдаемых переменных. Даже если с помощью анализа главных компонент достигается сжатие данных (выделение только нескольких первых компонент», задача состоит не в объяснении корреляции меж- х ду переменными, а в объясне- Миннмиаируетсн Х д; нии максимальной доли дис- рно.

3, Срнннннне регрессий, палу- персии наблюдений. С другой ненных с помощью методов нанмень. стороны, для рассматриваемо- шнх квадратов н главных осей го двумерного случая в факторном анализе потребуется лишь один фактор, и главной задачей будет объяснение корреляций между переменными. Итак, первая задача относится к объяснению дисперсий, а вторая — к объяснению корреляций. При наличии более двух переменных принцип определения главных компонент тот же. Например, для трехмерного нормального распределения поверхность равной вероятности будет ограничивать овальное тело (эллипсоид), где первая главная ось— его наибольший диаметр, вторая †пройд по наибольшему диаметру в плоскости, перпендикулярной первой оси; третья ось будет самой короткой, перпендикулярной двум первым осям, Основной математический метод получения направлений главных осей основан на нахождении собственных чисел и векторов корреляционной (ковариацнонной) матрицы, Для определения собственных чисел и векторов уравнение с использованием матричной записи имеет следующую форму: ЯУ ХУ, (1) где гг — матрица, для которой ищется решение; У вЂ” искомый собственный вектор, а Х вЂ” собственное число.

Решение базируется* на более простой форме в виде детерминанта матрицы; 1)е1 ()с-гХ) =О, (о) что дает для квадратной матрицы уравнение ое (',"') =о, (3) которое по определению детерминанта может быть представлено в виде (1 — Х) (1 — Х) — гм (га) =О. Раскрывая скобки и группируя члены, получаем: Ха — 2Х+ (1- г~г~) О Собственные числа теперь могут быть получены при квадратного уравнения. Для двумерной корреляционной собственные числа имеют вид (4) .