Боровиков В.П. - Нейронные сети (778916), страница 59
Текст из файла (страница 59)
Если примср с двумя переменными распространить на большее число переменных, то вычисления становятся сложнее, однако основной принцип представления двух или более зависимых переменных одним фактором остается в силе. 328 Гпаеа 10. Кпасссческсе методы, апыпернатсеные нейронным сетям Выцепенце гпавных компоненпз В основном процедура вьщеления главных компонент подобна вращению, максимизирующему дисперсию (варимакс), исходного пространства переменных. Например, на диаграмме рассеяния вы можете рассматривать линию регрессии как ось Х, повернув ее так, что она совпадает с прямой регрессии.
Этот тип вращения называется вращением, максимизирующим дисперсию, так как цель вращения заключается в максимизации дисперсии «новой» переменной (фактора) и минимизации разброса вокруг нее. В том случае, когда имеется более двух переменных, можно считать, что они определяют трехмерное «пространство» точно так же, как две переменные определяют плоскость. Если имеется три переменные, то можно построить трехмерную (ЗМ) диаграмму рассеяния (рис. 10.45).
ЗМ днасранна рассеяния 1Пастрвннвв уданенив Пей Рис. 10.45. Трехмервая диаграмма рассеевая Если число переменных более трех, становится невозможным представить точки на диаграмме рассеяния, однако логика вращения осей с целью максимизации дисперсии нового фактора остается прежней. После того, как найдена линия, для которой дисперсия максимальна, вокруг нее остается некоторый разброс, процедуру следует повторить. В анализе главных компонент именно так и делается: после того, как первый фактор выделен, т.е. после того, как первая линия проведена, определяется следующая линия, максимизирующая остаточную вариацию, и т.д.
Таким образом последовательно выделяется каждый дальнейший фактор, определяемый из условия максимизации остаточной вариации. Поэтому факторы оказываются независимыми друг от друга (нскоррслированными или ортогональным и). В основе фикторпого икилизи лежиул клиссиееский илгоритм орлуогоиилизиции Граммп-Шмидте. 329 Нейронные сел!о. ЗТАТ1ЗТ1СА Неоге1 ие1ччогКВ Возникает естественный вопрос; сколько факторов следует выделять? Отметим, что в процессе последовательного выделения факторов они включают в ссбя всс меньше и меньше изменчивости.
Решение о том, когда следуетостановитьпроцедурувыделения,главнымобразом,зависитотточки зрения на то, что считать малой «случайной» изменчивостью. Это решение достаточно произвольно, однако илвеются некоторыс рекомендации, позволяющие рационально выбрать число факторов, как будет показано ниже в разделе. Обзор резупьтатов анапцза гпавных компонент Взглянем теперь на некоторые стандартные результаты анализа главных компонент. При повторных итерациях выделяются факторы с все меньшей и меньшей дисперсисй. Для простоты изложения считаем, что обычно работа начинается с матрицы, в которой дисперсии всех переменных равны 1,0. Поэтому общая дисперсия равна числу переменных. ЕЫЛЕЛЕННЕ ГЛОЕНЫЕЫЫПО ал1Ы еллтолн Л$$ллив 4 004!Ел внпе Лунул бунул ооб о» Чнонен с!!Оз4а 1 860662 472888 407996 3$7222 293300 1Ч5608 170431 137970 085314 $0 Рввс. 10.46 Например, если вы имеете 10 переменных, каждая из которых имеет дисперсию 1, то наибольшая изменчивость, которая потенциально может быть выделена, равна 10 раз по 1.
Предположим, что при изучении степени удовлетворенности жизнью вы включили 10 пунктов для измерения различных аспектов удовлетворенности домашней жизнью и работой. Дисперсия, объясненная последовательными факторами, представлена в таблице (рис. 10.4б). Собственные значения. Во второй колонке (Собсв3веггные значения) таблицы результатов можно найти дисперсию нового, только что выделенного фактора. Дисперсии, выделяемые факторами, названы собсгнвенными значеггизгми.
Это название происходит из использованного способа вычисления. В третьей колонкс для каждого фактора приводится процент от общей дисперсии (в данном примере он раасн 10) для каясдого фактора. Как можно 330 6$18369 !ВООсев 4 ПВВВ 407996 3 17222 2ВЗЗОО 1 95038 ! 70431 1 37970 65334 6 11837 7и905 В 33194 В 79ЮЗ 9 11716 в ио46 Ч 60026 Га1670 991467 1 ОООООГ 61 1637 791905 ВЗ и 94 87 Ю93 91 1716 94 $046 960626 97 7670 Ч91467 1ОООООО Гпаеа! О. Кпассическое методы, апыпернатоеные недронным сегпнм видеть, первый фактор (значение 1) объясняет 61% общей дисперсии, второй фактор (значение 2) — 18% и т,д, Четвертая колонка содсржит накопленную или кумулятивную дисперсию.
Как н ожидалось, сумма собственных значений равна числу переменных. Как только получена информация о том, сколько дисперсии выделил каждый фактор, можно возвратитъся к вопросу о том, сколько факторов следует оставить. Как говорилось выше, по своей природе это решение произвольно, но существуют некоторые общие рекомендации, которым следуют на практике. Критерий Кайзера. Сначала можно отобрать только факторы с собствен-' ными значениями, большими 1, По существу, это означает, что если фактор не выдспяет дисперсию, эквивалентную, по крайней мере, дисперсии одной переменной, то он опускается.
Этот критерий предложен Кайзсром (Ка!зег, 1960) и является, вероятно, наиболее широко используемым. В приведенном выше примере на основе этого критерия следует сохранить только два фактора (две главные компоненты). Критерий камепзктой осьшп. Критерий камепис2пой осыпи является графическим методом, впервые предложенным Кэтгелем (Сайе!1, 1966). Вы можсте изобразить собственные значения, прсдставленныс в таблице ранее, в виде простого графика (поставив курсор на поле Собственные значения наверху соответствующей колонки, нажав на правую кнопку мыши и выбрав Пользовательские графии — 2М графики) (рис. 10.47).
О 1 2 5 4 5 6 1 6 5 1О 11 Чнснн ссесснсннин с н нннй Рис. 10.47. График каменистой осыпи Кэттсль (Са!1с!1) предложил найти точку на графике, где убывание собственных значений слева направо максимально замедляется. Прсдполагастся, что справа от этой точки находится только «факториальная осыпь». «Осыпь» является гсологичсским тсрмином, обозначающим обломки горных пород, скапливающиеся в нижнсй части скалистого склона. В соответствии с этим критерием можно оставить в этом примсре два нли три фактора. 331 Нейронные сети ЗТАТ!ВТ!СА Неие! Не!ио!«е Какой критерий следует использовать.
Теоретически можно вычислить нх характеристики путем генерации случайных данных для конкретного числа факторов. Тогда можно увидеть, обнаружено ли с помощью используемого критерия достаточно точное число существенных факторов нли нст. С использованием этого общего метода первый критерий (крив!ерий Кийзери) иногда сохраняет слишком много факторов, в то время как второй критсрий (критерий каменистой осыпи) иногда сохраняет слишком мало факторов; однако оба критерия вполне хороши при нормальных условиях, когда имеется относительно небольшое число факторов и много переменных. На практикс возникает важный дополнительный вопрос: когда получснное решение может быть содержательно интерпретировано. Поэтому обычно исслсдустся несколько рсшений с большим или меньшим числом факторов, а затем выбирается одно наиболее «осмысленное».
Этот вопрос будет рассматриваться далее в рамках вращений факторов. Анапиз гпавных фак!тюров Прежде, чем продолжить рассмотрение различных аспектов вывода анализа главных компонент, введем анализ главных факторов. Вернемся к примеру вопросника об удовлетворенности жизнью, чтобы сформулировать другую «мыслимую модель». Представим себе, что ответы субъектов зависят от двух компонент. Сначала выбираем некоторые подходящие общие факторы, например, «удовлетворение своим хобби», рассмотренное ранее. Каждый пункт измеряет некоторую часть этого общего аспекта удовлетворения. Кроме того, каждый пункт включает уникальный аспект удовлетворения, не характерный для любого другого пункта. Общности.
Если эта модель правильна, то не стоит ожидать, что факторы будут содержать всю дисперсию в переменных; они будут содержать только ту часть, которая принадлежит общим факторам и распределена по нескольким переменным. На языке факторного анализа — доля дисперсии отдельной переменной, принадлежащая общим факторам (и разделяемая с другими переменными), называется общностью. Поэтому дополнительной работой, стоящей перед исследователем при применении этой модели, является оценка общностей для каждой переменной, т.е.
доли дисперсии, которую каждый пункт имеет общей с другими пунктами. Доля дисперсии, за которую ответственен каждый пункт, равна тогда суммарной дисперсии, соотвстствующсй всем псременным, минус общность. С общей точки зрения в качестве оценки общности следует использовать множественный коэффициент корреляции выбранной переменной со всеми другими. Некоторые авторы предлагают различные итеративные «улучшения после решения» начальной оценки обшности, полученной с использованием 332 Гпаеа 1О. Кпассонеское меп~оды, апьп1ернап1оаные нейронным серпам множественной регрессии; например, так называемый метод Ми~гез (метод минимальных факторных остатков; Харман и Джоунс (Наппап, Уопез, 1966)) производит испытание различных модификаций факторных нагрузок с целью минимизации остаточных (необъясненных) сумм квадратов.
В~явные факторы в сравнении с главными компонентами. Основное различие двух моделей факторного анализа состоит в том, что в анализе главных компонент предполагается, что должна быть использована вся изменчивость переменных, тогда как в анализе главных факторов используется только изменчивость переменной, общая и для других переменных. В большинстве случаев эти два метода приводят к весьма близким результатам. Однако анализ главных компонент часто более предпочтителен как метод сокращения данных, в то время как анализ главных факторов лучше применять с целью определения структуры данных. Факторный анализ как метод классификации Возвратимся к интерпретации результатов факторного анализа.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
