Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 90
Текст из файла (страница 90)
Но эта задача эквивалентна рассмотренной в п. 17.1.2 задаче на собственные числа Т,Р = Ю с переходом С = = О,— ьз У. При этом, чтобы удовлетворить условиям (17.34), мы должны взять собственный вектор, соответствующий второму по величине собственному числу (см.п. 17.1.2). Итак, мы снова пришли к каноническим меткам. Величина собственного числа Х, = р' (С) связана с отношением Ез (С) выражением Е'(С) = р*(С)Е(1- р (С)). (17.36) Как показано в гл. 2, при обьемах выборки, сравнимых с числом переменных р и числом градаций Е<„п применение процедуры оцифровки следует проводить с осторожностью.
В частности, целесообразно оцифровывать те признаки, для которых значение р' (С) статистически высоко значимо. Приведем один из полезных критериев, для определения допустимости оцифровки, основанный на асимптотическом распределении выборочных собственных чисел ~,. Оказывается (см, [263, 265, 287)), имеет место следующий результат. Пусть таблица сопр яженностей Г с 11 строками и Ез столбцами (Е, ) Е,) удовлетворяет условию независимости, т.
е. собственные числа канонических уравнений 1., =- ... = Х, = О (существует только тривиальный набор меток для Х„= = 1). То|да выборочные числа ~й„..., Ы... для Г асимптотически распределены как собственные числа матрицы, подчиненной распределению Уншарта [16[ [Г (Е,— 1, Е,— 1, 1,,), где 1и, — единичная матрица размерности Е, — 1.
Теперь для построения критерия можно воспользоваться, например, результатами по распределению максимального собственного числа матрицы Уишарта [24П в асимнтотике Колмогорова (см. гл. 2). Используя эти результаты, получаем, что при Е„Е,-+оп, значение лХ, Е(1, — 1) почти наверное сходится к величине Л, = (! + $/у)', где у=(Ез — 1)Е(Е,— 1).
чтв Это приводит к следующей формулировке критерия— переменную х следует использовать для линейной классификации в оцифрованном виде, если после оцифровки величина р' (С) будет удовлетворять неравенству р»(С) ~ — '* (1+У у)', (17.37) где у = (й — Ц/(1„— Ц. В случае, когда й ) 1„, следует поменять местами л и 1„в (! 7.37). выводы 1. АС (см. $17.Ц является аналогом метода главных компонент в пространстве профилей строк и столбцов ТС. В результате применения АС получаются сопряженные наборы числовых меток для строк и столбцов АС (оциф.
ровки), что позволяет, в частности, получать визуальное отображение строк и столбцов ТС на диаграммах рассеивания. АС применим не только к ТС, но и к матрицам данных типа «объект — свойство», элементы которых неотрицательны и имеют одинаковую природу (например, доли, проценты, денежные платежи и т.
д.). 2. МАС (см. 5 17.2) применим к матрицам данных гила «объект — свойство» с переменными, измеренными в неколичественных категоризованных шкалах. Вго применение позволяет ввести т»-метрику между объектами и между категориями переменных, а также получить наборы числовых меток для объектов (новые факторы) и для категорий, Введенная )(»-метрика и факторы могут быть использованы дальше для реализации других процедур статистического анализа, в частности для визуального отображения объектов и категорий. 3.
Оцифровку неколичественных переменных (метки для категорий) можно получить и на основе максимизации некоторых статистических критериев (см. з 17.3), выбираемых в зависимости от целей дальнейшего анализа (главные компоненты, днскриминантный анализ). Получаемые наборы меток часто близки к получаемым в МАС, но, вообще говоря, не совпадают с ними.
Раздел! к'. РАЗВЕДОЧНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ И НАГЛЯДНОЕ ПРЕДСТАВЛЕНИЕ ДАННЫХ В настоящем разделе рассматривается совокупность моделей н методов, позволяющих анализировать многомерные данные с помощью их отображения в пространство низкой размерности с сохранением существенных для исследователя их структурных особенностей. В некоторых случаях структура данных оказывается такой сложной, что небольшого числа таких проекций будет недостаточно для их представления и возникает потребность описания этой структуры на основе агрегирования информации, содержащейся в достаточно большом числе таких низко размерных проекций. Типичной задачей такого класса является задача восстановления плотности многомерной случаиной величины. Такая ситуация имеет место при некоторых конфигурациях расположения классов в задаче дискриминантного анализа, когда число классов превышает размерность выборки, и т.
п. Рассматриваемые модели и методы, естественно, делятся на два класса, в зависимости от размерности г( пространства, куда отображаются данные. Еслибы=-1, 2 (в крайнем случае 3), то они в первую очередь относятся к собственно разведочному анализу (РА), когда по некоторому критерию при помощи вычислительной процедуры оптимизации ищут отображения, дающие наиболее выразительные проекции, а окончательное решение принимается визуально путем анализа, например на экране дисплея, гистограмм отображенных данных д = 1 или их диаграмм рассеивания для д =2.
Здесь наибольший успех можно ожидать в задачах разделения смесей, кластеризации, т. е, когда ищется явно выраженная структура. Успеха можно достичь и в задачах обнаружения неинформативных признаков. К этому же классу относятся модели и методы решения тех задач, когда исходным статистическим материалом является не описание объектов в виде вектор-признаков, а описа- 472 ние в виде наборов линейных функций от этих вектор-признаков. Типичной задачей этого вида являются задачи статистического анализа по результатам косвенных измерений.
Если д« р, то соответствующие методы можно рассматривать как один из подходов к снижению размерностей, например для целей кластер-анализа. В этом разделе в основном рассматриваются методы, свяванные с линейным проецированием данных. Совокупность таких методов в последнее время получила большое развитие и известна в статистической литературе как «рго)ес1!оп рцгзц!1» (РР). Ряд других методов, которые можно отнести к РАД, рассмотрен в предыдущих главах. Это метод главных компонент, кластер-анализ, методы многомерного шкалирования, а в случае неколичественных переменных — анализ соответствий.
Глава 18. РАЗВЕДОЧНЫИ АНАЛИЗ. ЦЕЛИ, МОД ЕЛ И СТРУКТУР ЦАН Н ЫХ, МЕТОДЫ И ПРИЕМЫ АНАЛИЗА 18.! . Цели разведочного анализа и модели описания структуры многомерных данных Разведочный анализ данных (РАД; Ехр1ога1огу да1а апа!уэ!з) употребляется, когда, с одной стороны, у исследователя имеется таблица многомерных данных, а с другой стороны, априорная информация о физическом (причинном) механизме генерации этих данных отсутствует или неполна.
В этой ситуации РАД может оказать помощь в компактном и понятном исследователю описании структуры данных (например, в форме визуального представления этой структуры), отталкиваясь от которого он уже может «прицельноэ поставить вопрос о более детальном исследовании данных с помощью того или иного раздела статистического анализа, обоснования полученной структуры данных с помощью аппарата проверки статистических гипотез, а также, возможно, сделать некоторые заключения и о причиннои модели данных. Этот этап называется «подтверждающим анализом данных«(соп1!гша1огу да(а апа!уз!з). Иногда выявление структуры данных с помощью РАД может оказаться и завершающим этапом анализа.
С другой стороны, ряд методов РАД можно рассматривать и как методы подготовки данных для последующей статистической обработки без ка- кого-либо изучения структуры данных, которое предполагается осуществить на последующих этапах. В этом случае этап РАД играет роль некоторого этапа перекодировки и преобразования данных (путем, например, сокращения размерности) в удобную для последующего анализа форму.
В любом случае, с какой бы целью ни применялись методы РАД, основная задача -- переход к компактному описанию данных при возможно более полном сохранении существенных аспектов информации, содержащихся в исходных данных. Важно также, чтобы описание было понятным для пользователя. Впервые термин «разведочный анализ данных» был введен Дж. Тычки в 1962 г. Модели структуры многомерных данных. Пусть данные заданы в виде матрицы данных.
Объекты можно представить в виде точек в многомерном (р-мерном) пространстве. Для описания структуры этого множества точек в РАД используется одна из следующих спюл»исти«вских моделей: а) модель облака точек примерно эллипсоидальной конфигурации; б) кластерная модель, т. е. совокупность нескольких «облаков» точек, достаточно далеко отстоящих друг от друга; в) модель «засорения» (компактное облако точек и при этом присутствуют далекие выбросы); г) модель носителя точек как многообразия (линейного или нелинейного) более низкой размерности, чем исходное; типичным примером является выборка из вырожденного распределения; д) дискриминантная модель, когда точки разделены некоторым образом на несколько групп и дана информация о их принадлежности к той или иной группе.
В рамках модели (г) можно рассматривать и регрессионную модель, когда соответствующее многообразие допускает функциональное представление Хп =- Г (Х~) + а, где Х~ и Хп — две группы переменных из исходного набора (переменные из Хп носят тогда название прогнозируемых переменных, а из Х~ — предсказывающих переменных); «в ошибка предсказания. Разумеется, реальные данные обычно лишь приближенно могут следовать этим моделям, более того, структура данных может не подходить ни под одну из указанных в описании моделей даже приближенно. Модели описания структуры зависимостей. В пространстве переменных для описания структуры зависимостей между переменными часто используются следующие модели: модель независимых переменных, модель линейно зависи- 474 мых переменных, древообразная модель зависимости, факторная модель для линейно зависимых переменных, кластер.
иая модель (произвольные коэффициенты связи), иерархическая модель зависимости. Основные методические приемы при проведении разведочного анализа данных. Способы анализа и интерпретации результатов в значительной степени зависят от выбранного метода обработки. Однако можно выделить ряд эффективных приемов и подходов к анализу результатов, которые являются наиболее общими и в значительной степени определяют специфику собственно разведочного анализа, отличают его от остальных этапов статистической обработки.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
