Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика, страница 3

в рамках Научного совета АН СССР по комплексной проблеме «Оптимальное планирование и управление народным хозяйством» и Совета по автоматизации научных исследований при Президиуме АН СССР, а также по Всесоюзному научно-методическому семинару «Вычислительные вопросы математической статистики», функционирующему в Московском государственном университете им. М. В.

Ломоносова под руководством акад. Ю. В. Прохорова. Авторы признательны Е. Г. Ясину и В. Г. Миркину, взявшим на себя труд прочесть рукопись настоящего издания и сделавшим ряд ценных замечаний. С. А. Айвазян ВВЕДЕНИЕ. КЛАССИФИКАЦИЯ И СНИЖЕНИЕ РАЗМЕРНОСТИ. СУЩНОСТЬ И ТИПОЛОГИЗАЦИЯ ЗАДАЧ, ОБЛАСТИ ПРИМЕНЕНИЯ Сущность задач классификации и снижения размерности и некоторые базовые идеи аппарата многомерного статистического анализа В.1. 13 Необходимость анализа и формализации задач, связанных со сравнением и классификацией объектов, сознавали ученые далекого прошлого.

«Его (Аристотеля) величайшим и в то же время чреватым наиболее опасными последствиями вкладом в науку была идея классификации, которая проходит через все его работы ... Аристотель ввел или, по крайней мере. кодифицировал способ классификации предметов, основанный на сходстве и различии ..л, — писал Дж. Верналл в «Науке истории общества» (Мл Изд-во иностр, лит., 1956.— С.

117). После Аристотеля с его «деревом вещей жизни» имеется еще в докомпьютерной эре ряд интереснейших примеров прекрасно построенных классификаций как в естественных, так и в общественных науках. Упомянем здесь (в хронологическом порядке) три из них: а) иерархическая классификация (основанная на понятии сходства) растений и видов М. Адансона (1757 г., (170)); б) знаменитая периодическая система элементов Д. И. Менделеева (1869 г.), представляющая собой, по существу, классификацию многомерных наблюдений (каждый химическии элемент может быть представлен в виде вектора характеризующих его разнотипных признаков, включая характеристики конфигурации внешних электронных оболочек атомов) с выявленным единым классифицирующим фактором (зарядом атомного ядра) и с упорядочением элементов внутри каждого класса; в) классификация крестьянских хозяйств, уездов и губерний России по характеру и уровню развития капитализма, полученная В.

И. Лениным на основе анализа земско-статистических подворных переписей (!899 г., И]). Надо сказать, что, хотя асторы упомянутых выдающихся классификаций и не располагали современным математическим аппаратом многомерного статистического анализа.

основные идеи и з«етодологцческие принципы этого аппарата явно или неявно пронизывают логику их конструкций, а подчас (в частности, в работе В.И. Ленина «Развитие капитализма в России») и прямо формулируются. Остановимся на четырех генеральных идеях и методологических принципах многомерного статистического анализа, иа которых базируются, по существу, все основные разделы и подходы математического аппарата классификации и снижения размерности. 1. Эффект существенной многомерности.

Сущность этого принципа в том, что выводы, получаемые в результате анализа и классификации множества статистически обследованных (по ряду свойств) объектов, должны опираться одновременно на совокупность этих взаимосвязанных свойств с обязательным учетом структуры и характера их связей. В [5! природа эффекта существенной многомерности поясняется на таком примере: попытка различить два типа потребительского поведения семей, основанная на последовательном применении критерия однородности Стьюдента 112, п. 11.2.8! сначала по одному признаку (удельные расходы на питание), потом по другому (удельные расходы на промышленные товары и услуги) не дала результата, в то время как многомерный аналог этого критерия [12, п, 11.2.9), основанный на так называемом расстоянии Махаланобиса и учитывающий одновременно значения обоих упомянутых признаков и характер статистической связи между ними, дает правильный результат (т.

е. обнаруживает статистически значимое различие между двумя анализируемыми совокупностями семей). Формулировку существа этого принципа мы находим уже в упомянутой работе В. И. Ленина [1!. Возражая против классификации крестьянских хозяйств изолированно по каждому из анализируемых признаков с ориентацией на их средние значения, он пишет [1, с. 96[: «Признаки для различения этих типов должны быть взяты сообразно с местными условиями и формами земледелия; если при экстенсивном зерновом хозяйстве можно ограничиться группировкой по посеву (или по рабочему скоту), то при других условиях необходимо принять в расчет посев промышленных растений, техническую обработку сельскохозяйственных продуктов, посев корнеплодов или кормовых трав, молочное хозяйство, огородничество и т.

д. Когда крестьянство соединяет в широких размерах и земледельческие и промысловые занятия, — необходима комбинация двух указанных систем группировки (курсив наш. — С. Л.), т. е. группировки по размерам и типам земледелия и группировки по размерам и типам «промыслов», Вопрос о приемах сводки подворных записей о крестьянском хозяйстве вовсе не такой узко специальный и второстепенный вопрос ... Вследствие неудовлетворительной сводки масса драгоценнейших сведений прямо-таки теряется, и исследователь получает в свое распоряжение только «средние» цифры (по общинам, волостям, разрядам крестьян, по величине надела н т.

д.). А эти «средние» ... зачастую совершенно фиктивны». Итак, статистический анализ множества объектов, даже если по каждому из них зарегистрированы значения набора признаков, будет неполным, ущербным, если ограничиваться при этом только средними значениями признаков и не использовать разнообразные характеристики тесноты и с~рук~уры связей между ними.

2. Возможность лаконичного объяснения природы анализируемых многомерных структур. Определим вначале, что понимается (здесь и в дальнейшем изложении) под з)ного»)ернпй с)вруктурой. Речь идет о множестве статистически обследованных объектов (О,, О,, ..., 0„). Результаты статистического обследования представляются, как правило (но не всегда), в одной из двух форм: таблицы (матрицы) «объект — свойство» вида )г=(Хн Хм" Х) (В.() в которой Х, = (х~ ', х~ ', „х~~~)' — вектор значений' ана- ))) (е) лизнруемых признаков (свойств) хп), х'", ..., х'»), зарегистрированных на ~'-м обследованном объекте; или матрицы (таблицы) попарных сравнений вида пн " п)п А ам,. аха (В.1') Па) " цлв где элемент аы определяет результат сопоставления объектов О, и О; в смысле некоторого заданного отношения: аы может выражать меру сходстна или различия объектов О, й О,, меру их связи или взаимодействия в каком-либо процессе (например, поток продукции отрасли ) в отрасль )), геометрическое расстояние между объектами, отношение предпочтения (а,т — — 1, если объект О, не хуже объекта 0»ь и аа = 0 в противном случае) и т.

д. Под возможностью лаконичного объяснения природы анализируемой многомерной струк- ' Штрих как верхний иикеке матрицы иаи вектора о»иачает операцию их траиспоиироваиик. 15 Таблица В.! Нв «вводе» зв. дачи ккзссвфвкзКвн я сннжевая рвзмераоств Нв *зыкове» задача снижения размер- ности Нв «выходе» задачи каассноккзцнв Объект (к1'г),..., х)",!) Значении искомых определяющих (типообразующнх) факторов, характеризующих объект Оз Номер класса, к которому отнесен Оо или перечень статистически представленных в форме (В 1) или (В 1') объектов, входящих в тот же класс, что и объект О» или О; (1~1,х, ..., и) (аы...

а;в) (см. ф-лм (В 1) и (В 1')) 16 туры подразумевается априорное допущение, в соответствии с которым существует небольшое (в сравнении с р) число определяющих (типообразующих) факторов, с помощью которых могут быть достаточно точно описаны как наблюдаемые характеристики анализируемых объектов (т. е. все элементы х, и аы соответственно матриц Х и А) и характер (ю связей между ними, так и искомая классификация самих объектов. При этом упомянутые определяющие факторы могут находиться среди статистически обследованных характеристик, а могут быть латентными, т.е.

непосредственно статистически не наблюдаемыми, но восстанавливаемыми по исходным данным вида (В.1) или (В.1'). Гениальный пример практической реализации этого принципа дает нам периодическая система элементов Менделеева: в этом случае роль идеально информативного единственного определяющего фактора играет, как известно, заряд атомного ядра элемента. Отметим, что на данном принципе многомерного статистического анализа построены такие важнейшие разделы математического аппарата классификации и снижения размерности, как метод главных компонент и факторный анализ (см. гл.

!3, !4), многомерное шкапирование (см. ш!. 16), целенаправленное проецирование в разведочном статистическом анализе данных (см. гл. 18 — 2!) и др. 3. Максимальное использование «обучения» а настройке математических моделей классификации и снижения размерности. Для пояснения этого принципа представим задачи классификации и снижения размерности по схеме «на входе задачи — на выходе задачи» (табл. В.1).

Если исследователь располагает и «входами» и «выходами» задачи, то исходную информацию называют обучающей и целью исследования является описание процедур, с помощью которых при поступлении только входных данных нового объекта его можно было бы с наибольшей (в определенном смысле) точностью отнести к одному из классов (в задаче классификации) или снабдить значениями определяющих факторов(в задаче снижения размерности). Именно к таким ситуациям относятся типичные задачи медицинской диагностики, когда в клинических условиях в качестве исходных данных исследователь располагает как «входами»вЂ” результатами инструментальных обследований пациентов, так и «выходами» вЂ” уже установленным диагнозом («болен» вЂ” «здоров») по каждому из них.