И.Д. Мандель - Кластерный анализ (1185344), страница 30
Текст из файла (страница 30)
При этом важно, что слабо связаны примерно одни и те же группы показателей, т. е. недостатки планирования носят устойчивый и неслучайный характер. Эти выводы подтверждены расчетами как по строительным организациям, так и по промышленным — заводам железобетонных изделий. Представляло большой интерес выяснить, насколько объективны эти заключения, не объясняются ли они, скажем, наличием отдельных заводов или трестов с другими взаимосвязями показателей. Для этого применена методология интенсионального анализа в ее «корреляционном варианте». Задавались матрицы корреляций, примерно соответствующих экономически обоснованным представлениям о сбалансированности плановых заданий.
Требовалось найти в имеющихся данных такое максимально большое множество заводов, у которых коррелированность показателей близка к заданной. Многочисленные расчеты' по разным наборам показателей и матрицам корреляций показали, что таких совокупностей нет. Несколько раз выделялись хорошие подмножества, но они были настолько малочисленны, что их наличие легче объяснить случайностью.
Следовательно, в самом деле несбалансированность носит глубокий характер и сильно затрудняет нормальную производственную деятельность, поскольку фактически почти невозможно выполнить план одновременно по всем показателям, что и наблюдается в действительности. Решалась также другая зкономическая задача, показывающая содержательную целесообразность данного подхода. Требовалось установить зависимость между выплатами из фонда материального поощрения и конечными результатами деятельности 20 заводов железобетонных изделий Главсредуралстроя Минуралсибстроя.
Теоретически ясно, что чем выше значения у фондообразующих и фоидостимулирующих показателей, тем выше должна быть величина самого фонда. Однако расчеты выявили удивительную на первый взгляд картину: процент выполнения плана по фонду материального поощрения очень слабо коррелирует с важнейшими показателями выполнения плана — объемом реализации с учетом поставок, производительностью труда и даже прибылью. Отсюда можно делать выводы о произвольном начислении фондов стимулирования и о разлаженности рычагов хозяйственного механизма.
Однако снова была предпринята попытка установить степень универсальности такого несоот- ' ветствия между показателями. На этот раз отыскивалось подмножество с надежной регрессией фонда поощрения на влияющие показатели. Удалось установить, что по некоторым показателям, в частности !30 ' Программное обеспечение и расчеты на ЭВМ выполнены Л. Сорокиной.
объему реализуемой продукции, можно построить неплохие регрессии с фондом поощрения. Для этого надо исключить из рассмотрения 4 завода, на которых существует резкое несоответствие между показателями. Однако выявилась другая особенность данных: построенные регрессии хорошо описывают результатный показатель в смысле коэффициента детерминации, но имеют очень малые коэффициенты при переменных. Т. е. сильному изменению, скажем, объема реализации соответствует слабое изменение фонда поощрения, тогда как по инструктивным материалам этот прирост должен был быть существенно больше. Этот пример указывает на две существенные стороны интенсионального подхода. Во-первых, в задаче отыскания хорошей регрессии часто необходимо ориентироваться не только на общее качество приближения, но и на отдельные параметры, задаваемые в виде требований к модели. Во-вторых, в экономических приложениях появляется хорошая возможность решать широкий круг важных задач такого типа: найти группу организаций, в которой существует высокая близость между фактическими показателями и их нормативными отношениями.
Простейший вариант интенсионального анализа этого типа — обычная комбинационная группировка. Если в качестве предьявляемых к совокупности требований задать просто границы изменения показателей в группах, будут отброшены объекты, в них не попадающие. Как видно, наличие «суперцели» в задаче классификации сильно меняет ее характер. Естественные «грозди» объектов кластерного анализа могут рассекаться, внутренние критерии однородности не работают. Однако наличие двух принципиально различных решений к задаче классификации наблюдений резко расширяет сферы применения классификационного подхода в самых разнообразных областях человеческой деятельности (см.
4.1). В заключение отметим еще одно направление анализа, в котором идеи классификации играют важную роль. Предположим, что на каждом объекте известна некоторая функция, причинным образом связывающая измеряемые параметры (пусть для простоты это будет уравнение регрессии). Любые расчеты в этой ситуации логично проводить, используя параметры индивидуальных моделей,— выделять группы объектов с похожей внутренней структурой связей и т. д.
Легко убедиться, что если объекты близки в смысле кластерного анализа в пространстве исходных показателей (входных и выходных), то они близки и в пространстве структурных параметров, но обратное неверно: при близости объектов в пространстве параметров они могут быть как угодно далеки в исходном пространстве. Следовательно, если считать, что конечной целью статистического исследования является установление причинных связей между явлениями, то надо признать, что любые классификации в исходных пространствах могут допускать серьезные «ошибки второго род໠— не объединять близкие объекты.
Главная причина 5' !31 )1изкой эффективности различных регрессионных моделей как раз заключается в безадресности их рекомендаций, в невозможности прямо использовать общие коэффициенты модели на конкретном объекте (55]. Нами предложены некоторые подходы к оценке связей на отдельных объектах; в простейшем случае — индексные схемы', 3.3. ДВОЙСТВЕННОСТЬ В ЗАДАЧЕ КЛАССИФИКАЦИИ Из рассмотрения видно, что при наличии многообразных подходов к общей теории классификации задача классификации понимается одинаково: требуется произвести разбиение объектов, чтобы в каждом классе оказались близкие, похожие объекты, а объекты из разных классов должны быть непохожи, удалены друг от друга.
Назовем задачу такого типа прямой классификацией (ПК). Сформулируем двойственную к ней задачу обратной классификации (ОК) требуется разбить множество объектов на такие классы, чтобы в каждом из них объекты были непохожи друг на друга, взаимно,удалены. Дополнительным требованием может выступать близость объектов из разных классов. Оказывается, введение двойственности приводит к достаточно важным методологическим и методическим выводам. Назовем обратную классификацию адекватной (АК), если каждый ее класс представляет собой множество объектов, находящихся в разных классах прямой классификации. Иными словами, любой класс АК содержит набор представителей классов ПК.
Каждой прямой может соответствовать множество адекватных классификаций. Выделим из них послойные классификации, в которых первый, наиболее многочисленный класс формируется как множество представителей из всех классов ПК (т. е. его мощность равна числу классов ПК), второй — как множество представителей из всех оставшихся (после удаления гервого класса АК) классов ПК и т. д. Тогда имеет место следующее соотношение (возможны единичные классы): т,=па еч.1 — Пе (3.4) где те — число классов мощности р в послойной АК, п~(пт, ..., (пе — мощности классов ПК, р ),й, по=О.
Из (3.4) ясно, что общее количество классов любой мощности в послойной АК равно пе, т. е. мощности самого большого класса ПК. Послойные классификации довольно подробно изучены под опре. деленным углом зрения в [107, с. 94 — 104), где называются коразби. ениями к исходному разбиению. На основе понятия коразбиения авторы конкретизируют в задаче классификации общий принцип мак- Сергеев С В. В Московском Доме учеимкууВестиик статистики.— 1987.— № 1О.— С.
72. 132 симума дисимметрии и получают очень интересный результат: в наиболее диснмметричной системе численность классов и их ранг связаны между собой законом распределения Ципфа. Этот закон, как известно, имеет чрезвычайно широкое распространение, что определяет важность концепции двойственности классификации (в частной форме послойных АК) для общей теории систем. Заметим еще, что принцип двойственности в [!07] формулирует соотношение иного типа, нежели обсуждаемое. Двойственная постановка имеет не только упомянутое гносеологическое значение. Она может учитываться в конкретных процедурах классификации.
Наиболее общий тезис заключается в следующем: чем дальше друг от друга находятся результаты решения прямой и обратной задач классификации, тем лучше классификация проведена. Действительно, если некоторый алгоритм независимо решает задачи ПК и ОК таким образом, что объекты, объявленные близкими при ПК, окажутся далекими по ОК, то такая двойная подтверждаемость гипотезы компактности резко усиливает ее справедливость. Наилучшим подтверждением гипотезы будет, видимо, автоматическое построение адекватной или в некоторых случаях послойной классификации. Двойственность позволяет внести в рассмотрение новый тип функционалов качества классификации.
В общей форме критерий имеет вид расстояния между результатами ПК и ОК (критерий 42 в табл. 2.5), конкретные формы приведены в [56], например: г'=й+д', (3.5) где й — среднее межклассовое расстояние ПК; д' — среднее вкутриклассовое расстояние для ОК. Важно отметить, что ОК может иметь и вполне самостоятельную содержательную ценность, что видно, в частности, из следующего примера.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
