4661-1 (725217), страница 3
Текст из файла (страница 3)
Тесная связь между экспертными оценками и статистикой объектов нечисловой природы позволяет опустить здесь описание математического аппарата экспертных оценок, отослав читателя к обзорам [40-42]. В настоящей главе раздела отчета мы ограничиваемся обсуждением вопросов использования этого аппарата (см. также предыдущую главу).
Проверка согласованности и классификация экспертов
Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться. Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) (основные результаты теории люсианов описаны в работах [32,53]) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать методами кластер-анализа, предварительно введя метрику в пространство мнений экспертов. Идея Кемени [37] об аксиоматическом введении метрик нашла в СССР многочисленных продолжателей [18,22,48]. Однако методы кластер-анализа обычно являются эвристическими, в частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один [56]. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу [32,53]. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.
Нахождение итогового мнения комиссии экспертов
Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое(среднее, общее) мнение комиссии? Согласно идее Кемени, описанной в монографии [37], следует найти среднее мнение как решение оптимизационной задачи - минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. В [26] так найденное среднее мнение названо "медианой Кемени".
Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в работах [22,40,54], в частности, показано, что в силу сформулированного и доказанного А.И.Орловым обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).
В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом [21]. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики [37], связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты [21], в то время как применение метрики на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам, т.е. вычисляется элементарно [28].
Интервальные экспертные оценки
С начала 80-х годов активно развивается интервальная математика [57], как наиболее практически важная часть её - интервальная статистика (обзор дан, например, в [58]). В разрабатываемом нами подходе основное внимание уделяется расчетам максимально возможного отклонения значения рассматриваемой статистики, вызванного погрешностями в исходных данных (т.н.нотны), и "рационального объема выборки", превышение которого не может привести к существенному повышению точности оценивания. Основные идеи и результаты статистики интервальных данных опубликованы в статьях [59-63].
Перспективным является использование интервальных экспертных оценок: эксперт называет не число, а интервал в качестве оценки рассматриваемого параметра. Такие процедуры удачно сочетают в себе количественный и качественный подходы в экспертных оценках. В качестве примера можно назвать процедуру регрессионного анализа, применяемую в экспертно-статистическом методе для получения коэффициентов весомости признаков, позволяющих наиболее точно восстановить глобальное заключение об объекте по результатам оценок отдельных параметров[36]. Теория регрессионного анализа интервальных данных развита в [63]. Интервальность необходимо учитывать, если результаты оценок параметров экспертами, как и глобальные оценки, задаются интервалами, а не числами. Интервальные экспертные оценки - новое перспективное направление в области экспертных оценок, которое только начинает развиваться.
При использовании метода интервальных экспертных оценок вместо оценивания показателя или характеристики объекта числом эксперт указывает интервал, в котором он (или она) содержится. Во многих случаях оценивание интервалом более естественно для эксперта, чем оценивание числом. Например, капитану рыболовецкого сейнера естественнее указать квадрат морской поверхности (т.е. интервал по каждой координате), в котором вероятность хорошего улова, по его мнению, максимальна, чем указать точные координаты точки максимального улова. Интервальные экспертные оценки успешно использовались с целью увеличения улова сельди-иваси в Охотском море и атлантической сельди в Баренцевом море, соответствуюшая система поддержки принятия решений была разработана в Институте автоматики Дальневосточного отделения АН СССР [64].
Другой пример связан с оцениванием качества продукции. Оценку показателя, да и глобальную оценку эксперту естественнее дать не в виде действительного числа, а в виде значения качественного признака - "отлично", "хорошо", "удовлетворительно" и т.д. При формализации каждый такой ответ целесообразно описывать интервалом. Например, оценка "отлично" описывается интервалом (0,8; 1,0), оценка "удовлетворительно" - интервалом (0,4; 0,6) и т.д. Этот подход можно сопоставить с использованием нечетких чисел в качестве ответов экспертов, поскольку интервалы - частные случаи нечетких множеств [22, 23].
Выводы
В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.
Проведение экспертных исследований основано на использовании современных методов прикладной математической статистики, прежде всего статистики объектов нечисловой природы, и современной компьютерной техники. Наиболее продвинутые результаты в области экспертных оценок получены в СССР в 70-90-х годах в рамках комиссии "Экспертные оценки и нечисловая статистика" Научного Совета АН СССР по комплексной проблеме "Кибернетика". В области компьютерной техники наиболее перспективными представляются разработки фирмы "Apple".
Поэтому целесообразно разработать предназначенный для поддержки проведения экспертных исследований АРМ "МАТЭК" ("Математика в экспертизе") на базе РС фирмы "Apple" с использованием современных достижений в области теории и практики экспертных оценок, в области прикладной математической статистики, прежде всего статистики объектов нечисловой природы.
Список литературы
1. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества. - В сб."Многомерный статистический анализ в социально-экономических исследованиях", М.: Наука, 1974, с.388-393.
2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука,1979, 296 с.
3. Орлов А.И. Статистика объектов нгечисловой природы в экспертных оценках. - Тезисы докладов III Всесоюзной научной школы "Прогнозирование научно-технического прогресса", ч.1. - Минск, 1979, с.160-161.
4. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. - В сб."Экспертные оценки. Вопросы кибернетики, вып.58". - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика"., 1979, с.17-33.
5. Анализ нечисловой информации в социологических исследованиях (под ред. В.Г.Андреенкова, А.И.Орлова, Ю.Н.Толстовой).- - М.: Наука, 1985, 220 с.
6. Орлов А.И. Статистика объектов нечисловой природы. Обзор/ Заводская лаборатория, 1990, т.56, No.3, с.76-83.
7. Orlov A.I. On the Development of the Statistics of Nonnumerical Objects. - In: DESIGN OF EXPERIMENTS AND DATA ANALYSIS: NEW TRENDS AND RESULTS. Ed. by prof.E.K.Letzky. Moscow: ANTAL, 1993. P.52-90;
8. Орлов А.И.Нечисловая статистика/ Наука и технология в России, 1994, No.3 (5), с. 5-6.
9. Орлов А.И. Объекты нечисловой природы/ Заводская лаборатория. 1995. Т.61. No.3, с.41-52.
10. Орлов А.И. Вероятностные модели объектов нечисловой природы/ Заводская лаборатория. 1995. Т.61. No.5, с.41-51.
11. Орлов А.И. Связь между средними величинами и допустимыми преобразованиями шкалы/Математические заметки, 1981, т.30, No.4, с.361-368.
12. Орлов А.И. Асимптотика решений экстремальных статистических задач. - В сб."Анализ нечисловых данных в системных исследованиях. Труды ВНИИСИ, 1982, вып.10." - М.: ВНИИСИ, 1982, с.4-12.
13. Орлов А.И. Непараметрические оценки плотности в топологических пространствах. - В сб.: Прикладная статистика. - М.: Наука, 1983, с.12-40.
14. Орлов А.И. Классификация объектов нечисловой природы на основе непараметрических оценок плотности. - В сб."Проблемы компьютерного анализа данных и моделирования: Сб.науч.ст." - Минск: Белорусский государственный университет, 1991, с.141-148.
15. Орлов А.И. Некоторые неклассические постановки в регрессионном анализе и классификации. - В сб."Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях". - М.: Наука, 1987, с.27-40.
16. Орлов А.И. Заметки по теории классификации/ Социология: методология, методы, математические модели. 1992. No.2. С.28-50;
17. Орлов А.И. Асимптотическое поведение статистик интегрального типа/ Доклады АН СССР, 1974, т.219, No.4, с.808-811.
18. Орлов А.И. Асимптотическое поведение статистик интегрального типа. - В сб. "Вероятностные процессы и их приложения". - М.: МИЭМ, 1989, с.118-123.
19. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980, 64 с.
20. Орлов А.И. Математика нечеткости/ Наука и жизнь, 1982, No.7, с.60-67.
21. Orlov A.I. The connection between fuzzy and random sets. - In: Moscow International conference "Fuzzy sets in Informatics" (Moscow, September 20-23, 1988). Abstracts. - М.: ВЦ АН СССР, 1988, с.51-52.
22. Орлов А.И. Случайные множества: законы больших чисел, проверка статистических гипотез/Теория вероятностей и ее применения, 1978, т.23, вып.2, с.462-464.
23. Орлов А.И. Случайные множества с независимыми элементами (люсианы) и их применения. - В сб."Алгоритмическое и программное обеспечение прикладного статистического анализа". - М.: Наука, 1980, с. 287-308.
24. Орлов А.И. Нечеткие и случайные множества. - В сб.: Прикладной многомерный статистический анализ. - М.: Наука, 1978, с.262-280.
25. Орлов А.И. Теория нечеткости и случайные множества. - В сб."Математическое моделирование в психологии. Вопросы кибернетики, вып.50". - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979, с.35-43.
26. Орлов А.И. Проверка согласованности мнений экспертов в модели независимых парных сравнений. - В сб.: Экспертные оценки в системном анализе. Труды ВНИИСИ, 1979, вып.4." - М.: ВНИИСИ, 1979, с.37-46.
27. Орлов А.И. Парные сравнения в асимптотике Колмогорова. - В сб."Экспертные оценки в задачах управления". - М.: ИПУ, 1982, с.58-66.
28. Орлов А.И., Рыданова Г.В. О некоторых результатах статистики объектов нечисловой природы. - В сб."МАтериалы I Всесоюзной школы-семинара. Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях (3-6 июня 1985 г., Пущино)." - Пущино: Биологический центр АН СССР, 1986, с.61-71.
29. Орлов А.И., Раушенбах Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность. - В сб."Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов." - Пермь: Пермский государственный университет, 1986, с.148-157.
30. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981, 80 с.
31. Орлов А.И. Некоторые вероятностные вопросы теории классификации.- В сб.: Прикладная статистика. - М.: Наука, 1983, с.166-179.
32. Орлов А.И. Математические методы классификации, статистика объектов нечисловой природы и медико-биологические исследования. - В сб."Доклады Московского Общества Испытателей Природы 1984 г. Общая биология. Цитогенетический и математический подходы к изучению биосистем". - М.: Наука, 1986, с.145-150.
33. Орлов А.И. Границы применимости вероятностных моделей в задачах классификации. - В сб."Доклады Московского Общества Испытателей Природы 1984 г. Общая биология. Цитогенетический и математический подходы к изучению биосистем". - М.: Наука, 1986, с.179-182.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
