Диссертация (1173013), страница 10

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 10)

Один из них заключаетсяв составлении специальных анкет, отвечая на вопросы которых кандидаты вэксперты должны показать свою эрудицию и аналитические способности. Ответна каждый из поставленных вопросов должен быть дан в короткое время. Крометого, эксперт дает самооценку своих знаний по данному вопросу в виде числа.Подобные анкеты позволяют судить и о способности критически оценитьсобственные возможности.Другим способом отбора наиболее компетентных экспертов являютсярасчеты достоверности их оценок. Оценить надежность эксперта можно как:100,(3.2.5)где Nс – число случаев, в которых эксперт, встретившись с несколькимиальтернативными гипотезами, приписал наибольшую вероятность той, котораяподтвердилась;N – общее число случаев, когда эксперт производил оценку.59Относительная надежность эксперта рассчитывается по формуле:100,(3.2.6)где R – степень надежности (абсолютная) данного эксперта;Rc – средняя степень надежности, рассчитанная для некоторой группы экспертов.Необходимо помнить, что в связи с субъективностью выносимогоэкспертами решения необходима проверка их согласованности.Степеньсогласованности мнений экспертов можно выявить на основе:122(3.2.7)3-где S – сумма квадратов отклонений суммы рангов каждого объекта от среднейсуммы рангов;m – количество порядковых переменных;n – объем выборки.По полученному коэффициенту можно сделать вывод о согласованностимнений экспертов.

Коэффициент конкордации принимает значения от 0 до 1.Причем он равен 1 при максимальной согласованности и равен 0 примаксимальной несогласованности.Если W <0.2-0.4, значит слабая согласованность экспертов, если W >0.6-0.8,то согласованность экспертов сильная.Слабая согласованность обычно является следствием следующих причин: в рассматриваемойгруппе экспертов действительно отсутствуетобщность мнений; внутри группы существуют коалиции с высокой согласованностьюмнений, однако, обобщенные мнения коалиций противоположны.S можно найти по формуле:1где112-112,(3.2.8)– ранг i-го элемента в Xj выборке.Также можно оценить значимость коэффициента конкордации по критериюХи - квадрат:601221,(3.2.9)Что так же позволяет сделать вывод о статистической значимостирезультатов при следующих условиях.Если2расч2табл, то можно утверждать, что при уровне доверительнойвероятности Р 1-a имеется неслучайная согласованность мнений экспертов поранжировке объектов.

Табличное значение критерия Пирсона определяется по2таблицам квантилей– распределения в столбце, соответствующем уровнюдостоверности a=1–Р, в строке, соответствующей числу степеней свободы ν-1(количество оцениваемых объектов без одного).Табличное значение2таблнаходят по таблице распределения2с заданнойвероятностью и числом степеней свободы, равным n-1.Если2расч2,таблто гипотеза об отсутствии связи отклоняется на уровнезначимости а.В случае несогласованности ответов встает необходимость повторныхэкспертных оценок для достижения согласованного мнения.По мнению автора, очевидным недостатком экспертных методов являетсядлительная работа экспертов, высокая сложность принятия решения, если объектхарактеризуется многими параметрами и, что наиболее важно, присвоениеэкспертным решением конкретных чисел, т.е., так называемая, «оцифровка»мнения и использование усредненных значений.Поэтому следует обратитьпервостепенное внимание на последние разработки в области теории нечеткихмножеств и статистики объектов нечисловой природы [117, 118].По мнению автора, учитывая ранее описанную специфику построениямоделейкачествадеятельностиНТОР,вполнеоправданоприменение–экспертного метода определения как основного метода определения величинывесовых коэффициентов.

В связи с этим, основная ответственность за результатыпостроенной модели качества лежит на экспертах и на специалистах,производящих математическую обработку результатов экспертизы.61Одним из интересных подходов в установлении приоритетов показателей иих удельных весов может быть подход, основанный на построении иерархий,предложенных Т. Саати [134]. В которых, строятся матрицы, исходя ихприоритетов и затем определяется удельная значимость для каждой цели(показателя). Методиерархий включает следующее. Предположим, заданыэлементы уровней иерархии до более высокого уровня.

Нужно попарно сравнитьэлементы нижнего уровня по силе их влияния на цель, поместить числа,показывающие согласие во мнениях, в матрицу и затем определить собственныйвектор с наибольшим собственным значением. Упорядочение приоритетовобеспечивает собственный вектор, а собственное значение определяет мерусогласованности суждений. Таким образом, главнымрассматриваемомметодеявляетсяпостроениетребованием прииерархии,отражающейфункциональные отношения.

Для простых систем вид иерархии строится поаналогии с функциями системы. Для сложных систем можно использоватьпроцессы мозгового штурма, перебирая все элементы, относящиеся к иерархии.Далее их можно располагать по группам в соответствии с влиянием междугруппами, что будет служить ровнями иерархии.

Для процесса группированияможет быть сформированы технические процедуры и может потребоватьсядополнительное исследование для идентификации и характеристики некоторыхсвойств на уровнях иерархии, которые влияют на свойства более высокихуровней. Для повышения качества принятия решений, необходимо, чтобыиерархия видов действия, целей и высших, общих, целей была тщательнопроверена. Однако, этот по поводу объективности данного метода в литературеведутся дебаты [110, 118, 126]. А так же приводятся недостатки и ошибочныедопущения данного метода [118, 126].По мнению автора, при многокритериальной оценке наиболее объективнымметодом определения удельных весов каждого критерия, является нахождениеитогового мнения комиссии экспертов с помощью медианы Кемени, при которойне требуется «оцифровки» мнений и объективность которой доказана в работахОрлова [117, 118]. Суть проводимых действий будет заключаться в минимизации62суммарного расстояния от предполагаемого истинного решения до мнений всехэкспертов одновременно [75, 117, 118].Математическаяпостановказадачивыглядитследующимобразом.Допустим бинарное отношение А на заданном множестве Q = {q1, q2,..., qk}является подмножеством декартова квадрата Q2={(qm, qn),12}.

Приэтом пара (qm, qn) входит в А тогда и только тогда, когда между qm и qn имеетсяустановленное отношение.Бинарное отношение можно задать квадратнойматрицей ||x(a,b)|| из 0 и 1 порядка k x k. При этом x(a,b)=1 тогда и только тогда,когда a<b либо a = b. В первом случае x(b,a) = 0, а во втором x(b,a)=1. При этомхотя бы одно из чисел x(a,b) и x(b,a) равно 1. Каждое бинарное отношение Аможно описать матрицей ||a(i,j)|| из 0 и 1, причем a(i,j)=1 тогда и только тогда,когда qi иjнаходятся в отношении А, и a(i,j)=0 в противном случае.Расстоянием Кемени между бинарными отношениями А и В, описываемымиматрицами ||a(i,j)|| и ||b(i,j)|| соответственно, называется число, представленное в(3.2.10) [117, 118]:где,(3.2.10)суммирование производится по всем i,j от 1 до k, т.е.

расстояниеКемени между бинарными отношениями равно сумме модулей разностейэлементов, стоящих на одних и тех же местах в соответствующих им матрицах.Итоговое мнение группы экспертов возможно найти с помощью расстоянияКемени, т.н. медианы Кемени. Так, предположим, что ответы р экспертов,представленные в виде бинарных отношений: А1 А2 А3Ар.

Для нахождения ихусреднения наиболее объективно можно найти медиану Кемени по формуле:,где(3.2.11)– значения А, при которых достигает минимума сумма расстоянийКемени от точки ответов экспертов до точки текущей переменной А, по которойи проводится минимизация.Получаем формулу:1)+23,(3.2.12)63Кроме медианы Кемени, используют среднее по Кемени, в котором вместоD(Ai ,A) стоит D2 (Ai ,A).Известно, чтоМедиана Кемени это частный случай определенияэмпирического среднего в пространствах нечисловой природы и длянеесправедлив закон больших чисел[117, 118]:(3.2.13),где М – математическое ожидание.Проведенный анализ с использованием закона больших чисел показал,устойчивостьмедианыэкспертной комиссии.КеменипринезначительномизменениисоставаПри увеличении числа экспертов медиана Кемениприближается к некоторому пределу, которыйследует рассматривать какистинное мнение экспертов. Область применения рассматриваемого метода это нетолько экспертные оценки.

Его можно применять в случаесравнения поразличным критериям качества математических моделей любых многофакторныхпроцессов. В том числе и по сумме модулей относительных отклоненийрасчетных и экспериментальных значений.Предлагаемая методика определения удельных весов в квалиметрическихмоделях состоит в следующем. При количестве факторов не превышающем 10-12автор считает, что наиболее точное определение удельных весов можно получитьна основе эвристического метода определения медианы Кемени, при котороммнения экспертов1,2.nпо распределению важности факторов Х1 Х2. Хnпредставляются в виде матриц- столбцов:2112;234;5(3.2.14)-Данные матрицы столбцы затем преобразуются в n квадратных бинарныхматриц следующего вида:(3.2.15)64Из этих матриц в дальнейшем строится матрица потерь, минимальнаяпострочная сумма элементов которой и будет представлять медиану Кемени.Удельные веса затем можно определить по итоговой ранжировке:1(3.2.16)Обоснование объективности подхода состоит в том, что используются толькобинарные соотношения и в связи с отсутствием оцифровки получает болееточные значения.Данный подход со всеми расчетами будет реализован в 3 главе.На основании проведенных во второй главе исследований предложенаквалиметрическая модель оценки качества деятельности НТОР на основе ГОСТ РИСО 9004 2010 и установления эталонного уровня единичных показателейкачества, представлен векторный подход к оценке качества деятельности НТОР иего схема формирования и оптимизации, произведен анализ методов определенияудельных весов значимости параметров, указаны области их применения и принятметод установления удельных весов на основе обработки мнений экспертов сиспользованием медианы Кемени.654.

Характеристики

Список файлов диссертации