178697 (596315), страница 17
Текст из файла (страница 17)
научных подходов (системный, маркетинговый, функциональный, созидающий и др.)
- количество использованных современных методов (функционально-стоимостной анализ, моделирование, прогнозирование, оптимизация и др.);
- финансово-экономическое обоснование технических и управленческих решений;
- широта применения проекта, его перспективность, масштаб использования;
- степень апробации в научных кругах, национальных и региональных органах управления, на практике;
- уровень и престиж органов, которые согласовали и утвердили данный проект;
степень выполнения требований стандартов на оформление документа, однозначность определений и понятий, четкость, доступность, наглядность.
Проекты, отвечающие перечисленным критериям, будут конкурентоспособными и обеспечат конкурентоспособность товара и фирмы. Предлагается определять рейтинговую оценку инновационных проектов с помощью методов аналитической сетевой экспертизы [18, С.77]. В основе аналитической сетевой экспертизы лежит принцип оценки искомого решения с помощью однородных по своей сути параметров. Мерилом качества инновационных проектов могут быть качественные интегральные оценки специалистов: «поддерживаю», «не поддерживаю» и «ознакомился». Для проведения такой оценки нами привлекались руководители и специалисты, связанные с инновационной деятельностью. Ранг и количественная «цена» каждой из возможных оценок может быть различной. Кроме того, возникает проблема проверки уровня компетентности и согласованности действий экспертной группы. Эксперты могут открыто оценить проект, заочно, а также анонимно. Естественно, на наш взгляд, ранг и количественная «цена» каждой оценки может быть различной. Для этой цели использована специальная методика определения согласованности действий экспертов и достоверности экспертных оценок, суть которой сводится к следующему положению.
Для каждой из возможных оценок Oi по данным каждого эксперта Эij (всего N экспертов) образуется матрица уровней весомости - ||aij||, где i=1,2,3,…n – число рассматриваемых показателей (видов оценки), для которых необходимо определить уровень весомости; j=1,2,3,…N – число экспертов. Матрица ||aij|| получается из матрицы ||Эij|| путем определения, исходя из коэффициентов относительной важности оценок ,которым присваиваются рейтинговые номера 1,2,3,…n. Причем «1» присваивается наиболее значимой в исследуемом ряде оценке. При ранжировании оценки располагаются в порядке возрастания или убывания. Ранг Эi указывает то место, которое занимает i-я оценка среди других, ранжированных в соответствии с принятым признаком.
Упорядоченную последовательность суммарных рангов n оценок представим в виде:
а1 < а2 < а3 < … < аi < аn ,(3.2.4)
где аi – находится из матрицы ||aij|| по следующей формуле:
аi = ∑аij.(3.2.5)
Среднее значение для суммарных рангов рассматриваемого ряда
а1j ×
а2j ×
а3j ×… ×
а.(3.2.6)
Будет равно следующему выражению
а = 0,5 N (n +1).(3.2.7)
Суммарное квадратичное отклонение S суммарных оценок от среднего значения Э определяется по следующей формуле:
S = ∑ [∑аij – 0,5N (n +1)2].(3.2.8)
Величина S достигает максимального значения, если все Т экспертов дадут совершенно одинаковые оценки каждому из рассматриваемых событий. В этом случае рассматриваемый ряд суммарных рангов будет иметь вид:
N, 2N, 3N, … , nN. (3.2.9)Вычтем из этого ряда среднее значение а = 0,5 N (n +1) и получим следующий ряд чисел:
0,5N (1 – n); 0,5N (3 – n); … 0,5 (n – 1);(3.2.10)
Сумма квадратов этого ряда равняется:
Smax = 0,5[N2(n3 – n)] = 0,5[N2n(n2 – 1)].(3.2.11)
Очевидно, что в качестве меры согласованности мнений экспертов можно принять следующее отношение:
W = S/Smax = ∑ [∑аij – 0,5N (n +1)2] / 0,5[N2n(n2 – 1)](3.2.12)
Показатель W называется коэффициентом конкордации и изменяется в пределах от 0 до 1. При W=0 согласованности между экспертами совершенно нет, т.е. связь между оценками экспертов полностью отсутствует. При этом для получения достоверных оценок необходимо уточнить исходные данные или изменить состав экспертов. При W=1 имеет место полная согласованность мнений экспертов, что опять же маловероятно. Можно считать, что при значении данного коэффициента больше 0,5 действия экспертов являются согласованными. При значении W меньше 0,5 полученные оценки нельзя считать достоверными и экспертизу следует повторить.
Зависимость (3.2.12) применяется при строгом соблюдении соотношения (3.2.4). Если соотношение (3.2.4) не соблюдается, то коэффициент W определяется по следующей преобразованной формуле:
W = S / {1/12[N2n(n2 – 1)] – N
Tj}(3.2.13)
Значение Т в формуле (3.2.13) определяется следующим образом:
Tj = 1/12 ∑tj × (t2 – 1),(3.2.14)
где tj – число повторений каждого ранга в j-м ряду;
j = (1,2,…к) – число повторяющихся рангов в каждом ряду.
Для количественной оценки степени уровня значимости данного события производится оценка каждого события по его влиянию конечный результат. При этом значение коэффициента конкордации находится следующим образом:
S = 1 – di/Nai.(3.2.15)
При этом величина di как сумма отклонений оценки конкретного эксперта от среднеарифметической оценки ai :
di =∑|(ai – aij)|,(3.2.16)
а значение аi определяется как среднеарифметическая оценка, выставленная N экспертами за наступление данного события:
аi =∑aij/N(3.2.17)
Результаты ранжирования форм экспертных оценок по важности конечного результата приведены в табл. 3.2.1.
Таблица 3.2.1
Ранжирование форм экспертных оценок
| Эксперты | Код формы экспертных оценок и результаты оценок | ||||
| ОО | ОА | ЗО | ЗА | ||
| Эксперт №1 | 2 | 1 | 4 | 3 | |
| Эксперт №2 | 1 | 2 | 3 | 5 | |
| Эксперт №3 | 2,5 | 2,5 | 2,5 | 2,5 | |
| Эксперт №4 | 1,5 | 3,5 | 1,5 | 3,5 | |
| Эксперт №5 | 1 | 3 | 5 | 6 | |
| Эксперт №6 | 2 | 1 | 4 | 2 | |
| Эксперт №7 | 1,5 | 1,5 | 3,5 | 3,5 | |
| Эксперт №8 | 1 | 3 | 4 | 3 | |
| Эксперт №9 | 1,5 | 1,5 | 3, | 3,5 | |
| Эксперт №10 | 3 | 2 | 5 | 4 | |
|
| 17 | 21 | 36 | 36 | а=25 |
| d= | -8 | -4 | 11 | 11 | |
| d2 | 64 | 16 | 121 | 121 | |
В табл. 3.2.1 обозначения формы экспертной оценки инновационного проекта соответствуют следующим действиям экспертов:
ОО – очная открытая оценка проекта;
ОА – очная анонимная оценка (эксперт выступает под кодом);
ЗО – заочная открытая оценка;
ЗА – заочная анонимная оценка проекта.
Исходя из данных табл. 3.2.1 и учитывая, что N=10, n=4, S=322, определяем коэффициент конкордации W:
W = 322 / {1/12[102×4(42–1)]–10[0+0+4(42–1)+2(22–1)+0+0+2(22–1)+0+(22–1)]1/12} = 322 / (500-80) = 322/420 = 0,767
Полученное значение коэффициента конкордации является единственным, так как значительно превышает величину 0,5. Следовательно можно считать, что группа экспертов и их оценки являются вполне согласованными, а итоговые результаты заслуживают доверия. Количественная оценка действий экспертов при различных формах экспертизы приведена в табл. 3.2.2.
Таблица 3.2.2
Количественные значения экспертной оценки при различных формах экспертизы
| Формы оценки инновационного проекта экспертизы | Количественная оценка, баллы | ||
| поддерживаю | ознакомился | не поддерживаю | |
| Очная открытая оценка проекта | +1 | 0 | -1 |
| Очная анонимная оценка | +0,3 | 0 | -0,3 |
| Заочная открытая оценка | +0,15 | 0 | -0,15 |
| Заочная анонимная оценка | +0,05 | 0 | -0,05 |
Практическая реализация данного подхода представлена нами в табл. 3.2.3 на примере ранжирования инновационных проектов Нижегородского инструментального завода в 2003 году.
Таблица 3.2.3
Рейтинговая оценка инновационных проектов по критериям табл.3.2.2.
| №№ проекта | Оценки «ОО» | Оценки «ОА» | Оценки «ЗО» | Оценки «ЗА» | Всего баллов | Рейтинг | ||||||||||||||||
| Всего | В том числе | Всего | В том числе | Всего | В том числе | Всего | В том числе | |||||||||||||||
| «За» | «Против» | «За» | «Против» | «За» | «Против» | «За» | «Против» | |||||||||||||||
| 1 | 23 | 18 | 2 | 11 | 8 | 1 | 15 | 10 | 2 | 6 | 4 | 0 | 19,50 | 3 | ||||||||
| 2 | 21 | 20 | 1 | 8 | 5 | 0 | 18 | 13 | 3 | 8 | 5 | 1 | 22,20 | 1 | ||||||||
| 3 | 22 | 17 | 3 | 9 | 6 | 3 | 10 | 7 | 1 | 11 | 8 | 3 | 16,35 | 4 | ||||||||
| 4 | 22 | 19 | 2 | 12 | 9 | 2 | 14 | 7 | 3 | 7 | 5 | 1 | 19,90 | 2 | ||||||||
| 5 | 21 | 16 | 4 | 6 | 4 | 1 | 16 | 9 | 2 | 10 | 4 | 2 | 16,05 | 5 | ||||||||
| 6 | 19 | 14 | 3 | 7 | 5 | 1 | 12 | 10 | 0 | 8 | 6 | 0 | 14,00 | 6 | ||||||||
| 7 | 20 | 15 | 4 | 9 | 6 | 2 | 8 | 6 | 1 | 5 | 3 | 0 | 13,10 | 7 | ||||||||
| 8 | 18 | 13 | 3 | 11 | 6 | 4 | 13 | 8 | 3 | 9 | 5 | 2 | 11,50 | 8 | ||||||||
| 9 | 16 | 11 | 4 | 10 | 6 | 3 | 11 | 6 | 1 | 4 | 2 | 1 | 8,70 | 9 | ||||||||
| 10 | 15 | 10 | 3 | 7 | 4 | 2 | 14 | 8 | 3 | 6 | 4 | 1 | 8,50 | 10 | ||||||||
| 11 | 12 | 8 | 2 | 8 | 5 | 3 | 9 | 4 | 3 | 7 | 5 | 2 | 6,90 | 11 | ||||||||
| Всего оценок | 209 | 98 | 146 | 81 | ||||||||||||||||||
В зависимости от финансовых, технических и организационных возможностей предприятие отбирает по результатам ранжирования необходимое количество наиболее экономически эффективных инноваций для внедрения в планируемом году. При выявлении резервов повышения эффективности инновационной деятельности на данной стадии инновационного процесса, необходимо исходить из того, что главная цель оценки: экономической эффективности - это ее максимальная точность. Соответственно, измерение уровня эффективности инновационной деятельности на данной стадии можно осуществить с использованием следующей формулы (3.2.18):















