Диссертация (1026464), страница 20
Текст из файла (страница 20)
Также приведем реальный130пример расчета ранжирования, произведенный на одном из рассматриваемыхпредприятий.Процедура проведения экспертного опросаПроцедура проведения экспертного опроса заключается в следующем.Всем экспертам предъявляется один и тот же перечень критериев оценкисистем бизнес-аналитики, называемых «предъявлением», по которым должнобытьприняторешение.Одновременновсемэкспертамсообщается«инструкция», т.е. одинаковое для всех указание о том, что они должнысделать с предложенным предъявлением (в данной задаче – ранжировкакритериев выбора системы по убыванию важности). Результат действияэксперта с предъявлением, в соответствии с инструкцией, называется его«индивидуальным решением».
Так как экспертный совет ранжируеткачественные признаки, то порядковая шкала – основная для даннойситуации. Поэтому результаты экспертного качественного анализа будемрассматривать как измерения по этим шкалам. Результаты экспертныхоценок приведены в Таблице 13.Таблица 13.Экспертные оценки для характеристик BI- системыКритерий/ Номер эксперта123456789 10 11 12 13 14 15 16 17 18Сумма Мединарангов ранговПроизводительность441444454445444445724Работа с большим объемом данных6666666666666666661086Функциональные возможности112121111111211112221Простота использования для разработчиков8977787777778997771357Простота использования для пользователей224313222222122221372Интеграция с другими продуктами333232333333333333523Возможность самостоятельной поддержки7888878888887888881418Количество возможных пользователей9799999999999 10 10999162955555554555455555487513 13 14 14 14 14 14 13 13 13 13 13 1377 13 13 1322713Низкая ценаWeb-архитектураВзаимодействие с другими продуктами14 14 13 13 13 13 13 14 14 14 14 14 14 14 14 14 14 1424714Репутация продукта12 12 12 13 13 13 12 12 12 12 12 12 12 13 13 12 12 1222112Бизнес-контакты с производителем10 11 11 12 12 12 11 11 11 11 11 11 11 12 12 11 11 1120211Репутация продавца системы11 10 10 10 11 12 10 10 10 10 10 10 10 11 11 10 10 1018610Итоговая сумма:1 899Среднее значение:136131Проверка согласованности мнения экспертовПроверкусогласованностибудемосуществлятьнаоснованиинепараметрического коэффициента – коэффициента конкордации W (единойвыборочной меры связи m признаков, предложенной в виде коэффициентовсогласованности Кендалла и Б.Смита):W=12SWm 2 ( n 3 − n) ,где S – сумма квадратов отклонений всех оценок рангов каждого объектаэкспертизы от среднего значения;mm( n + 1) SW = ∑ ∑ ri , j −2 i =1 j =1n2n – число экспертов; m – число объектов экспертизы.
Если экспертов m > 2,то данные ими m упорядочений можно записать в виде матрицы, i-я строкакоторой содержит ранжировку, полученную от i-го эксперта, а столбцысоответствуютnобъектамэкспертизы,рассматриваемымвданномисследовании:r1,1 r1, 2r2,1 r2, 2... ...rm,1 rm, 2... r1, n... r2, n... ...... rm, nКоэффициент принимает значения из отрезка [0; 1] и используется дляпроверки нулевой гипотезы H0 о независимости признаков. Признакиназываются независимыми, если для наугад выбранного столбца матрицыранги (порядковые номера) r1, j , r2, j ,..., rm , j являются взаимно независимымислучайными величинами.
В терминах теории экспертных оценок гипотеза H0– это гипотеза о том, что случайные ранжировки независимы и равномернораспределенынамножествевсехранжировок(безсвязей).Еслирассматриваемый коэффициент (W) не превосходит заданного граничного132значения, то гипотеза H0 принимается, если превосходит – отклоняется впользу альтернативной гипотезы общего вида, т.е. гипотезы о том, чтосовместноераспределениеранжировокотличаетсяотсовместногораспределения независимых одинаково распределенных ранжировок. Приэтом остается неизвестным, нарушается ли предположение независимости,или предположение равномерности распределения, или и то, и другое вместе.Значения коэффициента конкордации могут находиться в диапазоне от 0 до1. Если W=0, считается, что мнения экспертов не согласованны.
Если W=1,то оценки экспертов полностью согласованны. Согласно расчетам в даннойработе – коэффициент конкордации составил 0,74, что является показателемсогласованности мнений экспертов и пригодности данных для дальнейшегоанализа.Формирование итогового мнения комиссии (ранжировки)На основании общенаучной концепции устойчивости рекомендуетсяприменять различные методы для обработки одних и тех же данных с цельювыделить выводы, получаемые одновременно при всех методах. Дляполучения инвариантного относительно выбранного метода ранжированияитоговогомненияэкспертнойкомиссиивоспользуемсяследующимипроцедурами: Метод средних арифметических рангов; Метод медиан рангов;Метод согласования кластеризованных ранжировок. В практике экспертныхоценок используются также и другие методы: Метод расчета медианыКемени; Процедура Борда (строгое ранжирование альтернатив); ПроцедураЯнга (последовательные сравнения); Процедура парных сравнений.
Однакочащевсегопорезультатампредварительнойоценкиприменениедополнительных методов не является необходимым, т.к. использованиеосновных методов достаточно для того, чтобы сделать достоверные выводы.Метод средних арифметических ранговСначала для получения группового мнения экспертов применим методсредних арифметических рангов. Для этого рассчитывается средний133арифметический ранг (сумма рангов делится на число экспертов). Посредним арифметическим рангам строится упорядочение.
Данный методявляется традиционным, но исходя из теории измерений такой способнекорректен, поскольку ответы экспертов измерены в порядковой шкале, идлянихнеправомернопроводитьусреднениеметодомсреднихарифметических. Однако из-за их привычности и распространенности неиспользоватьсредниеарифметическиенецелесообразно.Рациональноиспользовать одновременно несколько методов оценки.Метод медиан ранговОбоснованным является использование в качестве средних баллов медианрангов. Необходимо расположить ответы экспертов в порядке неубывания.Вычислим медиану вариационного ряда (в случае четного числа экспертовмедиана будет равна среднему арифметическому двух центральных членовряда, в случае, если число экспертов было нечетным, в качестве медианынадовзять центральныйчленвариационного ряда).
Наоснованиирассчитанных медиан строится итоговое упорядоченное мнение экспертнойкомиссии. В случае одинаковых медиан рангов – они объединяются в кластер(группу), т.к. эквивалентны.Расчет итоговой ранжировки критериев выбораПо итогам данного этапа наиболее значимые критерии ВI-системпроранжированы и приведены в Таблице 14. Для определения весов каждогоиз критериев из-за «качественного» характера исследования был примененметод группового экспертного обсуждения. Итогом экспертизы сталоприсвоение каждому из критерия веса, в зависимости от значимости.134Таблица 14.Ранжирование критериев BI- систем по важностиРангКритерийВажность1Функциональные возможности0,172Простота использования для пользователей0,153Интеграция с другими имеющимися продуктами0,144Производительность0,095Низкая цена0,096Возможность работы с большим объемом данных0,088Простота использования для разработчиков0,058Возможность самостоятельной поддержки0,059Количество возможных пользователей0,0510Репутация продавца0,0411Бизнес-контакты с производителем0,0412Репутация продукта0,0313Web-архитектура0,0114Взаимодействие с другими продуктами на рынке0,01Подготовка тестовых данных (контрольные примеры) и проведение«пилотного» проектаПосле того, как определились с набором наиболее критичногофункционала, необходимо запросить от консультантов реализацию тестовоймодели.
Необходимо описать контрольные примеры и подготовить реальные(но технически искаженные) данные. При этом контрольный пример долженбыть очень краток, а результат его максимально подробно описан.Результаты пилотного проекта уточняют параметры в матрице выборасистем,предоставляяэкспертамкомпанииинформациюобоснованного рационального выбора системы-победителя.дляболее135Практический пример сравнительного анализаФормулировка бизнес-задач пилотного проекта Анализ продаж и остатков на детальном уровне (артикул, магазин,день) с фильтрацией по атрибутам измерений. Анализ отклонений продаж в сравнении с прошлым периодом. Анализ скоростей продаж (продажи/артикул/магазин/неделю). Анализ валовой прибыли с 1кв.м площади (площадь не как измерение,а как атрибут измерения канала реализации). Создание заготовки регулярного отчета в фиксированном форматеExcel, PowerPoint. Произвольныйанализ(online)дляпродвинутогоаналитика, споставкой соответствующего инструментария. Простота анализа данных для обычного пользователя, в привычноминструменте (Excel).Формулировка IT-задач пилотного проекта Интеграция с корпоративным хранилищем данных Поддержка больших объемов данных куба (сотни млн.
строк в фактах,млн. строк в измерениях). Щадящие требования к объемам хранения (эффективная системахранения агрегатов и детальных данных). Производительность при создании/обновлении куба (< 4 часов полное,< 1.5 часов инкрементальное обновление). Скорость выполнения типовых BI-операций (drill-down\rollup) < 10секунд, в т.ч. на максимальной детализации (артикул, магазин, день). Работасатрибутамиизмерений(вычисляемыепоказателинаатрибутах, поиск, фильтрация по атрибутам). Поддержка несбалансированных parent-child деревьев, продвинутыеtime / math / stat функции, в т.ч. алгоритмы прогнозирования.136 Масштабируемость модели: рост уровней деревьев не потребуетпеределки модели. Поддержка стандартов XML-A, MDХ. Система разграничения прав доступа к объектам модели, в т.ч.измерениям и узлам деревьев.Исходные данные Факты (1 год, ежедневные):o 50 млн.
записей по продажамo 500 млн. записей по остаткам Справочники:o 700 записей магазины/склады.o 1 200 000 записей артикулы каталога.o 7500 записей время (~20 лет). 55 Гб данных в текстовых файлахИзмерения и показатели Измерения:o Каналы реализации (КР) (700).o Товар (артикулы 1 200 000).o Время (7500, григорианский календарь). Деревья измерений:o К.Р. (parent-child, 6 уровней).o Товар (parent-child, 10 уровней, 750 листовых блоков).o Время (level-based, День: Неделя: Месяц: Квартал: Сезон: Год). Атрибуты измерений:o Товар >10 атрибутов (цвет, размер, коллекция, ТМ, группа,направление,категория,подкатегория,тов.подгруппа, пол…).o К.Р.
– площадь, тип, наименование, даты, формат,…тов.группа,137o Время – сезон, день недели, №дня в неделе/ месяце/ квартале/сезоне/ году… Показатели:o Продажи/остатки в шт. и ценах (реализации, себестоимости,…) ивалютах.o Более 20 мер, включая расчетные «продажи на м2», GM и пр.Пример результатов сравнительных испытанийНиже приведем пример списка «пилотных» продуктов и выявленныхнедочетов при решении поставленной пилотной задачи розничной сети.MicroStrategy 8.01 (ROLAP) низкая производительность на реляционных источниках высокойнагрузки и объемах, оптимизатор: плохое качество генерируемого SQLfor Oracle; временные таблицы. насыщение, рост времени ETL на обновление (выход за регламент),рассинхронизация с основными фактами.Cognos BI (MOLAP) нет parent-child деревьев, эмуляция p-ch за счет level-based деревьев =>отображение иерархий в интерфейсе только «по уровням». нет поддержки атрибутов измерений => эмуляция через измеренияприводит к росту объема куба и времени обновления. нет поддержки прогнозирования временных рядов.Oracle Discoverer 10g for OLAP (MOLAP) нет стандартизации, MDX не поддерживается, нет сторонних клиентов. низкая производительность на больших объемах данных (измерениетовар: переход от 740 строк планирования к 1 млн артикулов). низкая производительность java-клиента Discoverer (полный расчетвычисляемых агрегатов).Один из исследуемых продуктов показал наилучшие результаты:Oracle BI на базе Essbase (MOLAP) [124]138Бизнес-результаты пилотного проекта Максимальная детализации до артикула товара (~1 млн.) (артикул,магазин, день). Оnline-анализ истории ежедневных остатков/продаж, валовой прибылии скорости продаж. Скорость операций в пределах 5 сек на данной (большой) модели. Сведение остатков и продаж в одном кубе/отчете. Получение стандартных отчетов в удобном для работы виде (Oracle BIPublisher). Произвольный анализ и визуальное создание отчетов online в HyperionVisual Explorer для продвинутого аналитика и датамайнера. Аналитика в Excel (Essbase Excel-plugin).IT-Результаты пилотного проекта Компактный OLAP-куб, сжатие в ~2 раза – 25GB. Общее время построения куба – 1,3 часа (практически линейнаязависимость от I/O дисковой системы и RAM). Время отклика на запросы <5 сек.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
