Лекция 0. Аналитическое ПО SAS и его применение в BIG DATA (Лекции 2015), страница 2

A l l r i g h t s r es er v e d .SAS/QC® АНАЛИЗ КАЧЕСТВА ПРОЦЕССОВ Базовые средства анализа качества наоснове диаграмм Парето и Ишикава Статистическое управление процессами• Графики кумулятивных сумм, скользящихсредних, нестандартные графики управленияпроцессом, тренды и т.д. GAGE подход для оценки систем Анализ производительности процессов• Сравнительные гистограммы, CDF графики,вероятностные графики, Q-Q и P-P графики• Индексы производительности, достоверности,устойчивости, с доверительными интерваламии описательными статистикамиC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Анализ надежности• Тесты с цензурированными данными,анализ моделей с множественнымиотказами, вероятностные графики и др. Анализ средств• Единичные и множественные переменныеотклика, расчет границ решения, p графики,u графики, box графики Планирование экспериментов• Полный и частичный дизайн,D-оптимальный and A-оптимальный дизайн• ADX интерфейс для планированияэксперимента, анализа, генерации отчетовSAS® ENTERPRISEИНСТРУМЕНТ DATA MININGMINER™ Современное, корпаративное, легкое виспользовании программное средствоинтеллектуального анализа данных Широкий набор средств подготовки иразведочного анализа дынных Набор эффективных алгоритмов построениямоделей прогнозирования, в том числепараллельных Интерактивные средства сравнений,тестирования и валидации моделей Автоматизированные средства примененияпостроенных моделей Открытая, расширяемая, гибкая архитектураC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS® ENTERPRISE ПРОЦЕСС РАЗРАБОТКИ МОДЕЛИ ИНТЕЛЛЕКТУАЛЬНОГОMINER™ АНАЛИЗА ДАННЫХSampleUtilityC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .ExploreModifyModelAssessSAS® FORECAST АВТОМАТИЧЕСКОЕ ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХSERVER РЯДОВ Корпоративная среда для прогнозированиявременных рядов с большим объемоминформации Позволяет бизнес пользователям использоватьвсе возможности аналитики SAS черезпользовательский интерфейс SAS® ForecastStudio Автоматический выбор наиболее подходящихмоделей и генерация прогноза Включает поддержку специальных календарей исобытий, связанных с бизнес процессомC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS® FORECASTВОЗМОЖНОСТИ И МЕТОДЫSERVER SAS® Forecast Studio•••••Идентификация источников данныхПоддержка иерархийИстория диагностикиВыбор и параметризация моделейГенерация прогноза Автоматический прогноз с заданнымуровнем автоматизации• Автоматический выбор событий ирегрессоров для моделей• Оптимизация параметров моделейC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Управление данным временных рядов Пользовательские иерархии Иерархический прогноз Правила поиска исключений и автоматическийпоиск выбросов Консоль управления событиями для заданныхтипов прецедентных и будущих событий Генерация кода для пакетной обработки Анализатор сценариев для проверки влияния«что-если» факторовSAS ® TEXTКОНЦЕПЦИЯANALYTICSSAS® Text AnalyticsОценка информацииОбнаружение закономерностейОрганизация новых документов иархивовАнализ коллекций документовSAS®EnterpriseContentCategorizationC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS®OntologyManagementSAS®SentimentAnalysisSAS® TextMiner™SAS® TEXT MINERВЫЯВЛЕНИЕ СМЫСЛОВЫХ ЗАВИСИМОСТЕЙ ВКОЛЛЕКЦИЯХ ТЕКСТОВ Богатый набор лингвистическихмоделей и средств Выявление знаний из текстовыхколлекций Разведочный анализ и визуализация Автоматический поиск ассоциацийтермов, групп тематик Включает пользовательские термины инастройки Структуризация текстовC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS® ENTERPRISEКАТЕГОРИЗАЦИЯ ДОКУМЕНТОВ ДЛЯ РЕЛЕВАНТНОГОCONTENTПОИСКАCATEGORIZATION Natural Language Processing и углубленнаялингвистика для автоматическойкатегоризации больших объемов текстов наразных языках Разбор и анализ описаний событий, созданиеметаданных для автоматизации процесса Совместное создание и управлениетаксономиями для фактов и событий Контролируемые правила длявключения/исключения документов дляанализа Значительное улучшение точностиинформационного поискаC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS®ОБНАРУЖЕНИЕ, АНАЛИЗ И ИНТЕРПРЕТАЦИЯSENTIMENTЭМОЦИОНАЛЬНОЙ ОКРАСКИ ВЫСКАЗЫВАНИЙANALYSIS Автоматически обнаруживает иинтерпретирует эмоциональную окраскувысказываний Отслеживает высказывания о целевомконцепте (событии, организации, бренде,продукте, услуге) Уникальный гибридный подход на основекомбинации статистических и лингвистическихметодов Редактирование, тестирование и улучшениемоделей Реализация множества моделей для анализа вреальном времениC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS®ONTOLOGY УПРАВЛЕНИЕ И АНАЛИЗ СЕМАНТИКИMANAGEMENT Анализ информации в различныхисточниках в корпорации и поискассоциации между ними Определение взаимосвязей для поискаответов на сложные вопросы Предоставление явной, консистентной,определенной процедуры управленияинформацией Сохранение данных о предметной областив архивах компанииC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS ® MODELЖИЗНЕННЫЙ ЦИКЛ АНАЛИТИЧЕСКОГО ПРОЦЕССАMANAGER Автоматизированный Контролируемый Воспроизводимый Управляемый Проверяемый Внедряемый Совместный и разделяемый Применение «внутри» СУБД РобастныйC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS ModelManagerSAS ® MODELMANAGER Центральный безопасный репозитарий дляорганизации моделей Шаблоны для регистрации моделей Проверка бизнес-логики применения моделейперед внедрением Интеграция с SAS® Scoring Accelerator дляприменения «внутри» СУБД Отчеты с оценками производительности исравнения моделей в течении всего жизненногоциклаC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SASУНИФИКАЦИЯ ИТИНФРАСТРУКТУРЫМОНИТОРИНГЭФФЕКТИВНОСТИBIG DATAПОСТАНОВКАПРОТОТИПОВМОДЕЛЕЙ НАРЕГЛАМЕНТ/ТЕСТИРОВАНИЕИЗВЛЕЧЕНИЕНОВЫХХАРАКТЕРИСТИК:ИЗ ТЕКСТА,ВЗАИМОСВЯЗЕЙУСКОРЕНИЕРАБОТЫ BDЛАБОРАТОРИИИ ТЕКУЩИХСИСТЕМАНАЛИТИЧЕСКОЕМОДЕЛИРОВАНИЕ/ПРОТОТИПЫC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .НОВЫЕИСТОЧНИКИДАННЫХ:ЗАГРУЗКА,ХРАНЕНИЕ,ОБРАБОТКАИНТЕРАКТИВНОЕИССЛЕДОВАНИЕДАННЫХ/ ПРОВЕРКАКЕЙСОВSAS BIG DATAТЕХНОЛОГИИSAS GridУНИФИКАЦИЯ ИТИНФРАСТРУКТУРЫSAS Visual AnalyticsНОВЫЕИСТОЧНИКИДАННЫХ:ЗАГРУЗКА,ХРАНЕНИЕ,ОБРАБОТКАМОНИТОРИНГЭФФЕКТИВНОСТИПОСТАНОВКАSAS Scoring Accelerator for Hadoop/ …SAS HPA:SAS High Performance Data MiningSAS High-Performance …ПРОТОТИПОВМОДЕЛЕЙ НАРЕГЛАМЕНТ/ТЕСТИРОВАНИЕИЗВЛЕЧЕНИЕДОПОЛНИТЕЛЬНЫХПОКАЗАТЕЛЕЙ:ИЗ ТЕКСТА,ВЗАИМОСВЯЗЕЙУСКОРЕНИЕРАБОТЫ BDЛАБОРАТОРИИИ ТЕКУЩИХСИСТЕМАНАЛИТИЧЕСКОЕМОДЕЛИРОВАНИЕ/ПРОТОТИПЫИНТЕРАКТИВНОЕИССЛЕДОВАНИЕДАННЫХ/ ПРОВЕРКАКЕЙСОВSAS Enterprise MinerSAS Factory MinerSAS Forecast Server, SAS/ORC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS Event Stream ProcessingSAS Access to Hadoop/ ImpalaSAS Data LoaderИз неструктурированных данных:SAS Text AnalyticsSAS High-Performance Text MiningИз взаимосвязей:SAS Customer Link AnalyticsSAS LASR Server:SAS Visual AnalyticsSAS Visual StatisticsSAS In-Memory Statistics for HadoopHADOOP КАК НОВЫЙ ИСТОЧНИК ДАННЫХData MartOperationalData SourcesData MartEDWC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .AnalyticMartAnalyticMartBI andAnalyticsУНИФИКАЦИЯ ИТИНФРАСТРУКТУРЫУправлениеБольшимиДанными.

С чегоначать?МОНИТОРИНГЭФФЕКТИВНОСТИПОСТАНОВКАПРОТОТИПОВМОДЕЛЕЙ НАРЕГЛАМЕНТ/ТЕСТИРОВАНИЕИЗВЛЕЧЕНИЕНОВЫХХАРАКТЕРИСТИК:ИЗ ТЕКСТА,ВЗАИМОСВЯЗЕЙУСКОРЕНИЕРАБОТЫ BDЛАБОРАТОРИИИ ТЕКУЩИХСИСТЕМSAS Event Stream ProcessingSAS Access to Hadoop/ ImpalaSAS Data LoaderC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .