Лекция 0. Аналитическое ПО SAS и его применение в BIG DATA (Лекции 2015)

АНАЛИТИЧЕСКОЕ ПО SAS И ЕГОПРИМЕНЕНИЕ В BIG DATAC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .OPEN SOURCE ИЛИ SAS…Какой язык и среда программирования использовалась аналитиками для анализа больших данных в2014 году?SAS: 76% роста с 20.8% в 2013 до36.4% в 2014C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .КОМПАНИЯ SAS ЛИДЕР В ОБЛАСТИ АНАЛИТИКИ 39 лет на рынке (с 1976 г.) Более 13 000 сотрудников в 400офисах SAS в 56 странах Клиенты SAS - более 70 тысячорганизаций в 140 странах мира. 93 компании из top 100 списка«2014 FORTUNE Global 500®». SAS занимает более 36% рынкааналитического ПОИнвестиции в R&D> 20 %C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .КОМПАНИЯ SASВ РОССИИ И СНÕ России и странах СНГ компания SAS начала работу в 1996 году•Полный спектр решений и услуг в области бизнес-аналитики:•Консалтинг, внедрение, обучение, техническая поддержка•120 сотрудников и стажерыКрупнейшие клиенты SAS в России и СНГ:••Все ведущие банки, включая топ 10 крупнейших российских банков (Альфабанк, ЮниКредит банк, Райффайзенбанк, Ситибанк, GE Consumer Finance,Банк «Возрождение», Банк «Тинькофф Кредитные Системы», РайффайзенБанк Аваль, Приватбанк, Укрсиббанк, Банк Форум, Кредитпромбанк и др.)•Многие ведущие транспортные компании, включая РЖД и «Аэрофлот»•Крупнейшие компании из телекоммуникационного и топливно-энергетического сектора•Государственные организации: ЦБ РФ, ФТС, Налоговый Комитет РеспубликиКазахстан и другиеC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .КОМПАНИЯ SAS ЦЕЛЕВЫЕ ОТРАСЛИ••••••••••••AutomotiveBankingCapital MarketsCasinosCommunicationsConsumer GoodsDefense & SecurityGovernmentHealth Care ProvidersHealth InsuranceHigh-Tech ManufacturingHigher EducationC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .••••••••••••HotelsInsuranceK-12 EducationLife SciencesManufacturingMediaOil & GasRetailSmall & Midsize BusinessSportsTravel & TransportationUtilitiesКОМПАНИЯ SAS BUSINESS ANALYTICS FRAMEWORKDataIntegrationDataMiningForecastingSAS BASEReportingOptimizationDashboardsC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .ПРОГРАММНЫЕSAS ANALYTICSПРОДУКТЫC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS ANALYTICS ДОСТОИНСТВА Исходные данные. Обработка больших объемов данных сложной структуры из разных источников. Глубина.

Реализованы самые современные методы анализа, которые постоянно совершенствуются, чтобысоответствовать самым последним достижениям. Широта. Совокупность методов: Статистический анализ, визуализация и интеллектуальный анализа данных Временные ряды, прогноз, эконометрика Контроль и улучшение качества Исследование операций Имитационное моделирование Анализ текстовых данных Открытость.Поддержка множества парадигм, основаных на многих дисциплинах, чтобы наилучшим образомформулировать и решать аналитические задачи. Наглядность. Поддерживается много графических методов визуального исследования данных, поискавзаимосвязей и неочевидных зависимостей для улучшения поддержки принятия решений. Воспроизводилось. Генерируемый код удовлетворяет большинству корпоративных и государственныхтребований к воспроизводимости и верифицируемости. Независимость.

Работает на многих платформах.C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .Analysis of VarianceStatistical Process ControlCategorical Data AnalysisSocial Network AnalysisForecastingR IntegrationStatistical AnalysisSpectral AnalysisNonlinear ProgrammingProcess Capability AnalysisSentiment AnalysisDesign of ExperimentsCluster AnalysisData VisualizationMatrix ProgrammingScoring AccelerationBayesianEnsemble ModelsText AnalyticsSurvey Data AnalysisGenetic AlgorithmsOperations ResearchConstraint ProgrammingInterior-Point ModelsDiscrete Event SimulationAutomated ScoringMultivariate AnalysisQuality ImprovementSimulationRandom ForrestsContent CategorizationOntology ManagementModel ManagementLarge-Scale ForecastingC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .D-OptimalInformation TheoryContent CategorizationOntology ManagementARIMA ModelsSurvival AnalysisMixed ModelsStudy PlanningAnalysis of MeansTime Series AnalysisSample Size ComputationsHigh Performance ForecastingStatisticsPredictive AnalyticsPredictiveModelingX11 & X12 ModelsData MiningMultinomical Discrete ChoiceAssociation & Sequence AnalysisEconometricsPsychometric AnalysisText MiningGradient Boosting MachinesVector Autoregressive ModelsDecision TreesDescriptive ModelingLinear ProgrammingInteractive Matrix ProgrammingNonparametric AnalysisNeural NetworksReliability AnalysisNetwork Flow ModelsDiscrete Event SimulationMixed-Integer ProgrammingExploratory Data AnalysisSchedulingFractional FactorialRegressionSAS ANALYTICS ПОДХОДВыявлениезависимостейПостроениемоделейВнедрениемоделейAutomatedОперационнаяIn-DatabaseактивностьReal TimeEmbedded in Applications2.

Тестирование3. ВнедрениеInputs1. РазработкаC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .4. Контроль5. ИзъятиеSAS/STAT® БАЗА ДЛЯ SAS® ANALYTICS Дисперсионный анализ Кластерный анализ Смешанные модели Непараметрические методы Регрессия Разведочный анализ данных Анализ категориальныхданных Подстановка пропущенныхзначение Байесовские методы Планирование эксперимента Многомерный статистическийанализ Статистический вывод Анализ выживаемости Многомерное шкалированиеC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS/IML® INTERACTIVE MATRIX PROGRAMMING Полный набор операций матричнойалгебры Интерактивный анализ данных: Разведочный анализ данных Управляющие конструкции Анализ распределений Линейная алгебра и статистические Параметрическая и непараметрическаяфункции Временные ряды Численные методы Возможность совмещать разные языки водной среде программирования (в томчисле R)C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .регрессия Многомерный статистический анализЭКОНОМЕТРИКА ИПРОГНОЗИРОВАНИЕSAS/ETS® Интеграция методов анализа временных рядов,эконометрики, прогнозирования и имитационногомоделирования бизнес процессов. Анализ влияния рекламных акций, оценка ихэффективности для оптимизации маркетинговыхкомпаний. Прогноз потребления и эффективноераспределение ресурсов для производства,оборудования и управления персоналом. Моделирование поведения клиентов длямаксимизации эффективности маркетинговыхкомпаний и понимания влияния характеристикклиентов на процесс выбора товаров и услуг.C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS/ETS®МЕТОДЫ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ ИЭКОНОМЕТРИКИ Методы прогнозирования временных рядов Эконометрический анализ• Выявление трендов, в том числе сезонных• Построение и анализ совместных линейных инелинейных регрессионных моделей• Экспоненциальное сглаживание• Анализ многомерного дискретного выбора• Винтеровские методы (аддитивные имультипликативные)• «Что-если» анализ• ARIMA• Методы Монте-Карло• Методы на основе латентных состояний• Многомерные временные ряды• Динамическая регрессия• Регрессии с коррелированными иавтокоррелированными ошибками• Автоматическое выявление выбросов и исключений Подготовка и управление данными• Декомпозиция временных рядов Финансовый анализ Доступ к ряду коммерческих и правительственныхинформационных баз данных• FAME, DRI, Standard & Poor’s (COMPUSTAT), HaverAnalytics, и CRSP, Bureau of Economic Analysis, Bureau ofLabor Statistics, International Monetary Fund …C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .

A l l r i g h t s r es er v e d .SAS/OR® ИССЛЕДОВАНИЕ ОПЕРАЦИЙ Широкий спектр методов исследования операцийи методов оптимизации. Интерактивное построение моделей,определение переменных и ограничений. Эксперименты с эффектами от измененияанализируемых данных. Простая индикация где и как используются вмодели входные данные. Быстрые методы поиска решений для задачбольшой размерности.C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS/OR® ОПТИМИЗАЦИЯ Математическая оптимизация Алгебраическая, символьная, дискретная оптимизация. Единый язык представления линейных, целочисленных, смешенных,нелинейных, и квадратичных задач оптимизации. Мощные алгоритмы решения задач условной и безусловной оптимизации. Генетические алгоритмы Дискретное событийное имитационное моделирование Мат.

методы управление проектами и ресурсами Расчет критических путей и цепей Методы освоенного объема Анализ решенийC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .SAS/QC® АНАЛИЗ КАЧЕСТВА ПРОЦЕССОВ Позволяет улучшать качество продукции, оптимизировать процессы Идентификация источников проблем с использованием методов статистическогоанализа Широкий набор средств идентификации и описания источников вариации процессов Средства планирования эксперимента и анализаэкспериментальных результатов. Предоставление корпоративного представленияпроцессов улучшения качества Обработка больших объемов данных отразличных процессовC op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c .