Лекция (1)

Введение в методыинтеллектуального анализаданных (Data Mining)к.ф.-м.н. М.И. Петровский (michael@cs.msu.su), SAS Certified Data Scientistлаборатория «Технологий программирования»ВМиК МГУ им. М.В. ЛомоносоваЗадачи курсаПознакомить с предметной областью:Рассмотреть основные задачи Data Mining:дать основные определения и терминологию, обсудитьприкладные задачии популярные алгоритмы на основе методов машинногообучения для их решенияменьше теорем, больше алгоритмов и понимания как ихнастраивать и использоватьДать практический опыт работы с промышленнымисистемами Data mining:Практические задания в SAS Enterprise Miner (не всерассматриваемые в курсе алгоритмы есть в Enterprise Miner)Содержание курса (1/3)1.2.ВведениеВыявление структур в данных (обучения безучителя)Поиск ассоциативных правил (алгоритмы apriori иfp-tree) и тематическое моделирование (методыглавных компонент, неотрицательная матричнаяфакторизация)Кластеризация (иерархическая, метрическая,вероятностная)Содержание курса (2/3)3.Задача прогнозирования (обучение сучителем)Виды задач прогнозирования, проблемапереобучения, оценка и сравнение моделей,простейшие методы прогнозирования (kNN иNaïve Bayes)Методы на основе деревьев решений и ихансамблейРегрессионные модели (отбор и преобразованиепространства признаков, регуляризация,обобщенные линейные модели)Содержание курса (3/3)3.Задача прогнозирования (обучение сучителем)4.Нейронные сети (MLP, RBF, борьба спереобучением, SOM, задачи глубинногообучения)Методы опорных векторов для задачклассификации и регрессииВыявление аномалийВСЕГО 9 ЛЕКЦИЙ и ПРАКТИЧЕСКИЕ ЗАДАНИЯ!!!Итог = практические задания + посещаемость + экзаменЭволюция технологий хранения иобработки данных… — 1960-е:1960-е:Первые СУБД, иерархические, сетевые и т.д.1970-е:Файлы и файловые архивыРеляционная модель данных, реляционные СУБД1980-е:«Продвинутые» СУБД (объектно-реляционные и объектные,«расширенные» реляционные, дедуктивные и др.)«Специализированные» СУБД (гео-,научные, инженерные и др.)1990-е — …:Мультимедийные БД, WWW, хранилища,витрины данных,OLAP, Data MiningАктуальность и необходимостьинтеллектуального анализа данных (ИАД)Проблема больших объемов («Data explosion»):Средства автоматического сбора данных, повсеместное внедрениеСУБД, электронный документооборот, WWW, мультимедийныеархивы и т.д.

приводят к росту объемов и усложнению структурыхранимой информации.Традиционные средства не справляются:Информационный поиск и стат. анализ не везде помогают – многоданных, сложная структура и нужно знать точно, что искать.Вывод: много данных, но мало информации для аналитика.Необходимо:Наличие программных средств автоматизированного анализаданных большого объема и сложной структуры.Интеллектуальный анализ данных(Data Mining)АналитикНайденныезакономерности(модели)ХранилищеданныхБД и др.источникиПроверка,интерпретация ивизуализациярезультатовИнтеллектуальныйанализ данных(Data Mining)Объединение ипредобработкаданныхСистемы интеллектуального анализа данных (ИАД) – класс программных системподдержки принятия решений, задачей которых является поиск скрытых, ранеенеизвестных, содержательных и потенциально полезных закономерностей вбольших объемах разнородных, сложно структурированных данных.Han J., Kamber M.

Data Mining: Concepts and Techniques // Morgan Kaufmann, 2000Краткая история ИАД1989 IJCAI Workshop on Knowledge Discovery in Databases(Piatetsky-Shapiro)1991-1994 Workshops on Knowledge Discovery in DatabasesKnowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. PiatetskyShapiro, P. Smyth, and R. Uthurusamy, 1996)1995-1998 International Conferences on Knowledge Discovery inDatabases and Data Mining (KDD’95-98)Journal of Data Mining and Knowledge Discovery (1997)1998 ACM SIGKDD, SIGKDD’1999-2001 conferences, and SIGKDDExplorationsДругие конференции по data miningPAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, etc.Место Data mining среди современныхподходов анализа данных?***Обратите внимание на пересечения областей!Кто такой Data Scientist?«три в одном»:1.2.3.Понимает прикладную предметную область, в которойстроит модель, а в идеале является экспертом в этойобластиВладеет математическим аппаратом прикладнойстатистики и машинного обучения, знает много алгоритмови методов анализа данных, умеет их настраивать, а видеале может разрабатывать собственныеЯвляется программистом и специалистом по системамхранения данных (в том числе Big Data), может писать коддля эффективной выборки и обработки больших объемовсложно структурированных данных, а в идеале может сампроектировать хранилища и программировать методыанализа данныхРаньше это было три разных человека, с разным образованием, но сейчаспоняли что это не эффективно и надо объединять!!!Процесс ИАД (1)Анализ предметной области:выявление и формулировка необходимых априорных знаний опредметной области, целей анализа, задач приложения,сценариев использованияФормирование и подготовка данных для анализа:поиск (или выбор) «сырых» данных, возможно, реализацияподсистемы сбора (консолидации)предобработка данных (нормализация, дискретизация,обработка пропущенных значений, удаление артефактов,проверка консистентности)уменьшение размерности, выбор значимых характеристик,расчет интегральных показателей и инвариантовОпределение типа решаемой задачи анализа:классификация, прогнозирование, кластеризация, поискисключений, ассоциативный анализ и т.д.Процесс ИАД (2)Выбор (или разработка) алгоритма анализа: определение ограничений и требований к алгоритму поточности, размеру, интерпретируемости, скорости построения иприменения получаемых моделей, по типу исходных данныхНепосредственно «Data mining»: применение выбранного алгоритма анализа для поисказакономерностей выбранного типа и построение моделейПроверка моделей и представление результатов анализа: визуализация, преобразование, удаление избыточности, оценкаточности, достоверности моделей и т.д.Применение построенных моделей: Descriptive data mining - информирование аналитика,«описательные» модели, основная цель – визуализация Predictive data mining – прогнозирование неизвестных значенийили характеристик в «новых» данных с помощью построенныхмоделей , основная цель – прогнозМесто ИАД в процессе поддержкипринятия решенийПринятиерешениийЛПРПредставлениерезультатов анализаData mining:выявление зависимостей,обнаружение аномалий, прогнозАналитикСтат.

анализ, отчеты, запросы к хранилищуХранилища и витрины данных, OLAPрасчет интегральных показателейИсточники данныхДокументы, файлы, отчеты, базы данных событийОператорОсновные типы исходных данныхТранзакционные Объекты анализа – «события» различной структуры с числовыми икатегориальными атрибутами и с временной меткойТабличные Объекты анализа представлены в виде реляционных таблиц,возможно взаимосвязанных (заданно ER-схемой), имеютразнотипные атрибутыВременные ряды и числовые данные большого объема Обработка результатов наблюдений, научных экспериментов,характеристик технологических процессовЭлектронные тексты на естественном языке анализ содержимого документовГрафовые данные Анализ взаимосвязей (SNA)Специализированные данные Мультимедия, геоданные, ДНК, программный код и многое другоеДанные для анализаОбъект анализа (или прецедент, или кейс, или наблюдение, …)задается набором признаков (или атрибутов, или свойств, …)Признаки по типам бывают:Категориальные - нет расстояний, не задан порядок Ординальные (порядковые) – нет расстояний Числовые – есть расстояние«Размеченный» набор данных – для каждого объекта выделенодин или более признаков, которые могут быть неизвестны икоторые нужно предсказывать, тогда задача обучения «сучителем», иначе «без учителя» («неразмеченный» наборданных):«Выходные» признаки - нужно предсказывать (они же отклики, или«зависимые переменные», или …) «Входные» признаки, которые считаются всегда известными (они жевходы, или «независимые переменные», или регрессоры, …)Обучение «с учителем» и «без»аномалии тоже разные?Методы анализаТехнологииБДМашинноеобучениеТеорияинформацииСтатистикаи теор.

вер.Data MiningВизуализацияДругиедисциплиныЗадачи ИАД = типы выявляемых закономерностейКлассификация («Обучение с учителем»)Ранжирование («Обучение с учителем»)Выявление зависимостей между атрибутами в виде правил илианалитических зависимостей, выявление скрытых свойств объектовКластеризация («Обучение без учителя»)На основании известных значений атрибутов анализируемого объектаопределяются значения неизвестных атрибутовАссоциации («Обучение без учителя»)Оценка степени соответствия объектов одной или более заранееопределенным категориямПрогнозирование («Обучение с учителем»)Отнесение объектов к заранее определенным категориямВыделение компактных подгрупп «похожих» объектовВыявление исключений («Обучение с учителем и без»)Поиск объектов, которые своими характеристиками значительноотличаются от остальныхКлассификацияДано:Цель:«размеченный» тренировочный набор – для каждогообъекта известен его классПостроить классификатор – функцию или алгоритм, которыйв зависимости от свойств объекта предсказывает его классПриложения:Компьютерная безопасностьПроизводство- прогнозирование качества изделийРаспознавание образовРанжированиеДано:Цель:«размеченный» тренировочный набор – для каждого объектаизвестен его класс или несколько не взаимоисключающих классовПостроить функцию или алгоритм ранжирования, который взависимости от свойств объекта вычисляет степень егосоответствия классамРезультат ранжирования: в рамках каждого класса можноупорядочить объекты по степени соответствия данному классу, инаоборот, в рамках каждого объекта можно упорядочить классы постепени соответствия данному объектуПриложения:Документооборот и информационный поиск - рубрикациядокументов Кредитование - оценка заемщика Рекомендательные системыПрогнозированиеДано:Цель:«размеченный» тренировочный набор – для каждогообъекта известно значение некой числовой величины,которое необходимо спрогнозироватьПостроить функцию, которая в зависимости от свойствобъекта предсказывает значение данной величиныПриложения:Финансы - прогноз курсов валют, цен на нефть и др., оценкаожидаемых доходов или убытков предприятияМаркетинг – прогнозирование числа новых клиентов илиубыли старыхПрогноз электропотребленияПоиск ассоциацийДано:Цель:«не размеченный» тренировочный набор – для каждогообъекта известны только значения его свойств (атрибутов)Найти зависимости между значениями атрибутов в видеправил «если … то …»Найти аналитические зависимости между атрибутами ивыявить скрытые признаки и характеристикиПриложения:Маркетинг и рекомендательные системы - анализзависимостей между покупаемыми товарами или услугамиФинансовый анализ – поиск зависимостей междузначениями индексов и другими финансовыми параметрамиЛатентно-семантический анализ текстовКластеризацияДано:Цель:«не размеченный» тренировочный набор – для каждогообъекта известны только значения его свойств (атрибутов)Найти «непохожие» группы «похожих» объектовПриложения:Маркетинг – сегментация клиентов, товаров и т.д.Производство – выявление типовых состояний и ситуацийИндексирование документовВыявление исключенийДано:Цель:тренировочный набор («размеченный» или нет) – длякаждого объекта известны значения его свойствПостроить модель и найти наиболее «не типичные» объектыПриложения:Безопасность – подозрительные финансовые транзакции,звонки, люди, организацииПроизводство – выявление нештатных ситуацийМедицина – диагностикаОтличия ИАД систем (1)Наличие «обучения» база знаний формируются на основе анализируемыхданных, а не экспертных знаний (в отличие от традиционныхэкспертных систем и систем информационного поиска) структура модели и искомые зависимости заранее неизвестны (в отличие от статистических пакетов,ориентированных на расчет статистик, проверку гипотез иоценку параметров распределений)Отличия ИАД систем (2)Наличие большого объема данных сложной структуры зачастую скорость работы алгоритмов в ИАД важнееотклонений по точности (“quick and dirty solution”) большинство алгоритмов работают с исходными данными ввиде числовой матрицы признаков, сложная структурареальных объектов в ИАД приводит к необходимостирешать задачу построения пространства характеристик иотображения в него свойств исходных объектов перечисленные особенности отличают ИАД системы оттрадиционных систем машинного обучения, в которых, какправило, решается обратная задача – построениедостоверной модели в условиях малой обучающей выборкиОтличия ИАД систем (3)Наличие человека - аналитика как оконечного потребителярезультатов работы ИАД системы в сценарии работы любой системы ИАД всегда присутствуетаналитик, даже если полученная в результате модель далееиспользуется для автоматической классификации аналитик формирует тренировочные наборы, производитнастройку алгоритмов, обучение и дообучение, анализируетполученные модели и принимает решения об ихдальнейшем использовании таким образом, системы автоматической классификации,кластеризации и распознавания образов, дажеиспользующие возможность дообучения, не являютсясистемами ИАДЛитератураhttp://www-stat.stanford.edu/~tibs/ElemStatLearnSAS Enterprise MinerПрограммный продукт компании SAS Institute Inc.,Cary, NC, USA,Реализует ИАД процесс в соответствии с концепциейSEMMA и обладает следующими характеристиками:Удобный GUI, позволяющий начать работать с «0», в том числе«бизнес-пользователю»Возможность создавать и обрабатывать в фоновом режимепакеты задачМощные средства предобработки, агрегации и «разведочногоанализа» данныхСовременные алгоритмы прогнозного и описательногоинтеллектуального анализа данных (многие из них запатентованные разработки SAS)SAS Enterprise Minerхарактеристики:Развитые бизнесс-ориентированные средства сравнения ивыбора моделей, построения отчетов, управления моделями,встроенные возможности поддержки принятия решенийАвтоматизированный процесс применения моделей «внутри»продукта и «вне» («генерация» кода, реализующего ИАДпроцесс)«Открытая» расширяемая архитектура (возможно встраиваниесвоего кода)Масштабируемые вычисления (пока для части методов)Богатый набор встроенных прикладных решений (не входит встандартный пакет)OnDemand Solution«Облачная» модель:Хостится, управляется и конфигурируется SASПользователь ставит только Java клиентПолные функциональные возможности по сравнению состандартной версиейДоступен «все время» «отовсюду»Есть возможность загружать свои данные для анализа и«разделять» результаты работыSAS OnDemandfor AcademicsРЕГИСТРИАЦИЯ И УСТАНОВКА ПОStep 1: Зарегистрируйте SAS профайл и получите AcademicUser id https://odamid.oda.sas.com/SASODARegistration/Детальные инструкции:http://support.sas.com/software/products/ondemandacademics/manuals/EnterpriseMinerStudent.pdfSAS OnDemandfor AcademicsРЕГИСТРАЦИЯ И УСТАНОВКА ПОStep 2: Подпишитесь на курс по ссылке:https://odamid.oda.sas.com/SASODAControlCenter/enroll.html?enroll=b38d6f0b-0442-469f-b8a5-9d2dc8b94775Инструкции: http://support.sas.com/software/products/ondemandacademics/manuals/EnterpriseMinerStudent.pdfSAS OnDemand РЕГИСТРАЦИЯ И УСТАНОВКА ПОfor Academics Step 3: Скачайте SAS Enterprise MinerИнструкции:http://support.sas.com/software/products/ondemandacademics/manuals/EnterpriseMinerStudent.pdfSAS OnDemandfor AcademicsРЕГИСТРАЦИЯ И УСТАНОВКАStep 4: Вход в SAS Enterprise MinerИнструкции:http://support.sas.com/software/products/ondemandacademics/manuals/EnterpriseMinerStudent.pdfSAS Enterprise MinerОдна сессия – один рабочий проектОсновные сущности data miningпроектаProjectsLibrariesandDiagramsProcessFlowsDatasourcesMy LibraryReportsEMWSSystemEMWS1IDsPart……Workspacesem_dgraphNodesПодключение источника данных1.2.SASFoundationServerLibrariesСоздать библиотеку (File->new->library):•Связать с файловой директорией, где лежатнаборы данных в формате SAS•Связать с соединением с БД, с хранилищемили с Name узлом Hive сервисом в Hadoop•Двойное имя всех источников<libname>.<dataset>Создать набор данных и определить метаданные:•Роли переменных (ID, Input, Target и другие)•Типы переменных (Interval, Ordinal, Nominal)•Определить роль источника (Raw,Train/Test/Validate/Score, Transaction)SAS Enterprise Miner – ОбзоринтерфейсаMenu bar and shortcut buttonsSAS Enterprise Miner – ОбзоринтерфейсаProject panelБыстрая навигация и управление источникамиданных, рабочими диаграммами пакетамимоделейSAS Enterprise Miner – ОбзоринтерфейсаProperties panelСвойства и настройки всех компонентов проекта(узлов, связей, источников данных)SAS Enterprise Miner – ОбзоринтерфейсаHelp panelКонтекстная помощь для всех компонент проекта(узлов, связей, источников данных) и значенийнастроекSAS Enterprise Miner – ОбзоринтерфейсаDiagram workspaceОсновная рабочая область, их может быть много,содержит один или несколько блоковвзаимосвязанных компонентSAS Enterprise Miner – ОбзоринтерфейсаProcess flowКаждый блок компонент – отдельный иад процесс:Узел – алгоритм обработки данныхСтрелка – путь движения набора данныхSAS Enterprise Miner – ОбзоринтерфейсаNodeС каждым узлом неявно связано две программы (по сути первая генерируетвторую):Первая строит модель, используя входной тренировочный набор (меню “Run”)Вторая применяет построенную модель ко всем входным наборам данныхSAS Enterprise Miner – ОбзоринтерфейсаТехнически результатом применения модели можетбыть:Журнал работы узла (есть всегда)Дописывание переменных (например с результатомпрогноза или номером кластера) во все входящие наборыданныхСоздание новых наборов данных (например с параметрамимодели или со статистикой)Визуализация модели, статистики ее применения или простопостроение интерактивных графиковИзменение метаданных обрабатываемых наборовSAS Enterprise Miner – ОбзоринтерфейсаSEMMA tools paletteКонцепция SEMMASample (Выборка данных)Explore (Исследование данных)Алгоритмы преобразования данных, включая алгоритмыуменьшения размерности, выбора значимых признаков и т.д.Model (Построение моделей)Разведочный анализ данных, включает ряд алгоритмов «обучениябез учителя» и богатые средства визуализацииModify (Преобразование данных)Создание наборов данных для анализа из источников «сырых»данных (только выбирает, не создает новых значений и невидоизменяет данные)Построение моделей прогнозированияAssess (Оценка моделей)Выбор и сравнение моделейОсновные узлы SAS Enterprise MinerSAMPLEAppendAssociationEXPLOREClusterMODIFYDropDataPartitionGraphExploreImputeFileImportVariableClusteringDMDBMultiPlotMarket BasketLink AnalysisStatExplorePath AnalysisPrincipalComponentsInteractiveBinningTSIncremental SurvivalCreditResponse Analysis Scoring** CorrelationHP ExploreHP ImputeASSESSCutoffUTILITYControlPointTS DataPrepHPHPHP VariableRegression Transform SelectionDecisionsModelComparisonEnd Groups Open SourceStart Groups IntegrationRuleInductionTS DimensionReductionHP NeuralHP ForestScoreSegment ProfileReporterScore CodeExportGradientBoostingTSDecomp.HP DecisionTreeMetadataVariableSelectionLARSTwo StageMBRModel ImportTSSimilarityHP DataPartitionSAS CodeExt DemoSOM/KohonenTransformVariablesRulesBuilderReplacementDM NeuralAutoNeuralNeural Partial Least DmineDecisionNetworkSquares RegressionTreeRegressionEnsembleMODELInputDataSampleMergeFilterHP GLMHP SVMSaveDataTS ExponentialSmoothingHP PrincipalHPCluster ComponentsRegisterMetadataHP узлы (терминология)ApplianceКластер с высокопроизводительнымхранилищем (чаще всего не на SAS)Access EngineМногопоточная библиотека доступа к даным(может параллельно читать и писатьраспределенные наборы данных, в томчисле в HDFS)Threaded Kernel(TK) ExtensionsМеханизм распределенных вычислений дляSMP и MMP платформ (нити, MPI,MapRedcue)HPDM nodesВысокопроизводительные параллельныеалгоритмы, использующие TK дляраспределенных вычислений.