!digital-transformation (846914), страница 22
Текст из файла (страница 22)
Компаниям, занятым оценками рынка, ассоциированного с технологиями Big Data, приходитсяуточнять это понятие. В частности, компания IDC, которая публикуетданные о рынке Big Data, предлагает свою схему определения критерия принадлежности того или иного проекта к категории «большихданных» (см. рис. 2.26).Данные поступаютиз одного или болееисточников в одномили более форматахи/илиОбъем накопленныхданных превышает100Тбайти/илиДанные поступаютчерез высокоскоростную потоковуюпередачуРазворачиваютсяна динамическиадаптируемойинфраструктуреиАнализируетсяна базе пакетнойи/или параллельнойобработкииИнформация,ценная для бизнеса,постоянно извлекаетсяи используетсяи/илиОбъем генерируемыхданных растет соскоростью более60% в годДанныеИнфраструктураПриложенияЗначение для бизнесаРис.
2.26. Методика отнесения ИТ-проекта к Big Data.Источник: IDCIDC приводит численные значения для параметров 3V. Параметр«объем» фиксируется на уровне 100 Тбайт. При таком объеме, дажеесли речь идет о структурированных данных, проект может бытьотнесен к категории Big Data. Фиксируется также скорость захватаи обработки данных (получение данных путем высокоскоростной потоковой передачи со скоростью более 60 Гбит/с), а также скоростьнакопления в организации данных, подлежащих анализу (объем хранилища данных растет в компании со скоростью более 60% в год).При этом IDC отмечает, что перечисленные требования не обязательно выполняются одновременно, а, кроме того, количественные123Цифровая трансформация: анализ, тренды, мировой опытзначения соответствуют текущему моменту и через год-два могутбыть пересмотрены.Определяя характер инфраструктуры в проектах Big Data, IDCотмечает, что решение разворачивается на базе динамическиадаптируемой инфраструктуры, и не указывает четко, используетсяли распределенная модель горизонтального или вертикального масштабирования, — в качестве определяющего фактора выдвигаетсятакой параметр, как обеспечение вычислительных ресурсов и памяти по мере необходимости.
Иными словами, возможно множествокомбинаций ПО, аппаратного обеспечения и сервисов, посредствомкоторых реализуются успешные решения по анализу «больших данных». Кстати, уточняя понятие Big Data, IDC добавило еще одно V —Value (ценность), подчеркивая, что технологии Big Data позволяютвнедрить более экономически выгодное решение и получить болееценное для бизнеса решение.Очевидно, что успешность Big Data проекта определяется нетолько технологическими, но и организационными мерами.
А отдача от проекта по внедрению Big Data наступает не сразу. Здесь мывновь приходим к уже не раз упомянутой S-образной кривой. Преждечем внедрить проект Big Data, компания, как правило, должна сначала пройти исследовательский период, который требует затрат и неимеет отдачи. Согласно IDC отдача от проектов в области Big Data(или их ценность) может быть выражена кривой «зрелости» (рис.2.27). Эта кривая демонстрирует несколько стадий развития. Перваястадия — «спорадическая», когда внедряется пилотный проект илипроект, призванный осуществить проверку некоторой концепции (это,как правило, инициативные проекты без целевого финансирования).Этот этап требует значительных усилий, но отдача на нем невелика.«Ситуационно обусловленная» стадия подразумевает, что проект выполняется для решения задач на уровне отдельных департаментов,продиктован ситуационными потребностями и не подкреплен долгосрочной стратегией.
Стадия «Повторяемая» наступает, когда появляются бюджетные ассигнования и документированная стратегия,подразумевающая повторяющиеся проекты. «Управляемая» стадияподразумевает кросс-департаментную стратегию, бюджет на уровнепредприятия и, наконец, «оптимизированная» стадия, которая подразумевает измерение ROI на уровне предприятия, оптимизациюрешения с точки зрения аппаратной и программной платформы, на124Глава 2. Новые технологии, определяющие цифровую трансформациюличие всех необходимых типов специалистов из числа аналитикови ИТ-специалистов.На этапах 1–2 (рис.
2.27) рост ценности для бизнеса идет медленнее, чем на этапах 2–3, когда появляется бюджетное финансирование и стратегия повторяемых проектов, на этапах 4–5 наступаетнасыщение, и рост опять замедляется.5. ОптимизированнаяЦенностьБюджет на уровнепредприятия4. УправляемаяБюджет на уровнедепартамента3. ПовторяемаяВнебюджетноефинансирование2. Ситуационно обусловленная1.
СпорадическаяРис. 2.27. Этапы зрелости аналитики «больших данных».Источник: IDCВ некоторых источниках задачи класса Big Data связывают исключительно с решениями в области бизнес-аналитики (см. рис. 2.28).Многомерныетаблицы1997Решения,СтатистическаяБольшие, слабооснованныеи математическая структурированныена данныханалитикаданныеи инструментыотчетности20002010н.в.Рис. 2.28.
Big Data как этап эволюции задач бизнес аналитики125Цифровая трансформация: анализ, тренды, мировой опытОднако решения по поддержке распределенной инфраструктуры онлайнового магазина, имеющего миллионы посетителей и сотнимиллионов транзакций, или социальной сети, в которой пользователизагружают ежедневно миллионы изображений и видео, или платформы для поддержки игровых приложений, рассчитанных на миллионыпользователей, напрямую не относятся к задачам бизнес-аналитики,но требуют технологий класса Big Data.Уточнение понятия Big Data можно дать, если рассматриватьвесь стек технологий, которые обеспечивают решение этого класса.В основе лежит ИКТ-инфраструктура, далее следует слой организации и управления Big Data, затем уровень аналитической обработки«больших данных» и выявления закономерностей и, наконец, уровень приложений для поддержки принятия решений (см.
рис. 2.29).Системы поддержки принятиярешений с интерфейсомдля пользователяСистемы аналитическойобработки и выявлениязакономерностейСистемы организациии управления даннымиИТ-инфраструктураРис. 2.29. Стек технологий Big DataИТ-инфраструктура для задач класса Big Data все чаще строится набазе стандартных серверов, сетей, СХД, гипервизоров и кластерного ПО,что позволяет удешевить решение. Технологии организации и управления данными представляют собой ПО, которое обрабатывает и готовитвсе виды структурированных и неструктурированных данных для анализа.
Эти приложения отвечают за извлечение, очистку, нормализациюи интеграцию данных. Они включают SQL и NoSQL-решения. ПО дляаналитической обработки Big Data — это приложения для офлайновойили онлайновой обработки по запросу, средства выявления закономерностей в данных, приложения для различных вертикальных отраслей.126Глава 2. Новые технологии, определяющие цифровую трансформациюСредства поддержки принятия решений включают ПО автоматизации управленческих решений в режиме реального времени длявыполнения действий, предписанных заранее разработанными политиками, как, например, в случае предотвращения вреда от мошенничества, оптимизации торговли ценными бумагами, оптимизациицен на авиабилеты и т. п. Второй тип ПО — это анализ по запросу,включающий выявление закономерностей в данных, прогнозирование некоторых событий и принятие решений.Рост объема данных — рост спроса на Big DataВозвращаясь к временной шкале развития Big Data (рис. 2.23),следует отметить, что, по мере роста массовости проектов, в том числе ориентированных на социальные сети и на мобильные решения,по мере накопления корпорациями все больших объемов данных,потребности в технологиях Big Data росли.
При этом доля накапливаемых неструктурированных данных постоянно увеличивалась (см.рис. 2.30). Примерно на границе 2013 и 2014 годов объем накопленных неструктурированных данных превысил объем структурируемыхданных, и далее это соотношение резко увеличивается в сторонуструктурированных данных.120Экзабайты100806040Неструктурированныеданные20Структурированные данные200920102011201220132014201520162017Рис. 2.30.
Динамика роста объема структурированныхи неструктурированных данных.Источник: IDC127Цифровая трансформация: анализ, тренды, мировой опытСогласно прогнозам исследовательской компании IDC, в 2025 годучеловечество будет генерировать 163 зеттабайт (или 163 трлн гигабайт) данных, включая их дублирование. То есть объем данных вырастет на порядок по сравнению с годовым показателем 2017 года.К 2025 году до 60% мировых данных будут использоваться дляуправления предприятиями и почти 20% данных будут относиться к категории критически важных с точки зрения поддержки систем обеспечения жизнедеятельности человека.
При этом более четверти всех создаваемых данных будет генерироваться в режиме реального времени.Объем хранимых данных, конечно, гораздо меньше генерируемых, но он также стремительно растет. По оценкам IDC, около 19зеттабайт будет сохранено в период 2017–2025 годов.Развитие мобильной связи, появление технологий 5G, развитиеинтернета вещей, внедрение систем машинного обучения — всеэто будет влиять на рост объема генерируемых данных. Количествоустройств, генерирующих потоки данных, растет с каждым годом, интернет-сервисы генерируют огромные потоки информации.
Вот лишьнекоторые цифры по объему данных, который генерировали различные сервисы в 2017 году: за 60 секунд Google обрабатывала 3,5 млнпоисковых запросов, Netflix обеспечивала 70 000 часов просмотра,отсылалось 156 млн электронных писем, 452 000 твитов, 342 000 приложений скачивалось на App Store и Google Play, на YouTube просматривалось 4,1 млн видео.Big Data как рынокДля того, чтобы ответить на вопрос о том, что же аналитики относят к рынку Big Data и насколько быстро данный рынок растет, полезно обратиться к исследованиям Wikibon.К тройке лидеров в поставках решений класса Big Data аналитическая фирма Wikibon относит компании IBM, SAP и Oracle.По данным Wikibon, в 2009 году в мире было всего несколько проектов Big Data на сумму примерно 100 млн долларов, а в 2011 годурынок Big Data вырос до суммы в 7,6 млрд долларов.Как видно из рисунка 2.31, в 2026 году рынок Big Data превысит90 млрд долларов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
