Антиплагиат (1220030), страница 4
Текст из файла (страница 4)
Более подробно вопрос построения хранилищ аданных такого типа описан в разделах 1.2, 3.1.Значительный объем исходных данных и многообразие их типов и форм представления с одной стороны и необходимость разностороннегоописания объектов управления с учетом их взаимосвязей и особенностей функц ионирования с другой, породили проблемуавтоматизированного анализа открытых данных с ц елью выявления закономерностей, получения новых знаний об объекте управления,восполнения недостающ их данных, прогнозирования поведения объекта управления и т.д.
[1].Решение данной проблемы находится в компетенц ии интеллектуального анализа данных [12]. Частично э ту задачу решают технологии:– кластерного анализа [13];– построения ассоц иативных деревьев [14];– регрессионного анализа [15];– анализа временных рядов [16] и др.Однако адекватно интерпретировать полученные результаты и принять решение способен только человек, являющ ийся э кспертом впредметной области.В связи с э тим, ведущ ая роль отведена способам и формам представления, как исходных данных, так и результатов аналитическойобработки, учитывающ их особенности восприятия и мышления. Применение методов и средств визуализац ии информац ионнымисистемами, открывает новые возмож ности для восприятия их содерж имого и значительно повышает информативность и э ффективностьинформац ионных систем.Использование возмож ностей человека по визуальному анализу информац ии, является предметом исследования когнитивнойкомпьютерной графики.
Более подробно данная проблема рассмотрена в разделах 1.3, 2.1-2.3.Визуализац ия данных стала неотъемлемой частью. Однако лишь владения инструментами для графического отображ ения чисел, датнедостаточно – важ но понимать, в чем именно заключается э ффективность визуальной презентац ии. Правильное использованиетехнологии NoSQL для создания слабоструктурированных массивов данных позволяет расширить возмож ностираспределенных хранилищ , значительно повысить скорость чтения данных, а, следовательно, и работы системы в ц елом.1.2 Обзор технологий NoSQLиспользованияБаза данных (БД) описывает реальные объекты нашего мира. Информац ия о состоянии э тих объектов при долж ном хранении иорганизац ии становится данными. Таким образом структура базы – э то отображ ение информац ионной структуры модели предметнойобласти.
Чем ближ е модель структуры БД будет к предметной области, тем более работоспособной будет информац ионная система, таккак модель, наиболее приближ енная к реальной предметной области, будет предоставлять больше возмож ностей.Несмотря на то, что сущ ествуют много решений для работы с БД, популярными и востребованными становятся лишь некоторые из них.Наиболее часто применяемая на сегодняшний день – реляц ионная система управления базами данных (СУБД).В классической модели хранения данных используется распределенные табличные виды отображ ения, где информац ия собирается исходяиз логики разработчика.Подобный подход приводи к созданию избыточного хранения информац ии, ведь несмотря на позитивные аспекты разделенияинформац ии по признакам данных подход имеет и крайне негативный момент неконтролируемое возрастание количества таблиц данныхпри услож нении логики прилож ения.С конц а 60-х годов реляц ионные базы получили широкое распространение.
За последние 100 лет в мире значительно возросли объемыинформац ии и наблюдается динамичный рост скорости изменения структуры информац ионных объектов.Динамика роста, исследованная компанией IC, представлена на рисунке 1.1.Рисунок 1.1 Динамика роста объема данныхПо исследовательским данным IM еж едневно в мире генерируется 15 петабайт данных.
При э том каж дые 18 месяц ев объемыгенерируемой информац ия удваивается. Объемы хранения ц ифровых данных возрастают на 45% в год. Важ ным фактором является тотфакт, что 80% новых данных не структурированы.С развитием распределенных вычислительных систем и хранилищ , возникала необходимость в своевременной и четкой работе э кспертныхсистем и систем принятия решений в реж име реального времени, с высокой скоростью доступа к большому объёму данных, а такж евозмож ностью изменения описания объекта. Основной слож ностью в реализац ии данной функц ии является то, для каж дого объектамож ет быть определен свой набор атрибутов, который мож ет меняться в проц ессе функц ионирования системы.Изменения, вызванные ростом объема информац ии и изменением ее структуры, приводят нас к необходимости изменения методологиипроектирования и разработки.
Сегодня структура данных изменяется так быстро, что при длительной разработке моделиинформац ионной системы, модель устареет при вводе в э ксплуатац ию. Таким образом необходима возмож ность оперативного измененияструктурной модели БД.Для того, чтобы удовлетворить потребности в условиях роста объема данных, дальнейшие разработки велись в направлениимасштабируемых баз данных, с возмож ностью оперативно производить изменения в структуре модели.
Таким образом, появился новый типБД, известный как слабоструктурированные(неструктурированные) БД. Основным стандартом структурированных баз данных является SQL,новый тип подчеркивая свою революц ионность был назван «не только SQL» (NoSQL). Увеличение объема данных такж е увеличился объемданных для обработки, слож ности данных и отношений связи меж ду ними данных.
Обработка больших объемов данных является аспектом,который выходит за рамки данной работы. Термин «NoSQL» не следует понимать буквально. Вместо того, чтобы заменить реляц ионнуюбазу данных, подход NoSQL предназначен для работы в прилож ениях, где есть проблемы масштабируемости, и данные нуж даются внекоторой структуре. Сущ ествует четыре типа хранилищ NoSQL.Первым типом является хранилищ е «ключ-значение». Хранилищ а «ключ-значение» используютключ для доступа к значению. Такие хрфайловых систем, в качественилища используются для хранения изображений, создания специализированных[41]http://dvgups.antiplagiat.ru/ReportPage.aspx?docId=427.24085263&repNumb=19/2227.04.2016Антиплагиаткэ шей для объектов.
Примерами таких хранилищ могут служ ить – erkeley , Memcache, Redis, Riak, Amazon ynamo[17].Следующ им типом выступает хранилищ е семейств колонок или igtable-подобные БД. Вэтом хранилище данные хранятся в виде разреженной матрицы, строки и столбцы которой используются как ключи.[41]Этот вид СУБД чащ е всего используется для веб-индексирование, а такж е задачах, связанных с большими объёмами данными, в которыхтребования к согласованности данных пониж ены. Примерами СУБД данного типа являются: Apache Hase, Apache Cassandra, Apache,Accumulo, Hypertable, Simple [17,18].Третьим типом выступают, графовые БД, которыеприменяются для задач, в которых данные имеют большое количество связей, например, социальные сети, выявлениемошенничества.
Примеры:[41]Neo4j, Orient, AllegroGraph Flock, Titan [17,18].Четвертая категория Документо-ориентированные СУБД основное внимание в работе уделено э тому типу.Документо-ориентированные СУБД служат для хранения иерархических структур данных. Находят своё применение в[41]системах управления содерж имым, издательском деле, документальном поиске и т. п. Самая известная реализац ия документориентированной БД Couch , который был вдохновлен Lotus Notes, обьекты БД, как правило, хранятся формате JavaScript Object Notation(JSON) или в формате Extensible Markup Language (XML). Примеры СУБД данного типа – Couch, Couchbase, MarkLogic, Mongo, eXist, erkeleyXML[17].БД NoSQL являются относительно новым и развивающ имся типом баз данных по сравнению с предыдущ им типом – реляц ионными БД.Реляц ионные БД являются стабильными и полностью протестированными.
В э том разделе ВКР, рассмотрены несколько научноисследовательских работ, статьи и мнения э кспертов, которые позволяют осущ ествить более э ффективный обзор технологий.В 1998 году Карло Строц и [19] разработал собственную конц епц ию БД, чтобы отличить его модель от реляц ионной БД Строц и первымиспользовал термин «NoSQL».Сростом объема данных с течением времени, и для решения проблемы масштабируемости, Google и Amazon придумали свои собственныеБД. Разработанная Google БД получила название igTable, а Amazon назвал свою разработку Amazon ynamo. Одним из главных аспектовigTable является то, что она не имеет таких функц ии, как первичный ключ, внешний ключ, «JOIN».
igTable не является реляц ионной базойданных, но является распределенной, многомерной отсортированной картой [19]. Отображ ение данных в igTable достигается за счетиндексац ии ключевой строки, ключевого столбц а, и отметки времени. Каж дое значение в карте представляет собой непрерывный массивбайтов.Основной конц епц ией реляц ионных баз данных является нормализац ия данных, в то ж е время igTable денормализует данные. Вконц епц ии igTable, таблиц а рассматривается как однотабличная БД. Все данные хранятся в одной таблиц е и поскольку все данныехранятся в одном igTable, конц епц ия нормализац ия данных не применима к igTable. После публикац ии Google статьи о igTable в 2006 году[20] на рынке начали развиваться новые проекты NoSQL с открытым исходным кодом.Ключевым понятием NoSQL является поддерж ка высокопроизводительных, масштабируемых хранилищ данных, обеспечивающ их прямойдоступ языку программирования для управления базой данных из прикладного уровня [21].
В NoSQL, пользователь БД мож ет управлятьданными как с уровня прилож ения так и БД. Прямой доступ к базе данных от уровня прилож ений обеспечивает гибкость, и скоростьобработки.Но в реляц ионной базе данных, БД мож ет управляться только на уровне СУБД, а не из прилож ения (рисунок 1.1, а). Реляц ионной базеданных необходима нормализац ия. Нормализац ия представляет собой проц есс проектирования полей и таблиц БД таким образом, чтобыизбеж ать избыточности и зависимости данных. Нормализуя данных в различные таблиц ы, система управления реляц ионными БД (RMS)мож ет сохранить первичный ключ, что позволит поддерж ивать непротиворечивость данных. Нормализац ия большого набора данныхведет к проблемам с производительностью, потому что попытка агрегировать информац ию мож ет быть ослож нена множ еством слож ныхзапросов с использованием «JOIN».Однако, NoSQL не имеет запросов «JOIN», и доступ к базе данных мож но получить через различные интерфейсы, что представлено нарисунке 1.1, б.
В NoSQL, пользователь мож ет использовать MapReduce для обработки большого объема данных параллельно. NoSQL –денормализует данные, в результате чего, мы мож ем иметь значительное улучшение времени запросов для обхода БД, потому чтоисчезают затраты ресурсов во время выполнения запросов к базе данных. NoSQL избегает «JOIN» и операц ий агрегац ии. Изденормализац ии данных сущ ествует вероятность несогласованности данных – дублирование или избыточных данных. Во избеж аниедублирования, уровень прилож ений долж ен полагаться на синхронизац ию данных, что позволит избеж ать каких-либо несоответствий вкопии данных.Рисунок 1.2 –Доступ к данным: а – реляц ионной БД; б – NoSQL базыЕщ е одно важ ное различие в архитектуре NoSQL и реляц ионных баз данных являются схемы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
