Курсовая работа: Анализ социальных сетей с помощью технологий больших данных

Содержание




Введение..........................................................3 Постановказадачи..................................................4 Обзорлитературы..................................................5 Глава1.Социальныеграфыииханализ................................7 1.1.Обзоробласти..............................................7 1.2.Определениесоциальногографа...............................8 1.3. Характеристики социальных графов. . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.4. Основные алгоритмы анализа графов. . . . . . . . . . . . . . . . . . . . . . . . . 12

Глава2.Графсоискатели—работодатели.............................14 2.1.Определениеосновныхпонятий..............................14 2.2.Разборрезюмеивакансий...................................17 2.3. Использование Word2Vec и Doc2Vec. . . . . . . . . . . . . . . . . . . . . . . . . 18

Глава3.Подготовкаданных.........................................23 3.1.Описаниеструктурыданных.................................23 3.2. Работа с данными в Apache Spark. . . . . . . . . . . . . . . . . . . . . . . . . . . . .25 Глава4.Реализация................................................26 4.1. Классификация документов и ключевых навыков. . . . . . . . . . . . . . . 26 4.2.Анализрезюме............................................28 4.3.Анализвакансии...........................................30

4.4. Определение связей между соискателями и вакансиями. . . . . . . . . .31 4.5.Построениеграфа..........................................31 Выводы..........................................................34 Заключение.......................................................35 Дальнейшаяработа................................................35 Списоклитературы................................................36




2

Введение



В связи с ростом популярности интернета, мобильных устройств, и т. д. наблюдается значительный рост объемов информация. Эта информация представлена в самом разном виде, как структурированная, так и без какой­либо определенной структуры. Хранение таких данных и последующий их анализ может привести к полезным, а иногда довольно неожиданным, результатам. Но для работы с таким количеством информации требуются новые технологии и методы, которые обозначаются термином Big Data.















































3

Постановка