ВКР: Исследование модулярности веб-графа сайта

Содержание

Содержание
Введение
Постановка задачи
Обзор литературы
Глава 1. Разработка программы сканирования сайта для построения его веб-графа
1.1. Требования к разрабатываемому приложению
1.2. Нормализация URL
1.3. Общая архитектура RCCrawler
1.4. Конфигурация RCCrawler для решения поставленной задачи
Глава 2. Исследования модулярности веб-графов сайтов
2.1. Основные определения
2.2. Построение вектора модулярности веб-графа сайта
2.3. Кластерный анализ на множестве векторов модулярности
Глава 3. Экспериментальная часть
3.1. Список исследуемых сайтов факультетов и институтов СПбГУ
3.2. Ход исследования
3.3. Сводные данные по результатам сканирования сайтов
3.4. Анализ значений модулярности
3.5. Кластеризация веб-сайтов
3.6. Кластеризация веб-сайтов на расширенном множестве
Выводы и заключение
Список литературы
Приложение

Введение

Вебометрика - раздел информатики, посвященный изучению количественных аспектов конструирования и использования информационных ресурсов, структур и технологий применительно к Всемирной паутине [1]. Основными структурами изучения вебометрики являются веб-сайты, рассматриваемые как атомарные неделимые единицы. К нашему времени структура веб-сайтов стала достаточной сложной сама по себе, и может быть сравнима с отдельными фрагментами Веба. Для описания такой структуры можно использовать веб-граф сайта - ориентированный граф, вершинами которого являются документы, а дугами гиперссылки между ними. Такой граф можно разбить на сообщества (кластеры, модули) - группы таких вершин, что количество ребер, связывающих вершины внутри сообщества намного больше, чем количество ребер связывающих сообщества.
Модулярность - это метрика, разработанная с целью измерения силы разбиения графа на сообщества. В данной работе ставится задача сравнения тематически близких сайтов в плане схожести по раздробленности