Использование алгоритма контекстной кластеризации документов для кластеризации страниц и посещающих их пользователей без использования контента страниц

Содержание

Введение .......................................................................................... 3
Постановка задачи ............................................................................ 5
Обзор литературы ............................................................................. 6
Глава 1. Начальные данные, их начальная обработка и хранение......... 8
1.1. Начальные данные и их первоначальная обработка.................. 8
1.2. Организация хранения данных в MySQL базе данных............ 10
Глава 2. Нахождение узких контекстов............................................. 13
2.1. Основные теоретические сведения ........................................ 13
2.2. Нахождение всех контекстов ................................................ 15
2.3. Определение узких контекстов.............................................. 17
Глава 3. Кластеризация на основе узких контекстов........................... 19
3.1. Расстояние Йенсена-Шеннона .............................................. 19
3.2. Нахождение распределения ссылок и пользователей ............. 19
3.3. Контекстной документной кластеризация на основе
узких контекстов........................................................................ 21
Глава 4. Эксперименты и экспериментальные данные........................ 25
4.1. Программа, получающая статистику ..................................... 25
4.2. Анализ полученных экспериментальных данных................... 28

Выводы ........................................................................................... 32
Заключение ..................................................................................... 33
Список литературы .......................................................................... 34


Введение.
В настоящее время среди задач информационного поиска задача кластеризации информации занимает одну из лидирующих позиций. Существует множество способов решения данной задачи, но все так же остается вопрос о поиске наиболее выгодного, более быстрого, более точного метода из всех существующих методов, вопрос о том, какой метод и в какой задаче нужно применить, чтобы получить наиболее точные результаты за наименьшее количество времени и минимальные ресурсы.
Когда человек просматривает страницы в интернете, статьи и тексты он может легко понять к какой теме они отно