Лабораторная работа: (Java) «Поисковый робот»
Описание
Цель работы - написать простейший поисковый робот. Робот должен автоматически загружать веб-страницы из сети Интернет, искать в них новые ссылки, и повторять эту операцию для каждой найденной ссылки. В этой лабораторной работе поисковый робот будет настолько простым, насколько можно себе это представить. Он будет просто просматривать новые URL (указывающее на расположение других веб страниц) на каждой странице, сохранять эти ссылки и печатать их в конце работы программы. Более сложные поисковые роботы используются, например, для индексирования содержимого сети Интернет или сбора адресов электронной почты для рассылки спама. Если вы когда-либо пользовались поисковым сервисом, то вы искали в данных, созданных поисковым роботом.
Задание
Для выполнения цели работы, требуется реализовать два класса: Crawler — отвечает за логику робота (открытие/закрытие сокетов, получение и поиск url адресов в html странице, переход по найденным url адресам)
URLDepthPair — экземпляры класса хранят в себе url и глубину страницы относительно исходной.
МГТУ им. Н.Э.Баумана
zuko
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
