Лабораторная работа: (Java) «Улучшенный поисковый робот»

Цель работы - улучшить поискового робота из лабораторной работы №7 путем добавления потоков.

Задание

1. Сделайте класс с именем URLPool, который сохраняет список всех найденных URLs, вместе с "уровнем" каждого из этих URL (мы называем это также "глубина поиска"). Первый URL с которого вы начали поиск имеет глубину поиска 0. Все URL найденные на этой странице имеют глубину 1, и так далее. Сохраняйте URL и их глубину вместе как экземпляр класса URLDepthPair также как вы это делали в прошлом задании. Для хранения элементов рекомендуется использовать LinkedList, так как он очень эффективно выполняет требуемые операции. Нужно чтобы пользователь класса URLPool мог извлекать пару URL-глубина из пула, и одновременно удалять ее из списка. Так же нужно обеспечить возможность добавления пары URL-глубина к пулу. Обе эти операции должны быть рассчитаны на вызов из нескольких потоков так как несколько потоков могут одновременно работать с URLPool. В отличие от примера очереди FIFO, который рассматривался в лекциях, пул URL не должен иметь ограничений размера. В него нудно добавить список URL ожидающих обработки, список просмотренных URL и еще одно поле, которое мы рассмотрим ниже.

2. Для того чтобы поиск можно было выполнять в нескольких потоках, создайте класс CrawlerTask, который реализует интерфейс Runnable. Каждый экземпляр CrawlerTask должен иметь ссылку на единственный экземпляр класса URLPool который описан выше. (Обратите внимание, что все экземпляры CrawlerTask используют один общий пул ссылок!) Поток поискового робота должен работать так: 1. Извлекает пару URL-глубина из пула (ждет если в данный момент ссылок нет). 2. Загружает веб страницу, на которую ссылается URL. 3. Ищет на странице другие URL. Для каждого найденного на странице поток робота должен добавить новую пару URL-глубина в пул ссылок. Новая пара должна иметь глубину на единицу большую, чем URL из которого эта ссылка извлечена на шаге 1. 4. Возвращается к шагу 1! Эти операции следует продолжать до тех пор, пока в пуле ссылок не останется ни одной пары (URL, глубина).

3. Так как ваш робот запускает некоторое количество потоков, добавьте в программу третий параметр командной строки, задающий число потоков робота. Ваша функция main должна работать примерно так: 1. Обрабатывает аргументы командной строки. Сообщает пользователю об ошибках, если они есть. 2. Создает экземпляр класса пула URL, и помещает указанный пользователем URL с глубиной 0 в пул. 3. Создает указанное пользователем число задач робота (и потоков для их запуска). Каждая задача робота должна иметь ссылку на пул URL, который только что создан. 4. Ожидает пока робот не закончит работу! (Об этом ниже.) 5. Печатает в результате список найденных URL. 4. Синхронизируйте доступ к объекту пула URL во всех важных местах, потому что доступ к этому объекту из потоков должен быть безопасным.

5. Робот, извлекая очередную ссылку не должен непрерывно опрашивать пул URL если он пуст. Он должен жать появления URL более эффективно. Метод пула URL "получить URL" должен сам ждать используя функцию wait(), если в пуле в момент вызова нет ссылок. Соответственно в метод пула ссылок "добавить URL" надо добавить вызов notify(), когда новая ссылка добавлена в пул. Заметим, что потоки робота сами по себе не выполняют операции synchronize / wait / notify. Это следует сделать по той же причине, по которой пул URL прячет внутри себя детали реализации добавления и извлечения ссылок: инкапсуляция! Так же как вы хотите избавить пользователей от деталей реализации пула URL, вы избавляете их от деталей синхронизации потоков.