Особенности поисковых систем и каталогов

20. Особенности поисковых систем и каталогов

Поисковые системы (search engines)

Ярким представителем поисковых систем является, например, международная AltaVista (www.altavista.com) или российский Rambler (www.rambler.ru).

Поисковые системы состоят из трех основных частей:

1. Spider (он же Crawler, он же Bot, он же Robot) - программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Spider возвращается через определенные периоды времени (например, каждый месяц) и индекисрует страницу снова.
2. Все, что находит и считывает Spider, попадает в индексы поисковой системы. Индексы системы представляют собой гигантское вместилище информации, где хранятся копии текстовой составляющей всех посещенных и проиндексированных Spider'ом страниц.
3. Программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы в поисках информации, интересующей пользователя, и выдает ему на гора в порядке убывания релевантности найденые документы. Каждая поисковая система имеет своего собственного спайдера, со своими собственными "повадками". Каждая система индексирует страницы своим особым способом, и приоритеты при поиске по индексам тоже отличны. Поэтому, произведя запрос по определенным ключевым словам или выражениям, мы будем иметь разные результаты для каждой из поисковых систем.

Каталоги, или директории (directories)

Типичным представителем каталогов является международная Yahoo!.

Регистрация в каталогах полностью зависит от людей - модераторов данной системы. Каталог обычно имеет тематическую разбивку на подкаталоги, те, в свою очередь, могут подразделяться на более мелкие поддиректории и т.д.
Поскольку регистрация производится человеком, а не программой, то поиск по каталогам дает более релевантные результаты, нежели по поисковым системам.

Для регистрации в каталоге необходимо послать заявку с указанием, в какой раздел Вы хотите поместить свою страницу, составить краткое описание сайта и список ключевых слов для поиска Вашей страницы в каталоге. Через некоторое (иногда достаточно долгое) время Ваша заявка будет рассмотрена, и в результате:

Информация в лекции "1.5 Религия восточных славян" поможет Вам.

Вам могут вообще отказать в регистрации;

Вашу страницу могут поместить в другой раздел, который, по мнению модераторов каталога, более подходит для Вашего сайта;

могут быть изменены Ваше описание и/или ключевые слова;

Вам повезет, и регистрация будет произведена именно так, как вы хотели.

Комбинированные системы (гибриды)

Некоторые поисковые системы, такие, например, как Exite (www.exite.com) или Infoseek (www.infoseek.com) имеют при себе и каталог. Соответственно, индексы для самой поисковой системы добываются Spider'ом, а каталог пополняется модераторами системы.