Регистрация в поисковых системах

Регистрация в поисковых системах

Популярность... Это емкое слово не дает покоя каждому, кто хоть раз задумывался о своем месте в неспокойном нашем мире. Тем более если речь идет о популярности собственного web-сайта в бескрайнем мире Интернета. Оставим в стороне этические аспекты этой проблемы: о моральном облике владельцев активно раскручиваемых страниц, перманентно находящихся в состоянии «underconstruction», писалось уже достаточно много. Обратимся непосредственно к практике.

Поисковые машины представляют собой специализированные серверы, предназначенные для поиска и аккумуляции информации по запросам пользователя. Следует различать тематические каталоги и собственно поисковые системы. Каталоги содержат обширный список ссылок на другие сайты, разбитых на несколько рубрик по тематической направленности. Общее число таких рубрик может достигать нескольких десятков. Процесс регистрации нового ресурса в информационном каталоге в общем случае выглядит следующим образом: владелец web-страницы заполняет соответствующую интерактивную форму, включающую в себя сведения о тематике сайта, его названии, URL и ключевых словах, с помощью которых осуществляется поиск, после чего эта информация заносится в базу данных каталога. В ряде случаев модераторы сервера — сотрудники, призванные следить за соответствием регистрируемых ресурсов общим правилам данной интерактивной службы, — в течение нескольких дней проверяют страничку на предмет отсутствия в ее содержании запрещенной тематики, например, порнографии или призывов к насилию. Если запретные темы обнаружатся, ссылка на ваш ресурс будет безжалостно удалена из базы данных сервера, о чем вы получите соответствующее уведомление по электронной почте. Поиск по запросам пользователей ведется только в пределах базы данных самого информационного каталога. Результат работы системы отображается в файле отчета, который автоматически генерируется установленным на сервере сценарием CGI и содержит ссылки на найденные ресурсы, их названия и краткое описание.

Поисковые системы работают по совершенно иному принципу Используемый поисковой машиной CGI-скрипт, получив пользовательский запрос, обращается к независимым ресурсам Интернета и осуществляет поиск информации в самой Сети по тексту опубликованных на web-серверах html-до-кументов, последовательно проходя все обнаруженные гиперсвязи. Найденные таким образом web-страницы некоторое время сохраняются на диске серверного компьютера на случай, если кто-либо из посетителей подаст поисковой службе аналогичный запрос.

Разумеется, поисковые серверы также располагают собственной базой данных, которая содержит в основном лишь ссылки на ресурсы Интернета. Интерактивные сценарии системы самостоятельно обращаются к каждому сайту, ссылка на который имеется в базе данных, разыскивают в его тексте введенные автором запроса ключевые слова и включают ссылки на данную страницу в файл отчета. Затем робот последовательно проходит по всем гиперссылкам, обнаруженным на этой странице, и если связанные с ней ресурсы отсутствуют в базе данных(индексе) поискового сервера, информация о них автоматически заносится виндекс. Этот процесс называется индексацией сайта. Смысл регистрации в поисковой машине сводится не только к тому, чтобы ссылка на ваш ресурс была внесена в базу данных сервера и прошла процедуру индексации. Желательно, чтобы информация о вашей страничке попала в кэш серверного компьютера, поскольку поиск осуществляется в первую очередь по хранящимся на его дисках данным, затем — по имеющимся в базе ссылкам и лишь в последнюю очередь —непосредственно в Интернете.

Для повышения релевантности поиска, то есть максимального соответствия отчета введенному пользователем запросу, многие поисковые машины применяют так называемые эвристические методы обработки информации. Например, получив пользовательский запрос «Куда пойти сегодня вечером?», поисковая машина самостоятельно просклоняет глагол «пойти», создаст все возможные варианты слова («идти», «иду», «идет», «идешь», «пойдет» и т. д.) и продолжит поиск уже по расширенному подобным образом запросу. Именно поэтому нет смысла указывать в перечне ключевых слов, записываемых в МЕТА-теге вашего документа, решительно все варианты. Этим вы лишь перегрузите суммарный объем html-файла, не добившись никаких премуществ. Пользователь может пожеланию ограничить диапазон поиска, исключив из него ресурсы какого-либо домена или определив в тексте запроса специальные директивы для поисковой машины. Набор таких директив может варьироваться в зависимости от алгоритмов обработки информации, используемых каждым поисковым сервером.

Подготовка к регистрации

Рекомендуемые материалы

Во-первых, обратите пристальное внимание на заголовок страницы, расположенный в коде между ключевыми метками <TITLE> и </TITLE>, поскольку для ряда поисковых систем он играет чуть ли не решающее значение. Заголовок должен быть кратким (в одно—два слова) и притом максимально соответствовать содержимому документа. В любом случае даже самый непродуманный заголовок все же лучше, чем загадочные фразы «MyWeb» или «NewPage», которые так любят автоматически вставлять в страницу всевозможные HTML-редакторы.

Во-вторых, убедитесь в том, что в коде ваших документов присутствуют все необходимые МЕТА-определители (важность этих тегов уже обсуждалась в шестом уроке).

И наконец, в-третьих, учтите, что существует несколько простых способов увеличить вероятность обнаружения вашего сайта поисковыми серверами. Раз поисковые машины индексируют текст, вычленяя его из листинга html-докумен-тов, значит, повысив пропорцию содержательного текста к общему количеству составляющего web-страницу кода, вы тем самым увеличиваете вероятность

того, что слово, набранное пользователем в окне запроса поискового сервера, совпадет с одним из ключевых слов вашего сайта. Как этого добиться? Первый способ весьма прост — составьте перечень ключевых слов, соответствующих тематике вашего сайта, и поместите их в теги комментария в начале и в конце кода страницы, приблизительно так: <!-перечень ключевых слов -->

Анализируя листинг вашего документа, поисковая машина обработает эти комментарии наравне с прочим содержательным текстом, увеличив таким образом перечень возможных слов и выражений, на которые она будет реагировать по запросу пользователя. Второй способ считается в среде web-дизайнеров не очень корректным и профессиональным, но лично я полагаю, что в борьбе за посетителя хороши все методы, если они не выходят за рамки общепринятых этических норм. Этот способ подразумевает вывод на экран копии перечня ключевых слов в нижней части страницы, очень мелким шрифтом и тем же цветом, что и фоновый цвет документа, например, белым по белому. Для посетителя этот текст будет неразличим, но зато его прекрасно различают поисковые системы.

Наиболее грамотным подходом при «раскрутке» ресурса является предварительный анализ популярности ключевых слов, вводимых пользователями в форму интерактивного запроса поисковых систем. Подобные списки периодически публикуются на ряде информационных сайтов. Самыми компетентными из них являются, на мой взгляд, страницы, содержащие статистические отчеты поискового сервера «Яндекс». На страничке «Прямой эфир»(http://www.yandex.ru/last20.html) отображаются последние двадцать запросов данной поисковой системы на текущий момент времени, на странице «НИ-НИ-индекс» (http://www.yandex.ru/nini.html) приводится статистическая еженедельная сводка по наиболее популярным ключевым словам. Согласно сведениям «Яндекс», интересы пользователей русскоязычной части Всемирной сети колеблются в зависимости от происходящих в стране и в мире социальных или политических событий. Вывод очевиден: если вы разрабатываете новостной ресурс, публикующий горячую информацию обо всем, что творится на нашей планете, почаще меняйте ключевые слова, и ваш сайт всегда будет на вершине популярности. Однако не перегибайте палку: ни в коем случае не употребляйте ключевые выражения, не соответствующие тематической направленности своего ресурса. Этим вы не привлечете, а наоборот, оттолкнете ваших потенциальных читателей, к тому же ощутимо испортите собственную репутацию.

А сейчас перейдем к процедуре регистрации вашего проекта на различных информационных серверах.

Регистрация сайта в поисковых системах

Итак, вам необходимо «прописать» страничку в поисковой машине. Это можно сделать двумя методами: автоматически и, соответственно, «вручную». Я обычно рекомендую второй. Объясняется это следующими причинами: автоматическая регистрация производится со специализированных серверов (как правило, услуга платная, но существует и множество бесплатных вариантов) путем ввода пользователем URL, описания ресурса, списка ключевых слов в интерактивную форму и передачи этой информации через GCI-скрипт в реестр выбранных из предлагаемого на таком сервере перечня поисковых служб. При этом добрая половина поисковых систем, как правило, по непонятным причинам выдает «отбой», еще половина — тайм-аут, и лишь несколько сообщат о нормально прошедшей регистрации. И даже если вы включите режим слежения за отчетом, заставить поисковые системы правильно проиндексировать ваш ресурс вы все равно не сможете

Регистрация «вручную» производится достаточно просто. Вы заходите на сервер поисковой службы и ищете ссылку «Добавить URL» («добавить страницу», просто «добавить») для русскоязычных систем и «Add URL» («Add NewPage») для систем с английским интерфейсом. Такие ссылки расположены, как правило, вблизи формы интерактивного запроса. Далее вам останется только перейти по этой ссылке на web-страницу с подробным описанием правил регистрации, а затем ввести URL-адрес стартовой страницы (http://myserver.com/index.html), описание ресурса и ключевые слова в предложенную интерактивную форму. Обратите внимание на то, что в имени файла стартовой странички следует указывать расширение, причем надо различать .htm и .html.

Стандарт исключения для поисковых систем

Все поисковые системы при индексации того или иного сайта берут информацию о разрешениях и запретах на включение в базу данных каких-либо директорий и отдельных html-документов из файла robots.txt, размещаемого web-мастером в каталоге, отведенном на сервере для публикации вашего ресурса. Рекомендуется исключить из списка разрешенных для индексации объектов

директории, в которых размещаются интерактивные скрипты и лог-файлы, а также документы, помещение которых в базу данных поисковой системы вы не считаете нужным: чем меньше страниц серверу предстоит проиндексировать, тем быстрее пройдет процесс регистрации.

Общий формат записи директив в файле robots.txt выглядит следующим образом:

ПАРАМЕТР: ЗНАЧЕНИЕ

Символ пробела между полями «параметр» и «значение» является опциональным, то есть его можно опустить без каких-либо последствий. Формат записи в поле «параметр» регистронезависим, то есть серверу все равно, в заглавном или строчном регистре записана директива. Если строка в файле robots.txt начинается с символа «#», поисковый сервер игнорирует ее, воспринимая как комментарий.

В стандарте robots.txt (в отличие от стандартов HTML и CSS) пустые строки, не содержащие ни одного символа, считаются значащими: они отделяют друг от друга разделы описания допусков и запретов, предназначенных для различных поисковых машин.

Первой директивой файла robots.txt является параметр User-Agent. С него же должен начинаться каждый раздел данного файла, отделенный от других разделов пустой строкой. Значением этого параметра служит имя поискового робота, для которого вы устанавливаете права доступа. Если в одном блоке описаний вы хотите задать параметры для нескольких роботов, их имена надо перечислить через пробел. Если значением параметра User-Agent служит символ «*», то следующие далее директивы устанавливаются для всех поисковых систем, независимо от названия и территориальной принадлежности. Второй командой этого своеобразного макроязыка является директива Disallow. Вместо ее значения следует подставить частичный URL документа или директории, не подлежащей индексации, причем записывать этот адрес следует согласно синтаксису обозначения структуры директорий на данном сервере. Например, запись Disallow: /photos запрещает индексировать хранящийся в корневой директории сайта файл photos.html и расположенную там же директорию photos, а команда Disallow: /photos/ — только саму директорию вместе совсем ее содержимым. Если значения команды Disallow не указаны, поисковый сервер индексирует весь сайт целиком. С другой стороны, строка Disallow: /,наоборот, запрещает индексировать данный ресурс — иными словами, вносить информацию о нем в базу данных поисковой системы.

Простые примеры листинга файла robots.txt приведены ниже. Пример 1.

#file-type: robots.txt for site http://www.mysite.ru

User-Agent: Yandex

Disallow: /cgi-bin/

Disallow: /private/myfolder/index

Disallow: /images/

Disallow: not_found.html

Disallow: forbidden.html

User-Agent: AltaVista HotBot Cybermapper

Disallow: /cgi-bin/

Disallow: /private/

Disallow: /hobbies/index.html

Disallow: not_found.html

#End of file

Пример 2.

#file-type: robots.txt for site http://www.mysite.ru

User-Agent: *

Disallow: /cgi-bin/

Disallow: /private/

Disallow: not_found.html

Disallow: forbidden.html

#End of file

Учтите, что файл robots.txt не должен содержать пустых строк, если первой директивой после разрыва строки не является команда User-Agent, а также то, что стандарт исключения для роботов не предусматривает использования масок, содержащих символы «*» и «?». Например, запись Disallow: /folder/*.html запрещает индексацию файлов не с расширением .html, а с именем *, которых просто не существует на сервере. Одна команда Disallow должна содержать только одну ссылку на документ или файл, а для размещения нескольких ссылок надо использовать то же количество команд Disallow. В качестве значения данной команды необходимо указывать относительные пути к файлам и директориям, но ни в коем случае не абсолютные. Иными словами, ссылку на серверную папку следует записывать в виде «/folder», но никак не в виде «http://www.mysite.ru/folder».

Список поисковых систем

Относительно полный список российских и зарубежных поисковых систем, а также тематических каталогов, регистрация в которых может быть вам полезна, приведен в табл.3 .

Таблица 3. Поисковые машины и тематические каталоги

Контроль за состоянием учетной записи

Рекомендуем посмотреть лекцию "25 - Роль руководителя в управлении конфликтами".

После регистрации во всех необходимых поисковых машинах рекомендуется периодически проверять там текущий статус вашего URL, поскольку учетная запись о вашем сайте может по не вполне понятным причинам исчезнуть из индекса поискового сервера. Проконтролировать состояние вашей учетной записи можно различными методами, и выбор зависит в первую очередь от механизма используемых поисковой службой интерактивных сценариев.

Ряд современных поисковых серверов располагает специальными службами, помогающими пользователю проверить наличие ссылки на его ресурс в базе данных сервера. Например, поисковая система «Яндекс» предлагает пользователям определить, проиндексирован ли их сайт, на специальной странице, расположенной по адресу http://www.yandex.ru/info/webmaster2.html#status. Аналогичными службами располагают серверы Infoseek (http://www.infoseek.com/FomK?&sv=IS&1k=nofraires&pg=special.htm1) и WebCrawler (http://www.webcrawler.com/WebCrawler/Status.html). Для того чтобы проверить статус вашей ссылки на серверах AltaVista и Апорт, достаточно набрать в строке поискового запроса команду url=адрес_вашего_сайта. На всех остальных поисковых машинах узнать текущее состояние учетной записи можно, просто набрав в строке запроса URL вашего ресурса.

Использование рейтинговых счетчиков

О рейтинговых счетчиках посещений, предоставляемых пользователям различными поисковыми машинами, мы уже беседовали в рамках девятого урока. Как правило, после регистрации в той или иной поисковой системе администрация сервера предлагает вам бесплатно получить такой счетчик и разместить его на сайте. Не стоит пренебрегать такой возможностью: использование счетчиков, определяющих позицию вашего ресурса в тематическом рейтинге различных каталогов и информационных систем, иногда дает очень неплохой результат с точки зрения посещаемости вашей странички.