Ссылки извлекаются из тэгов a, area, base, frame, frameset, и др. Наряду со ссылками, многими роботами обрабатываются редиректы (перенаправления). Каждая скачанная страница сохраняется в следующем формате:

• URL страницы

• дата, когда страница была скачана

• http-заголовок ответа сервера

• тело страницы (html-код)

1. Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице.

Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

1. Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками.

Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

1. База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

1. Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).

Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.

В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).

Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.

Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.[ CITATION common \l 1033 ]

1. Расширенный режим подачи запросов к поисковой системе

   1. Форма расширенный поиск Яндекса

Яндекс позволяет решать сложные поисковые задачи, не пользуясь языком запросов. Для этого можно воспользоваться формой расширенного поиска, где сложные поисковые условия задаются в простой и наглядной форме.

Обратите внимание, что при заполнении нескольких полей Яндекс учитывает все заданные условия одновременно. Например, указав язык документа как «русский» и введя в поле находятся на сайте адрес какого-либо сайта, в результате поиска будет получин список документов с заданного сайта, написанных на русском языке.

Поиск на сайте

Яндекс позволяет искать страницы не только по всей базе, но и по группе страниц, расположенных на одном или нескольких сайтах. Для этого достаточно указать через запятую адреса сайтов в поле находятся на сайте.

Итого

После слова «Итого» вы можете прочитать описание заданного запроса на естественном языке. Выглядеть это может, например, так:

Все параметры поиска, у которых вы не меняли значение по умолчанию, не упоминаются.[ CITATION yadvanced \l 1033 ]

1. Язык запросов Яндекса

1. Поисковый контекст

Можно указать требования к совместной встречаемости слов запроса.

• Точное совпадение

Слова идут подряд в точной форме

Такой порядок слов можно указать с помощью запроса в кавычках.

Пример:

По запросу "остров детства" будут найдены страницы, где есть подряд два слова: вначале остров, затем детства именно в такой форме.

• Джокер

При поиске точного выражения в кавычках можно разрешить одно или несколько пропущенных слов. Для этого надо использовать одну или несколько звездочек через пробел.

Пример:

По запросу "ползет змея, как * дьявола" можно найти страницы с недостающим словом цитаты.

• Совместная встречаемость

1. В одном предложении

Ограничить поиск страницами, где слова запроса находятся в пределах предложения, можно, соединив слова оператором & через пробел.

Пример:

Запрос культура & Китая найдет страницы, где есть сочетания слов культура Древнего Китая или Китай и его культура.

1. В одном документе

Если нужны документы, где присутствуют заданные слова — неважно, на каком расстоянии друг от друга и в каком порядке — надо соединить их оператором && через пробел.

Пример:

По запросу продажа & сканеров && Новосибирск найдутся страницы, где в одном предложении должны встретиться слова продажа и сканеры, и где угодно на странице должно быть слово Новосибирск.

1. Слова также могут быть соединены оператором "неранжирующее И": запрос << уточняющий запрос. Этот оператор очень похож на &&, с той лишь разницей, что выражение из правой части влияет на возможность документов попасть в результаты поиска, но не влияет на их ранжирование.

Пример:

Сравните результаты поиска по запросам: Москва && США и запросу Москва << США. В первом случае ранжирование происходит по обоим словам — Москва и США, а во втором — только по слову Москва, а США просто должно встречаться в тексте документа.

• Исключить слова

1. В одном документе

Яндекс позволяет исключать из поисковой выдачи страницы, где есть определенные слова. Для этого используется оператор ~~.

Если ищется информацию о немосковских кремлях, можете задать запрос Кремль ~~ Москва. Будут найдены все страницы, где есть слово кремль и нет слова Москва.

1. В одном предложении

Иногда требуется, чтобы слово встречалось на странице, но не в одном предложении с другим словом запроса. С этой целью используйтся оператор ~.

Пример:

Если ищется информацию о г-же Кузькиной, то более информативные результаты даст запрос Кузькина ~ мать, который ищет страницы, включающие такие предложения со словом Кузькина, в которых одновременно нет слова мать. Можно так же уточнить запрос оператором расстояния: Кузькина ~/+1 мать. По такому запросу найдутся документы, где слово мать может встречаться в том же предложении, но не сразу после слова Кузькина.

• Расстояние между словами

.

Расстояние между словами a и b — это разница между номерами слов b и a. Таким образом, расстояние между соседними словами равно 1 (а не 0), а расстояние между соседними словами, стоящими "не в том порядке", равно -1.

1. Слова на расстоянии в несколько слов

Можно указать максимально допустимое расстояние между двумя любыми словами запроса, поставив после первого слова символ /, сразу за которым идет число, означающее расстояние.

Пример:

Запрос великий /2 хурал найдет страницы, где есть фразы хурал великий, или великий народный хурал, или великий государственный хурал, но не найдет страницы, где есть великий государственный народный хурал (расстояние между словами равно 3).

1. Слова на расстоянии в несколько предложений

Аналогично записи, указывающей расстояния между словами, можно задавать расстояние в предложениях. Для этого перед оператором расстояния / нужно указать оператор &&.

Пример:

Если нужно найти статью, где упоминается памятник Пушкину на площади Искусств, можете задать запрос памятник Пушкину && /3 площадь Искусств.

• Порядок слов

Кроме расстояния между словами, вы можете указывать и порядок их следования.

1. Слова следуют в определенном порядке на заданном расстоянии

Если очно неизвестно не только расстояние, но и порядок слов запроса, в котором они должны идти в тексте искомых страниц, можно указать между символом / и числом-расстоянием символ + для прямого порядка слов или - для обратного.

Пример:

Если вы хотите найти отчество Тургенева, то задайте запрос Иван /+2 Тургенев. Будут найдены страницы, где между словами Иван и Тургенев есть ровно одно третье слово.

1. Слова расположены в заданной окрестности

Вы можете потребовать, чтобы искомые слова шли не только в нужном порядке, но и чтобы между ними было от n (минимум) до m (максимум) слов. Добавив между словами запроса оператор /(n m), вы получите интересующие вас страницы. Оператор расстояния должен отделяться пробелами с обеих сторон.

Пример:

Запрос Алексей /(-1 +2) Толстой найдет как страницы с текстом Толстой Алексей Константинович, так и Алексей Николаевич Толстой.

• Найти любое из слов

Можно указать Яндексу найти любое из заданных слов. Достаточно поставить между словами символ |, окруженный пробелами, и вы получите страницы, где содержится хотя бы одно из слов запроса.

Пример:

По запросу аэроплан | самолет | планер | дирижабль | аэростат | вертолет | пепелац будут найдены страницы, где встречается хоть одно из этих слов.

• Сложные запросы: скобки

Можно строить сколь угодно сложные конструкции запроса, подставляя в каждом из операторов вместо отдельного слова целые выражения.

Пример:

Чтобы найти документы, ни в одном предложении которого слова не встречаются рядом (но при этом могут быть в соседних предложениях), запрос в виде: кривой ~~ (кривой & рог). [ CITATION ycontext \l 1033 ]

1. Документные операторы

Синтаксис оператора	Что означает оператор	Пример запроса
title:запрос	Поиск текста в заголовке страниц (title) Если текст состоит из нескольких слов, возьмите их в скобки.	Максвелл title:биография title:(княжна Тараканова)
url:www.url.ru/cat/*	Поиск ограничивается группой страниц с заданным URL. Если в конце адреса стоит *, то учитываются страницы, адрес которых начинается с заданного URL. Если URL содержит один из символов ', ", (, ), то его нужно искать в кавычках.	url:"ru.wikipedia.org/wiki/Эрмида_(Каштру-Дайре)" url:exler.ru/*
site:url	Поиск по всем поддоменам и страницам указанного сайта.	городские легенды site:narod.ru
inurl:url	Поиск ограничивается группой страниц, URL которых содержит заданный фрагмент.	inurl:exler
host:www.host.ru	Оператор аналогичен url с именем хоста.	host:www.yandex.ru
rhost:ru.url.* илиrhost:ru.url.www	Оператор аналогичен host, но имя хоста записывается в обратном порядке — вначале домен верхнего уровня, затем второго и т.д. Если в конце указано .*, то поиск идет по всем поддоменам заданного домена (но не включая домен ru.url).	новости rhost:com.livejournal.*
mime:тип_файла	Поиск ограничивается определенным типом файла: PDF (Adobe Portable Document Format), DOC (Microsoft Word), PPT (Microsoft PowerPoint), XLS (Microsoft Excel), RTF (Rich Text Format), SWF (Macromedia Flash).	(анкета загранпаспорт ~~ биометрический) (mime:pdf | mime:doc)
lang:язык	Поиск ограничивается страницами на определенном языке: русском (ru), украинском (uk), белорусском (be), английском (en), французском (fr), немецком (de), казахском (kk). татарском (tt).	BBC lang:en
domain:домен	Поиск по страницам, которые расположены в заданном домене.	domain:yandex /+1 domain:ru
date:ГГГГ{*|ММ{*|ДД}}	Поиск только по страницам, дата которых удовлетворяет заданному условию.	date:200310*
date:ГГГГ{*|ММ{*|ДД}}..date:ГГГГ{*|ММ{*|ДД}}	Поиск только по страницам, дата изменения которых находится в заданном интервале.	хит-парад date:20090901..20090915
date:<	Поиск только по страницам, измененным раньше указанной даты. Допустимы также операторы :>, :=.	вакансии date:>20091101
cat:ID региона илиcat:ID темы	Поиск только страниц сайтов, зарегистрированных в Яндекс.Каталоге, тематическая рубрика или регион которых совпадают с заданным. Идентификатор региона можно получить, прибавив к коду региона смещение 11000000. Идентификатор тематической рубрики получается прибавлением к коду темы смещения 9000000.	зяблик cat:11000051

[ CITATION ydoc \l 1033 ]

1. Язык запросов Google

Многие операторы языка запросов Google совпадают с язфком запросов Яндекса, поэтому перечислим только основные:

• Поиск по фразе ("")

• Поиск по определенному сайту (site:)

• Слова, которые нужно исключить(-)

• Джокер (*)

• Оператор ИЛИ (OR)[ CITATION gsyntax \l 1033 ]

1. Функции оценки релевантности.

   1. TF-IDF

TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален количеству употребления этого слова в документе, и обратно пропорционален частоте употребления слова в других документах коллекции.

Мера TF-IDF часто используется в задачах анализа текстов и информационного поиска, например, как один из критериев релевантности документа поисковому запросу, при расчёте меры близости документов при кластеризации.

Структура формулы:

TF (term frequency — частота слова) — отношение числа вхождения некоторого слова к общему количеству слов документа. Таким образом, оценивается важность слова ti в пределах отдельного документа.

 ,

где ni есть число вхождений слова в документ, а в знаменателе — общее число слов в данном документе.

IDF (inverse document frequency — обратная частота документа) — инверсия частоты, с которой некоторое слово встречается в документах коллекции. Учёт IDF уменьшает вес широкоупотребительных слов.

где

|D| — количество документов в корпусе;

— количество документов, в которых встречается ti (когда ).

Таким образом, мера TF-IDF является произведением двух сомножителей: TF и IDF.

Большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.

Пример

Если документ содержит 100 слов и слово «заяц» встречается в нём 3 раза, то частота слова (TF) для слова «заяц» в документе будет 0,03 (3/100). Один из вариантов вычисления частоты документа (DF) определяется как количество документов содержащих слово «заяц», разделенное на количество всех документов. Таким образом, если «заяц» содержится в 1000 документов из 10 000 000 документов, то частота документа (DF) будет равной 0,0001 (1000/10000000). Для расчета окончательного значения веса слова необходимо разделить TF на DF (или умножить на IDF). В данном примере, TF-IDF вес для слова «заяц» в выбранном документе будет 300 (0,03/0,0001).[ CITATION TFIDF \l 1033 ]

1. PageRank

PageRank (пэйдж-ранк) — один из алгоритмов ссылочного ранжирования. Алгоритм применяется к коллекции документов, связанных гиперссылками (таких, как веб-страницы из всемирной паутины), и назначает каждому из них некоторое численное значение, измеряющее его «важность» или «авторитетность» среди остальных документов. Вообще говоря, алгоритм может применяться не только к веб-страницам, но и к любому набору объектов, связанных между собой взаимными ссылками, то есть к любому графу.

PageRank — это числовая величина, характеризующая «важность» веб-страницы. Чем больше ссылок на страницу, тем она становится «важнее». Кроме того, «вес» страницы А определяется весом ссылки, передаваемой страницей B. Таким образом, PageRank — это метод вычисления веса страницы путём подсчёта важности ссылок на неё.

Упрощенный алгоритм вычисления PageRank(на примере)

Пусть имеется небольшое множество, состоящее из 4 страниц: A, B, C и D. Начальное приближение PageRank одинаково распределится между этими документами. То есть, для каждой страницы значение PageRank будет равняться 0.25.

Если страницы B, C, and D ссылаются лишь на страницу A, то они отдадут по 0.25 значения PageRank странице A. Таким образом,

Значение PR(A) = 0.75.

Предположим, что страница B ссылается на страницы C и A, а страница D ссылается на все три страницы. Количество голосов (ссылок) распределяется между всеми внешними ссылками на странице. Таким образом, страница B отдает голос, значением в 0.125 странице A и голос значением в 0.125 странице C. Только треть PageRank страницы D подсчитывается для PageRank страницы A (примерно 0.083).

В общем случае, значение PageRank для страницы u может быть выражено так:

,

то есть значение PageRank для страницы u зависит от значений PageRank для каждой страницы v из множества B_u (это множество содержит в себе все страницы,ссылающихся на страницу u), подделеных на число L(v) ссылок на странице v.[CITATION PageRank \l 1033 ]

1. LexRank

LexRank относится к оценке релевантости документа. Резюмируя документ, приходится иметь дело с большими тестовыми единицами – целыми прделожениями, вместо слов и фраз. Представляя набор предложений как граф, LexRank он специальным образом обрабатывается, и на конечном этапе используется PageRank, чтобы получить веса предложений.[CITATION LexRank \l 1033 ]

1. Методы борьбы с нерелевантным содержимым

1. Понимание запросов

Важно понимать, что ищут пользователи (больше, чем просто слова в их запросе). Должна существовать система распознавания текстового содержимого, систему синонимов и очень мощную систему анализирования.

Системе известно, что кто-то, вводящий в строке поиска [kofee annan], на самом деле ищет мистера Кофи Аннана, и подсказывает ему об этом: Did you mean: kofi annan; тогда как если кто-то ищет [kofee beans], то ему на самом деле нужны coffee beans (кофейные бобы).

1. Синонимы

Синонимы — это фундамент работы по пониманию запросов. Даже если что-то очевидно для человека, это может быть неразрешимой проблемой для автоматического языкового обработчика.

1. Поиск идеи

Обнаружение главной идеи запроса позволяет возвратить намного более релевантные результаты. Например, алгоритмы Google понимают, что в запросе [new york times square church] пользователь ищет известную церковь на Times Square, а не статьи из New York Times.

1. Понимание пользователей

Упор на принцип «наиболее релевантные запросу результаты» отражается в нашей работе по локализации. Один и тот же запрос, написанный в различных странах, даст абсолютно разные результаты. Пользователь, ищущий [bank] в США, должен получить Американские банки, в то время как пользователь в Великобритании ищет Bank Fashion line или British financial institutions. Результаты этого запроса должны содержать местные финансовые подразделения в других англоговорящих странах, таких как Австралия, Канада, Новая Зеландий, ЮАР.

1. Персонализация

Пользователи, которые "залогинились" во время поиска и имеют включенный журнал посещений, получают результаты, которые более релевантны для них, чем общие результаты Google. Например, пользователь, который имеет множество запросов, относящихся к футболу, получит более «футбольные» результаты на запрос [giants], тогда как другие пользователи могут получить результаты, относящиеся к бейсбольной команде.

1. Использование результатов запроса на другом языке

Позволяет пользователям сначала получить информацию не на их родном языке, а затем, используя технологию перевода Google, мы делаем информацию доступной. Пользователь, который ищет биографию Тони Блэра в России, набирающий [Тони Блэр биография] получает предложение посмотреть результаты, переведенные с английского.[CITATION Методыборьбы \l 1049 ]

Список используемых источников

1. http://www.seonews.ru. [В Интернете] http://www.seonews.ru.

2. http://help.yandex.ru. [В Интернете] http://yandex.ru/search/advanced.

3. —. [В Интернете] http://help.yandex.ru/search/?id=1111369.

4. —. [В Интернете] http://help.yandex.ru/search/?id=1111369.

5. http://support.google.com. [В Интернете] http://support.google.com/websearch/bin/answer.py?hl=en&answer=136861.

6. http://ru.wikipedia.org. [В Интернете] http://ru.wikipedia.org/wiki/TF-IDF.

7. en.wikipedia.org. [В Интернете] http://en.wikipedia.org/wiki/PageRank.

8. en.wikipedia.org. [В Интернете] http://en.wikipedia.org/wiki/Automatic_summarization#TextRank_and_LexRank_differences.

9. codeisart.ru. [В Интернете] http://www.codeisart.ru/%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8-%D1%80%D0%B0%D0%BD%D0%B6%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-google/.