LAB1 Логинов А. А. (544684), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Если страницы B, C, D ссылаются на страницу А, каждая из них вносит по 0.25 в PageRank страницы А.

Предположим, что на странице B имеются ссылки на страницы A и C, а страница D содержит ссылки на все три страницы. Значение PageRank распределяются между всеми исходящими ссылками на странице. Таким образом, страница B «даёт» по 0.125 страницам A и C. Только треть PageRank страницы D учитывается в PageRank А.

LexRank – лексический аналог функции ранжирования PageRank, используемой в поисковике Google. Представляя набор предложений как граф, LexRank он специальным образом обрабатывается, и на конечном этапе используется PageRank, чтобы получить веса предложений.

Расширенный режим подачи запросов к поисковой машине.

Расширенный поиск Яндекса позволяет указывать регион поиска, расположение слов на странице, их употребление в тексте, а также язык страниц, дату последнего обновления и формат страниц.

Поиск Google не ограничивается поиском введенных слов. С помощью расширенного поиска можно искать только те страницы, которые:

• содержат ВСЕ введенные условия поиска;

• содержат точное словосочетание;

• содержат хотя бы одного из введенных слов;

• НЕ содержат ни одно из введенных слов;

• написаны на определенном языке;

• созданы в определенном формате;

• были изменены в определенный период времени;

• содержат числа из определенного диапазона;

• находятся на определенном домене или веб-сайте;

• не содержат материалов, предназначенных только для взрослых.

Также улучшить результаты поиска можно, добавив "операторы" к условиям поиска.

Операторы расширенного поиска включают:

• поиск с включением;

• поиск синонимов;

• поиск "OR" (или);

• поиск в домене;

• поиск по диапазону чисел;

• другие функции расширенного поиска.

Достоинства и недостатки функций оценки релевантности.

Функция оценки релевантности TF/IDF.

Достоинства:

• Учитывает не только конкретный документ, в котором встречается слово, но и другие документы коллекции.

• Скорость вычисления. Для формирования оценки достаточно просканировать все документы в пределах одной коллекции.

Недостатки:

• Оценка является статической. Может измениться только при изменении одного из документов коллекции.

• Частота встречаемости слова далеко не самый надёжный показатель релевантности, особенно для русского языка. Можно составить документ, в котором релевантное слово не будет повторяться (с использованием синонимов), или же, наоборот, текст будет перегружен омонимами нерелевантного слова.

• Совершенно бесполезный текст, буквально перегруженный ключевыми словами, позволит обхитрить данную оценку.

• Не учитывается уровень вложенности документа.

Функция оценки релевантности PageRank.

Достоинства:

• Учитывается своего рода «мнение» других страниц.

• Оценка является динамической. PageRank в результате каких-либо событий может и упасть, и возрасти.

Недостатки:

• Порождает множество путей искусственного увеличения PageRank и, как результат, опадание в поисковую выдачу нерелевантных страниц.

• Относительно медленная скорость получения актуального значения оценки, так как перед вычислением PageRank конкретной страницы требуется вычислить PageRank страниц, ссылающихся на данную.

Методы борьбы с нерелевантным содержимым.

Часто сильно снизить релевантность содержимого могут:

1. Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинального контента.

2. Сайты с автоматически сгенерированным (бессмысленным) текстом.

3. Сайты, отдающие разный контент пользователям и роботам поисковых систем (клоакинг).

4. Сайты, использующие обманные техники, перенаправляющие пользователей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.

5. Сайты, содержащие списки поисковых запросов (многократное повторение и перечисление ключевых слов), предназначенные исключительно для обмана поисковой системы.

Для повышения релевантности помимо исключения из индекса сайтов, снижающих её (описано выше), используются:

1. Системы распознания

Поисковые машины научились понимать, что ищут пользователи. Существуют системы распознавания текстового содержимого, системы синонимов и очень мощные системы анализирования.

Например: на запрос «посик боваров» Google выдаст результаты по «поиск товаров»

1. Понимание идеи запроса

Алгоритмы Google понимают, что в запросе “new york times square church” пользователь ищет известную церковь на Times Square, а не статьи из New York Times.

1. Выдача результатов по региону

Один и тот же запрос, написанный в различных странах, даст абсолютно разные результаты. Пользователь, ищущий “bank” в США, должен получить Американские банки, а пользователь в Великобритании получит соответствующие банки.

1. Полная персонализация

Для идентифицированных пользователей система Google будет выдавать результаты на основе его истории запросов. Если у пользователя множество запросов по футболу, то на запрос “club Barcelona” он получит результаты по футбольному клубу, а не по баскетбольному.

1. Результаты на другом языке

Google может предложить показать результаты на другом языке, переведённые фирменным переводчиком.

Список используемых источников.

1. http://yandex.ru/search/advanced

2. http://support.google.com

3. http://www.google.ru/advanced_search

4. http://ru.wikipedia.org/wiki/Релевантность

5. http://ru.wikipedia.org/wiki/TF-IDF

6. http://en.wikipedia.org/wiki/PageRank

Характеристики

Список файлов лабораторной работы