LAB1 Захаров А.Е. (544680), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Робот Orange предназначен для поиска в реальном времени. Его планировщик и паук настроены так, чтобы находить новые документы и выбирать из огромного их количества все, хоть сколько-нибудь интересные. Каждый такой документ Orange сразу обрабатывает и выкладывает на базовый поиск. Срочных документов не очень много по сравнению с общим объемом интернета, поэтому обновление базы в реальном времени можно делать и при дневных нагрузках на сервера.

Можно сказать, что поиск в интернете состоит из двух больших частей. Первая – когда Яндекс ищет различные документы в интернете и составляет поисковый индекс. Вторая – когда система ищет ответ на конкретный запрос пользователя в уже подготовленной поисковой базе.

Показ результатов.

В ответ на поисковые запросы пользователей система находит в индексе подходящие страницы и выдаёт наиболее релевантные результаты. Релевантность определяется различными факторами. Один из них – это тематический индекс цитирования тИЦ.

Функции Яндекс «Расширенный поиск», «Исправление опечаток» и «автозаполнение» помогают пользователям быстрее находить нужную информацию, исправляя орфографические ошибки и предоставляя удобный интерфейс для конкретизации запросов.

1. Изучить принципы и модель работы поисковой машины Google.

Сканирование.

В ходе сканирования робот Googlebot обнаруживает новые и обновлённые страницы для добавления в индекс Google.

Google использует огромную сеть компьютеров, чтобы извлечь содержание миллиардов веб-страниц. Программа, выполняющая сканирование, называется роботом Google. Робот Googlebot использует алгоритмический процесс: программы определяют, какие сайты нужно сканировать, как часто это нужно делать, а также какое количество страниц следует выбрать на каждом сайте.

Процесс сканирования Google начинается со списка URL-адресов веб-страниц, созданного на основе предыдущих сеансов сканирования. Просматривая каждый из этих сайтов, поисковый робот Googlebot находит на каждой странице ссылки и добавляет их в список страниц, подлежащих сканированию. Робот Googlebot отмечает все новые и обновлённые сайты, а также неработающие ссылки.

Индексирование.

Робот Googlebot обрабатывает каждую сканируемую страницу, чтобы составить полный индекс всех найденных слов, а также отметить, где именно на странице они находятся. Кроме того, обрабатываются данные из основных тегов и атрибутов, например тегов title и атрибутов alt. Робот Googlebot способен обрабатывать многие (но не все) типы содержания. К примеру, обработке не поддаётся содержание некоторых файлов мультимедиа и динамически создаваемых страниц.

Показ результатов.

Когда пользователь вводит поисковый запрос, система находит в индексе подходящие страницы и выдаёт наиболее релевантные, по мнению системы, результаты. Релевантность определяется различными факторами, которых насчитывается более 200. Один из них – это рейтинг страницы PageRank. PageRank является показателем «важности» страницы и определяется по входящим ссылкам с других страниц.

Функции Google «Похожие запросы», «Возможно, вы имели в виду» и «автозаполнение» помогают пользователям быстрее находить нужную информацию, исправляя орфографические ошибки и подсказывая похожие ключевые слова и популярные запросы.

1. Изучить расширенный режим подачи запросов к поисковой системе.

Яндекс позволяет решать сложные поисковые задачи, не пользуясь языком запросов. Для этого воспользуйтесь формой расширенного поиска, где сложные поисковые условия задаются в простой и наглядной форме [13].

Яндекс позволяет искать страницы не только по всей базе, но и по группе страниц, расположенных на одном или нескольких сайтах. Для этого достаточно указать через запятую адреса сайтов в поле находятся на сайте.

Дополнительно расширенный поиск позволяет указать регион, расположение искомых слов на странице («в заголовке» или «где угодно»), точность соответствия форме поискового запроса («в любой форме» или «точно так, как в запросе»), язык, дату обновления и формат интересующих страниц.

Расширенный поиск поисковой системы Яндекс yandex.ru/search/advanced

Гораздо более широкие возможности предоставляет язык запросов [14]:

1. Проанализировать различные функции оценки релевантности. Указать для каждой функции достоинства и недостатки (например, вероятность выдачи нерелевантной информации).

Функция оценки релевантности TF/IDF.

Достоинства:

• Учитывает не только конкретный документ, в котором встречается слово, но и другие документы коллекции.

• Скорость вычисления. Для формирования оценки достаточно просканировать все документы в пределах одной коллекции.

Недостатки:

• Оценка является статической. Может измениться только при изменении одного из документов коллекции. Не стоит забывать, что Интернет – это не фиксированный набор статических страниц, и то, что было релевантным 10 лет назад, сейчас, возможно, уже нет.

• Частота встречаемости слова далеко не самый надёжный показатель релевантности, особенно для русского языка. Можно составить документ, в котором релевантное слово не будет повторяться (с использованием синонимов), или же, наоборот, текст будет перегружен омонимами нерелевантного слова. В обоих случая функция TF/IDF даст ошибочную оценку релевантности данных слов.

• Совершенно бесполезный текст, буквально перегруженный ключевыми словами, позволит «обхитрить» данную оценку.

• Не учитывается уровень вложенности документа.

Функция оценки релевантности PageRank.

Достоинства:

• Учитывается своего рода «мнение» других страниц.

• Оценка является динамической. PageRank в результате каких-либо событий может и упасть, и возрасти.

Недостатки:

• Порождает множество путей искусственного увеличения PageRank и, как результат, опадание в поисковую выдачу нерелевантных страниц.

• Относительно медленная скорость получения актуального значения оценки, так как перед вычислением PageRank конкретной страницы требуется вычислить PageRank страниц, ссылающихся на данную.

1. Составить обзор методов борьбы с нерелевантным содержимым.

Любые методы борьбы с нерелевантным контентом всегда плотно связаны с различными уловками сайтов для подъёма в поисковой выдаче. Чтобы бороться с нерелевантным содержимым, необходимо понимать, как оно попадает в результаты поиска.

Биржи ссылок позволяют вам выбирать сайты, которые хотят продать текстовые ссылки. Обычно система автоматизирована, продавцы размещают код на своих сайтах, позволяя бирже распространять ссылки в сети. Это самый очевидный способ, который поисковые системы легко обнаруживают и накладывают «штраф» на биржи и сайты, пользующиеся подобными «чёрными услугами».

Отношения ссылок – если все 100% ссылок ведущих на сайт используют исключительно ключевые слова, то это непременно будет сигналом для поисковой системы.

Рост ссылок – заключается в сравнении роста естественных и купленных ссылок. Естественный рост будет медленным, но последовательным, с несколькими пиками, связанными с новым контентом и обновлением сайта. Искусственный рост будет быстрым, со многими пиками и даже с полными падениями, так как люди часто забывают проплатить свои ссылки. Посмотрите на диаграмму ниже, которая показывает, как выглядит естественный рост и как очевидна манипуляция:

Учёт PageRank ссылающихся сайтов. Если ни с того ни с сего на новый сайт начинают ссылаться с десяток сайтов с PR 5, 6, 7, то такому сайту недолго осталось пробыть в индексе поисковой системы.

Сайты, которые «Яндекс» не индексирует или ограничивает ранжирование:

• Копирующие или переписывающие информацию с других ресурсов и не создающие оригинального контента.

• Единственной целью которых является перенаправление пользователя на другой ресурс, автоматически (редирект) или добровольно.

• С автоматически сгенерированным (бессмысленным) текстом.

• С каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.

• С невидимым или слабовидимым текстом или ссылками.

• Отдающие разный контент пользователям и роботам поисковых систем (клоакинг).

• Предоставляющие товары или информацию по партнёрским программам, но не представляющие никакой ценности для пользователя.

• Использующие обманные техники (например, вредоносный код, скрипты, настройки серверов), перенаправляющие пользователей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.

• Содержащие списки поисковых запросов (многократное повторение и перечисление ключевых слов), предназначенные исключительно для обмана поисковой системы и манипулирования результатами её работы, в том числе использование элементов страниц, скрывающих ключевые слова, например, посредством скроллинга или других технических приёмов.

• Группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика.

• Ставящие внешние ссылки исключительно для обмана поисковых систем и «накачивания» релевантности и не являющиеся рекомендацией автора посетить ресурс.

• Сайты или группы сайтов, интенсивно ссылающиеся друг на друга (линкфармы).

• Страницы сайта с результатами поиска.

Используемые источники.

1. Протокол передачи данных [http://ru.wikipedia.org/wiki/Сетевой_протокол]

1. Internet Protocol

[http://ru.wikipedia.org/wiki/IP]

1. IP-адрес

[http://ru.wikipedia.org/wiki/IP-адрес]

1. DNS

[http://ru.wikipedia.org/wiki/DNS]

1. Интернет

[http://ru.wikipedia.org/wiki/Интернет]

1. Поисковая система

[http://ru.wikipedia.org/wiki/Поисковая_система]

1. Калинина А. Э. Интернет-бизнес и электронная коммерция: Учебное пособие. – Волгоград: Изд-во ВолГУ, 2004. – 148 с.

1. Журнал «Biz-Invest» № 2 (май 2004 г).

1. Релевантность

[http://ru.wikipedia.org/wiki/Релевантность]

1. Что такое тИЦ

[http://help.yandex.ru/catalogue/?id=873431]

1. TF-IDF
   [http://ru.wikipedia.org/wiki/TF-IDF]
   
   

2. Исследование методов автоматического реферирования документов [http://www.tsi.lv/ResTech/2009/vol4_1/vol4_N1-section1.pdf]

1. Расширенный поиск

[http://help.yandex.ru/search/?id=481920]

1. Памятка по использованию языка запросов

[http://help.yandex.ru/search/?id=1111313]

1. Технология индексирования Интернета «Яндекс»

[http://company.yandex.ru/technologies/searchindex]

Характеристики

Список файлов лабораторной работы