Поисковые роботы (программы) – это ключевые составляющие поисковых систем. Они осуществляют «добывание» информации в соответствии с запросом пользователя, сортировку её по релевантности и выдачу результатов поиска.

Релевантность в данном случае означает степень соответствия найденного поисковым роботом результата отправленному пользователем запросу.

Все поисковые роботы можно классифицировать по принципу их работы.

1. Спайдер (в переводе с англ. spider – паук) – программа, занимающаяся сканированием веб-страниц. Алгоритм её действия такой: определение сайтов для просмотра и скачивания, установление периодичности просмотра, вычисление количества нужных страниц на каждом сайте.

Следует отметить, что поисковый робот- спайдер  видит изображения и видео лишь в виде html кода. Поэтому важно прописывать название, описание и включать в них и окружающий текст ключевые слова.

2. Краулер (crawler – «ползающий») – программа, работающая со ссылками. Она формирует список страниц для сканирования пауком-спайдером, добавляет в список новые и обновлённые интернет-проекты, а также отмечает неработающие ссылки.

3. Индексатор (indexer) – является мозгом поисковых систем, анализирует структурные части веб-страниц (текст, заголовки, ссылки, ключевые слова). Полученная информация сохраняется в специальных индексных файлах. Эта программа работает с контентом, который приносит ей спайдер.

Вся информация по поисковым запросам, с которыми когда-либо обращались пользователи в данном поисковике, сохраняется в специальном каталоге (базе данных), называемом индексом. Поисковые роботы осуществляют выборку необходимых пользователю данных только в пределах индекса. А чтобы информация не теряла свою актуальность, базы периодически обновляются.

Итак, механизм работы поисковых роботов сводится к следующему:

• отправленный запрос даёт команду «старт» пауку;
• в поле зрения паука в первую очередь попадают крупные сервера и раскрученные интернет-ресурсы, происходит сканирование их страниц;
• следующий этап – «перемещение» паука на другие сайты, находящиеся в сформированном на момент поиска списке;
• и далее – паук отправляется на сайты по ссылкам, выбранным краулером для сканирования;
• поисковая система выбирает наиболее релевантные результаты, формирует список выдачи и предоставляет его пользователю.

 Это общий принцип работы поисковых роботов. Но для каждой конкретной поисковой системы эта работа имеет свои дополнительные нюансы.

Всемирная паутина не имеет чётко структурированной формы. Каждый сайт – уникальное творение его разработчиков. Поэтому не существует определённого стандарта действия поисковика, как, например, в простом информационном поиске.

Заметим, что вновь созданный сайт желательно регистрировать не в одной, а хотя бы в нескольких основных поисковых системах. Ведь каждый пользователь выбирает сам, с каким поисковиком ему работать удобнее.

Чтобы получать новые статьи прямо на свою почту, подпишитесь на новости сайта «Твой Заработок Online»: