Поисковые роботы

Что из себя представляют поисковые роботы?

Поисковые роботы представляют собой специальные программы, постоянно сканирующие содержание Всемирной Сети. Тут нужно сделать небольшое, однако, крайне важное дополнение – поисковые роботы просматривают лишь текст. Под текстом можно понимать файлы веб страниц на языках htm, html, xml, shtml и тому подобные. Остальные же файлы, такие, как например, музыка и видео, роботы не просматривают. Зачастую вместо понятия поискового робота используется другое – поисковик, или поисковая машина. Это не вполне верно. Поисковая машина это целый комплекс элементов в число основных компонентов которого входят:

• Web-интерфейс
• Алгоритм поиска
• База данных
• Индексатор
  
• Поисковый робот

На самом деле этот список намного больше и включает в себя разнообразные обработчики запросов и дополнительные сервисы. Однако, это материал для отдельной статьи.

Для чего используются поисковые роботы?

Огромная сеть, называемая Интернет, содержит в себе колоссальное количество различной информации, в которой нужно каким-то образом ориентироваться, иметь возможность находить нужные данные в нужный момент времени. Именно для этой цели и работают поисковые системы. Для того, чтобы обработать запрос пользователя, поисковая система должна знать, какие документы есть в Интернет и по какому адресу они находятся. Для этого необходимо предварительно просмотреть все сайты и занести содержимое в собственную базу. Именно этими операциями и занимаются поисковые роботы. После чего, при получении запроса пользователя, поисковая система просматривает собственную базу данных и предоставляет пользователю результат в виде выдачи релевантных запросу страниц.

Может показаться, что все тут просто и нет никакой необходимости уделять столько внимания тому, что сайт будет просканирован программой. Однако программы-роботы просматривают сайт не единожды, а так как информация в сети постоянно обновляется, также работают постоянно. Какие-то ресурсы прекращают свою работу, какие-то появляются, какие-то меняют свое содержимое - все эти изменения необходимо постоянно вносить в базу данных поисковых машин. Иначе уже через несколько недель качество поиска снизится многократно, а результаты станут совершенно неудовлетворительными.

Компьютеры, на которых установлены программы роботы, имеют очень высокие характеристики мощности и позволяют просматривать максимальное количество страниц за единицу времени. Процесс просмотра роботами страниц и занесением их в базу поисковика называется индексацией. Говорят, что сайт проиндексирован, когда поисковые роботы просмотрели все материалы ресурса. Но каким образом роботы успевают обходить все страницы?

Настройка поискового робота осуществляется таким образом, что на различные ресурсы робот может заходить с разной частотой. В случае, когда сайт обновляется часто, робот может заходить каждый день. Наоборот, если раз за разом робот не находит изменений содержимого, то интервалы посвящений могут увеличиваться. В итоге индексация ресурса может происходить реже, чем раз в две недели. Именно потому для оптимального продвижения сайта, необходимо периодическое обновление материалов, статей, новостей ресурса.

Каким образом поисковые роботы ориентируются в Интернет?

Движение робота в сети осуществляется по ссылкам на сайтах. При очередном просмотре сайта, робот замечает новые ссылки на свежие документы, внешние ссылки на другие сайты. Робот либо переходит по новой ссылке немедленно, либо заносит ссылку к себе в «задания» и перейдет по ней через какое-то время.