Краулер (spider, bot) — автоматическая программа, которую поисковик использует для обнаружения и загрузки веб-страниц. Он стартует с набора известных URL, скачивает каждую страницу, извлекает ссылки на ней и добавляет вновь обнаруженные URL в очередь для загрузки позже, повторяя процесс непрерывно по всему вебу.
Определение
Краулер (spider, bot) — автоматическая программа, которую поисковик использует для обнаружения и загрузки веб-страниц. Он стартует с набора известных URL, скачивает каждую страницу, извлекает ссылки на ней и добавляет вновь обнаруженные URL в очередь для загрузки позже, повторяя процесс непрерывно по всему вебу.
Загруженные страницы затем передаются системам индексации, которые разбирают контент, при необходимости рендерят его и решают, что сохранить.
Краулеры соблюдают набор правил. robots.txt сообщает краулеру, какие пути он может или не может запрашивать. Директивы meta robots и X-Robots-Tag на загруженной странице сообщают, индексировать ли страницу и следовать ли по её ссылкам.
Настройки скорости краула и время ответа самого сервера определяют, насколько агрессивно краулер загружает. Карты сайта и внутренние ссылки ведут краулер к URL, которые владелец сайта хочет, чтобы обнаружили.
В контексте
Для крупного iGaming-аффилиатного сайта поведение краулера — практическое ограничение. Сайт с десятками тысяч URL — обзор на оператора, отфильтрованные и пагинированные списки, архивы тегов, вариации параметров — имеет конечный краул-бюджет, и если краулер тратит его на малоценные URL с параметрами и тонкие архивы, он реже перекраулирует важные страницы и может дольше не обнаруживать новый контент.
Управление этим означает блокировку или noindex малоценных URL, направление внутренних ссылок на важные страницы, подачу чистой карты сайта и исправление медленных ответов и страниц ошибок, которые тратят попытки краула.
Краулеры также рендерят JavaScript, но рендеринг ресурсоёмок и может быть отложен или неполон, поэтому контент и ссылки, появляющиеся только после клиентского выполнения, могут краулиться поздно или пропускаться. Аффилиатным сайтам, полагающимся на JavaScript для построения сравнительных таблиц, вставки партнёрских ссылок или загрузки обзоров, стоит проверять, что отрендеренный HTML, который видит краулер, содержит контент и ссылки, от которых они зависят, используя инструменты проверки самого поисковика, а не предполагая соответствие тому, что показывает браузер.
Разобранный пример
Логи сервера аффилиата показывают, что 60% запросов краулера поисковика за месяц приходятся на URL с параметрами (?sort=, ?page=, ?filter=) и архивы тегов, тогда как ключевые обзоры перекраулятся лишь раз в три недели. После noindex архивов и disallow параметров сортировки внимание краулера смещается на обзоры, которые перекраулятся каждые несколько дней и быстрее обновляются в выдаче.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию