Краулинговый бюджет — число URL, которые краулер поисковика загрузит на сайте за определённый период. Это функция ёмкости краула (сколько краулер может запросить, не перегружая сервер, исходя из времени ответа и ошибок) и спроса на краул (насколько поисковик хочет краулить сайт, исходя из его размера, свежести и воспринимаемой важности).
Определение
Краулинговый бюджет — число URL, которые краулер поисковика загрузит на сайте за определённый период. Это функция ёмкости краула (сколько краулер может запросить, не перегружая сервер, исходя из времени ответа и ошибок) и спроса на краул (насколько поисковик хочет краулить сайт, исходя из его размера, свежести и воспринимаемой важности).
Для малых сайтов это редко ограничение; для больших сайтов оно определяет, как быстро обнаруживается новый контент и как часто перекраулятся важные страницы.
Когда большой сайт тратит краул-бюджет на малоценные URL — комбинации параметров, фильтры, сессионные URL, бесконечную пагинацию, тонкие архивы — он реже перекраулит важные страницы, а новый или обновлённый контент дольше появляется или обновляется в выдаче. Управление краул-бюджетом означает направление краулера к важным страницам и прочь от неважных.
В контексте
На большом iGaming-аффилиатном сайте трата краул-бюджета обычно видна в логах сервера: большая доля запросов краулера приходится на URL ?sort=, ?page=, ?filter=, архивы тегов и авторов и внутренний поиск, тогда как ключевые обзоры и гайды загружаются лишь раз в несколько недель. Рычаги для исправления стандартные — disallow в robots.txt для путей параметров и поиска, noindex для тонких архивов (что также со временем снижает спрос на их краул), чистая карта сайта только с каноническими индексируемыми URL, сильная перелинковка к важным страницам и исправление медленных ответов и страниц ошибок, которые потребляют запросы, не производя индексируемого контента.
Отдача от концентрации краул-бюджета — более быстрая индексация нового контента, более частые перекраулы обновлённых страниц (чтобы изменённый бонус или новый обзор оператора отразился в выдаче быстрее) и более чистые отчёты покрытия индексацией, потому что краулер больше не генерирует шум «просканировано — не проиндексировано» от малоценных URL. Это задача технической гигиены, а не тактика роста сама по себе, но на сайте с десятками тысяч URL она убирает реальный потолок того, насколько отзывчивым сайт может быть в поиске.
Разобранный пример
Анализ логов сервера аффилиатного сайта показывает, что 65% месячных запросов краулера идут на URL с параметрами и архивы тегов. После disallow параметров и noindex архивов запросы краулера смещаются на контентные страницы, новые обзоры индексируются за два дня вместо двух недель, а число URL «просканировано — не проиндексировано» в консоли падает на 8000.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию