Анализ логов сервера в SEO — практика изучения сырых логов доступа веб-сайта, чтобы увидеть, как именно поисковые краулеры взаимодействуют с сайтом: какие URL запрашивают Googlebot и другие боты, как часто, в каком порядке, какие коды статуса они получают, сколько сканирования идёт на ценные страницы против отходов и меняется ли краул-активность после релиза или core-апдейта.
Определение
Анализ логов сервера в SEO — практика изучения сырых логов доступа веб-сайта, чтобы увидеть, как именно поисковые краулеры взаимодействуют с сайтом: какие URL запрашивают Googlebot и другие боты, как часто, в каком порядке, какие коды статуса они получают, сколько сканирования идёт на ценные страницы против отходов и меняется ли краул-активность после релиза или core-апдейта. Поскольку логи записывают каждый запрос, который сервер реально обслужил, они — истина в последней инстанции для поведения сканирования, надёжнее семплированных отчётов craw-статистики в Search Console.
Анализ обычно соединяет данные логов со сканированием сайта и с аналитикой или данными позиций, чтобы каждый URL можно было классифицировать — индексируемый и ценный, индексируемый но тонкий, неиндексируемый, редиректящий, ошибающийся — и сравнить частоту сканирования с этой классификацией. Цель — найти, где краул-бюджет тратится непродуктивно и где важные страницы недосканируются.
В контексте
Анализ логов важнее всего для крупных сайтов, и полномасштабный iGaming-аффилиатный проект с сотнями терминов глоссария, обзоров операторов, бонусных страниц, локализованных вариантов и отфильтрованных URL листингов квалифицируется. Частые находки в этом секторе: краулеры тратят большую долю запросов на параметризованные или фасетные URL, которые должны быть канонизированы или заблокированы; глубокие страницы (отдельные термины глоссария далеко от главной) сканируются редко и потому медленно обновляются в индексе; цепочки редиректов от старых структур URL тратят сканирование; и soft-404 или тонкие страницы пересканируются повторно вместо выбрасывания.
Действие по этому обычно означает подтягивание поверхности сканирования — правила robots.txt для бесконечных параметрических пространств, согласованные canonical-теги, уплощение глубины внутренних ссылок к важным страницам, удаление или консолидация тонких URL и починка редирект-переходов — затем наблюдение логов для подтверждения, что сканирование смещается к важным страницам. После миграции или крупного запуска контента логи — самый быстрый способ подтвердить, что Google обнаружил и сканирует новые URL, и поймать неправильно настроенное правило, которое их блокирует или деприоритизирует, до того как это стоит недель времени индексации.
Разобранный пример
Анализ логов аффилиатного сайта показывает, что 46% запросов Googlebot попадают на сортируемые и отфильтрованные URL листингов без уникальной ценности. Команда добавляет canonical-теги к чистому листингу, блокирует комбинации параметров в robots.txt и уплощает ссылки на глубокие страницы глоссария.
Через четыре недели запросы сканирования к страницам терминов выросли в 3 раза, и новые термины индексируются за дни вместо недель.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию