Определение
Индексирование — процесс, которым поисковик анализирует загруженную страницу и сохраняет её в своём индексе — огромной базе веб-контента, по которой он ищет, отвечая на запросы. После того как краулер скачал страницу, конвейер индексации разбирает HTML, при необходимости рендерит JavaScript, извлекает текст, изображения, ссылки и структурированные данные, оценивает тему и качество страницы, проверяет директивы вроде noindex и canonical и решает, сохранять ли страницу и как.
Только проиндексированные страницы могут появиться в выдаче.
Страница может быть закраулена, но не проиндексирована по многим причинам: директива noindex, canonical на другой URL, контент, сочтённый слишком тонким или дублирующимся, чтобы его хранить, soft 404, страница, заблокированная сбоем рендеринга, или просто порог качества, который страница не берёт. «Просканировано — в настоящее время не проиндексировано» и «Обнаружено — в настоящее время не проиндексировано» — стандартные состояния в консолях поисковиков, и на крупных сайтах значимая доля URL находится в них.
В контексте
Для iGaming-аффилиатных сайтов покрытие индексацией — ключевая метрика здоровья. Сайт, опубликовавший 2000 обзоров и гайдов, но с проиндексированными лишь 600, не конкурирует за остальные 1400 запросов независимо от того, насколько хороши эти страницы.
Обычные причины связаны с качеством — тонкие, шаблонные или почти-дублирующиеся страницы, которые поисковик решает не хранить, — или технические: проблемы рендеринга, противоречащие директивы, раздутое пространство URL, размывающее внимание краула и индекса, или медленное обнаружение из-за плохой внутренней перелинковки.
Улучшение индексации — это в основном про повышение среднего качества и снижение шума. Консолидировать или убрать тонкие страницы, чтобы оставшийся набор брал порог.
Исправить конфликты директив (страница с noindex, канонизированная в другое место или заблокированная от рендеринга). Урезать малоценное пространство URL через noindex и robots.txt, чтобы краул-бюджет концентрировался.
Усилить внутреннюю перелинковку, чтобы важные страницы обнаруживались и перекраулились. Затем следить за отчётом покрытия индексацией неделями, потому что решения об индексации пересматриваются, и статус страницы может измениться по мере движения общего сигнала качества сайта.
Разобранный пример
У аффилиатного сайта 2100 опубликованных URL, но лишь 640 проиндексированы; консоль показывает 900 как «просканировано — не проиндексировано», большинство — тонкие шаблонные страницы операторов. После слияния их в 200 содержательных обзоров с оригинальным тестированием и удаления остального покрытие индексацией растёт до 1050 за два месяца, а органический трафик примерно удваивается.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию