Краулинговый бюджет: как заставить робота обходить нужное

Краулинговый бюджет — это объём страниц, который поисковый робот готов обойти на вашем сайте за определённое время. Ресурс не бесконечный: если робот тратит его на дубли, мусорные параметры и битые адреса, до важных страниц он добирается медленно или не добирается вовсе. Для больших сайтов это прямая причина, по которой часть каталога месяцами не попадает в индекс. Разберём, что такое краулинговый бюджет, кому о нём стоит думать и как направить обход на то, что действительно должно ранжироваться.

Что такое краулинговый бюджет

Робот не обходит весь сайт за один заход — он выделяет ресурс, зависящий от авторитета сайта, скорости сервера и частоты обновлений. Этот ресурс складывается из двух вещей:

• лимит обхода — сколько запросов робот делает, не перегружая сервер;
• потребность в обходе — насколько поиску интересно переобходить сайт (зависит от свежести и спроса).

Итог — конечное число страниц за период. Если сайт маленький, бюджета хватает на всё, и думать о нём не нужно. Если сайт большой, бюджет становится узким горлышком.

Кому это важно, а кому нет

Не всем стоит тратить силы на оптимизацию бюджета — вопрос в масштабе.

Если у вас визитка или небольшой сайт услуг, робот обойдёт всё без проблем — занимайтесь контентом, а не бюджетом. Эта статья прежде всего для владельцев крупных каталогов и гео-проектов, где в индекс попадает лишь часть страниц.

Что расходует бюджет впустую

Робот тратит ограниченный ресурс на каждый адрес, который запрашивает, — включая бесполезные. Главные «пожиратели» бюджета:

1. Дубли — одинаковый контент по разным URL; робот обходит каждый. Тема разобрана в материале про дубли страниц.
2. Мусорные параметры — сортировки, фильтры, метки, сессии, плодящие бесконечные вариации адресов.
3. Soft-404 — пустые страницы, отдающие код 200 вместо 404, которые робот принимает за настоящие.
4. Цепочки редиректов — каждый шаг A→B→C это лишний запрос.
5. Битые ссылки (404) — робот ходит по ним снова и снова.
6. Бесконечные пространства — календари, генерирующие бесконечные страницы дат, и подобные ловушки.

Всё это отвлекает робота от полезных страниц, которые в результате обходятся реже.

Как оптимизировать обход

Задача — убрать мусор с пути робота и облегчить доступ к важному. Рычаги:

• Закрыть мусор — служебные разделы и параметры через robots.txt и Clean-param, как описано в материале про robots.txt.
• Склеить дубли — canonical на канонические адреса, чтобы робот понимал приоритет.
• Починить коды ответов — устранить цепочки редиректов, битые ссылки и soft-404 (см. редиректы и 404).
• Упростить структуру — плоская иерархия и хорошая перелинковка сокращают путь до глубоких страниц.
• Ускорить сервер — чем быстрее отдаются страницы, тем больше робот успевает обойти.
• Держать sitemap чистым — только канонические страницы с корректным lastmod.

Как отследить проблемы с бюджетом

Оптимизировать вслепую нельзя — сначала смотрят, на что робот тратит обход:

• Статистика обхода в Яндекс Вебмастере и Google Search Console — сколько страниц обходится, какие коды ответов, динамика;
• логи сервера — самый точный источник: видно, какие URL и как часто запрашивает робот, сколько бюджета уходит на мусор;
• отчёты индексации — какие страницы обойдены, но не в индексе, и почему.

Если в логах робот массово ходит по параметрам, редиректам и 404 — это и есть утечка бюджета, которую нужно закрыть.

Признак проблемы: страницы не попадают в индекс

Типичный симптом дефицита бюджета — большой сайт, у которого в индексе лишь часть страниц, а новые попадают туда неделями. Прежде чем винить контент, проверьте, не тратит ли робот силы на мусор. Часто «непопадание в индекс» лечится не написанием новых текстов, а чисткой обхода — это одна из причин, разбираемых в материале про то, почему сайт не растёт в выдаче.

Когда обход настроен, а рост не приходит

Оптимизированный краулинговый бюджет ускоряет попадание страниц в индекс, но не поднимает их в выдаче — это задача контента, ссылок и поведения. Когда робот эффективно обходит нужное и страницы в индексе, а рост встал, помогает работа с поведенческими факторами: сервис TopBooster приводит на проиндексированные страницы живой трафик из поиска и усиливает сигналы качества. Бюджет открывает страницам дорогу в индекс, а дальше решают качество и поведение.

Частые вопросы

Нужно ли моему сайту думать о краулинговом бюджете? Если страниц до нескольких сотен — почти наверняка нет: робот обойдёт всё без проблем, занимайтесь контентом. Бюджет становится узким местом на сайтах в тысячи и десятки тысяч страниц (каталоги, гео-сети) и на часто обновляемых проектах.

Как понять, что бюджет тратится впустую? По логам сервера и статистике обхода в Вебмастере: если робот массово запрашивает параметры, дубли, редиректы и страницы 404, а важные разделы обходит редко — бюджет утекает на мусор. Второй симптом — большой сайт, у которого в индексе лишь часть страниц.

Экономит ли robots.txt краулинговый бюджет? Да, закрытие служебных разделов и мусорных параметров (в Яндексе — через Clean-param) не даёт роботу тратить обход на бесполезные адреса. Но robots не убирает уже существующие дубли из индекса — для их склейки нужен canonical.

Влияет ли скорость сайта на бюджет? Да, напрямую. Чем быстрее сервер отдаёт страницы, тем больше робот успевает обойти в рамках лимита нагрузки. Медленный сервер сокращает число обойденных страниц, поэтому ускорение сайта улучшает и обход, и ранжирование.

Вывод

Краулинговый бюджет — конечный ресурс обхода, который важен для больших и часто обновляемых сайтов. Маленьким проектам о нём думать не нужно. На крупных же он утекает на дубли, мусорные параметры, soft-404, цепочки редиректов и битые ссылки — и из-за этого важные страницы обходятся редко или не попадают в индекс. Направьте робота на нужное: закройте мусор в robots и Clean-param, склейте дубли канониклом, почините коды ответов, упростите структуру и ускорьте сервер, держите sitemap чистым. Отслеживайте обход по логам и Вебмастеру. Настроенный бюджет ускоряет индексацию, а рост дают контент и поведение — оценить нужную поддержку можно на странице тарифов.