Краулинговый бюджет LLM: как пустить ИИ-ботов на сайт

Почему это важно прямо сейчас

До 2023 года список значимых краулеров был стабилен: Googlebot, Яндекс-бот, BingBot — и несколько десятков нишевых сканеров. Сегодня картина кардинально изменилась. ChatGPT с функцией Browse, Perplexity AI, Яндекс Нейро и десятки других LLM-продуктов активно сканируют веб в поисках актуального контента для ответов в реальном времени.

Если ваш robots.txt написан три года назад и содержит общее правило `Disallow: /` для неизвестных ботов — вы, скорее всего, уже блокируете часть LLM-краулеров. Они просто не получают доступ к вашим страницам, и ваш контент не цитируется в ответах нейросетей, даже если по качеству он лучший в нише.

Важная деталь: некоторые боты (например, PerplexityBot) не всегда строго следуют robots.txt — они могут игнорировать Crawl-delay и даже отдельные Disallow-правила при высокой нагрузке запросов. Это не повод отказываться от настройки, но повод держать мониторинг логов постоянно включённым.

Отдельно стоит упомянуть RAG-краулеры корпоративных решений — Microsoft Copilot использует Bingbot с расширенными правами, а ряд enterprise-LLM работает через общие пулы IP без фиксированного user-agent. Для таких случаев единственный способ контроля — анализ паттернов в логах по частоте и маршрутам обхода.

Распространённая ошибка — полагаться на общее правило `User-agent: *` с `Allow: /` и считать, что этого достаточно. Некоторые LLM-краулеры (особенно корпоративные) интерпретируют wildcard-правила иначе или имеют собственную логику приоритетов. Явные секции для каждого важного бота — единственный надёжный способ управлять доступом.

Ещё один нюанс: если у вас настроена защита от ботов (Cloudflare Bot Fight Mode, nginx rate-limiting или WAF-правила), убедитесь, что IP-диапазоны и user-agent LLM-краулеров добавлены в белый список. Иначе бот получит 403 или 429 — и в логах robots.txt всё будет «правильно», но страницы так и не будут проиндексированы.

Скорость сервера и ответ в реальном времени

LLM-поисковики, работающие в режиме реального времени (Perplexity, Яндекс Нейро, SearchGPT), выбирают источники не только по релевантности, но и по скорости отклика. Когда пользователь задаёт вопрос, система за доли секунды решает, какие URL запросить для формирования ответа. Медленный сайт попросту не успевает попасть в выборку.

Ключевой показатель — TTFB (Time to First Byte). Для попадания в реалтайм-ответы ориентируйтесь на TTFB ≤ 200 мс для кешированных страниц и ≤ 800 мс для динамических. Проверить можно через Яндекс Вебмастер (раздел «Скорость сайта»), Google Search Console (Core Web Vitals) или инструменты WebPageTest и GTmetrix.

Помимо TTFB, важны: стабильность сервера (uptime ≥ 99,5%), отсутствие 5xx-ошибок при параллельных запросах и корректная обработка HEAD-запросов — некоторые LLM-краулеры сначала делают HEAD, чтобы проверить доступность страницы, и только потом GET.

Как проверить, что боты действительно заходят

Ни Яндекс Вебмастер, ни Google Search Console пока не отображают визиты LLM-ботов в отдельном отчёте. Единственный достоверный источник — access-логи веб-сервера.

Для nginx стандартный путь к логам: `/var/log/nginx/access.log`. Для Apache: `/var/log/apache2/access.log`. Фильтрация по нужному боту:

```bash grep -i "OAI-SearchBot" /var/log/nginx/access.log | tail -50 grep -i "ClaudeBot" /var/log/nginx/access.log | wc -l grep -i "PerplexityBot" /var/log/nginx/access.log ```

Что смотреть в логах: HTTP-статус ответа (200 — хорошо, 403/429 — заблокирован, 5xx — ошибка сервера), частоту визитов (слишком редко — возможно, бот получает ошибки), какие именно страницы обходятся (приоритет бота) и соответствие Crawl-delay реальным интервалам между запросами.

Отдельный вопрос — разграничение доступа для обучения и для поиска. Некоторые владельцы сайтов хотят, чтобы их контент попадал в ответы нейросетей (поисковый краулинг), но не использовался для дообучения моделей. Для этого Google ввёл `Google-Extended` — его можно заблокировать отдельно от основного Googlebot. Аналогично `ClaudeBot` у Anthropic используется как для обучения, так и для RAG. Если вы хотите разрешить только поиск, уточняйте в документации платформы, какой именно user-agent отвечает за какую функцию.

Практика показывает: сайты, которые явно открыли доступ для LLM-краулеров и оптимизировали TTFB, начинают появляться в ответах Яндекс Нейро и Perplexity уже через 2–4 недели после изменений — при условии, что контент релевантен запросам пользователей.