Когда ИИ приходит на ваш сайт. Анатомия 600 000 визитов краулеров
Исследование GolOps — 575 788 визитов ИИ-краулеров, 7 систем, окно с июня 2025 по февраль 2026. Кто обходит ваш сайт, как часто возвращается и почему разрыв между обходом и цитированием решает, попадёте ли вы в поле выбора.
Команда GolOps
Прежде чем ИИ-система процитирует компанию, её краулер должен прийти на сайт, прочитать страницу и решить, что с ней делать. Большинство компаний не знают, кто к ним приходит, как часто и что именно забирает. А обходят сайт совсем не так, как Google.
GolOps разложил это поведение. 575 788 визитов ИИ-краулеров, 7 систем — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Bytespider — в окне с июня 2025 по февраль 2026. Источник данных — серверные логи доступа: фактические обращения ботов, а не оценки и не симуляции.
| Метрика | Значение |
|---|---|
| Визитов краулеров проанализировано | 575 788+ |
| ИИ-краулеров отслежено | 7 |
| Доля OpenAI в трафике | 72,3% |
| Страниц с единственным визитом | 88,5% |
Окно данных: июнь 2025 — февраль 2026
Ключевые находки
72,3% трафика — OpenAI. GPTBot и OAI-SearchBot вместе дают почти три четверти всех визитов ИИ-краулеров. Это вчетверо больше, чем Anthropic, Google, Perplexity, Meta и Amazon вместе взятые. Кто оптимизирует под чужой обход, оптимизирует не под тот.
ИИ-краулеры пропускают главную. Обучающий краулер ChatGPT заходит на главную страницу лишь в 2,8% случаев — идёт прямо в глубину: статьи, документация, продуктовые страницы. ClaudeBot ведёт себя иначе: с главной он начинает в 19,2% случаев, обход сверху вниз. Разные системы читают сайт по разной логике.
88,5% страниц получают ровно один визит. Большинство краулеров работают по принципу «один раз и больше не вернусь». Содержимое должно быть готово до прихода бота — второго шанса может не быть. Значит, дорабатывать страницу после публикации почти бесполезно: важна готовность к первому обходу.
Блог — новая входная дверь. Поисковый краулер ChatGPT начинает сессию с блог-страницы в 21% случаев — против 1% для главной. ИИ-поиск тянет не структуру сайта, а ответ на конкретный вопрос. Цитируется не лендинг, а гайд.
Правило трёх кликов. Больше половины обучающего трафика приходится на страницы в пределах трёх кликов от главной. Контент, закопанный на глубине 5+, краулер находит редко. Плоская архитектура даёт измеримое преимущество.
Методология
В основе — серверные логи доступа сайтов, подключённых к мониторингу краулеров GolOps. Окно — июнь 2025 — февраль 2026, более 575 788 индивидуальных визитов от GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Bytespider и других ботов с ИИ-идентификацией. Данные обезличены и агрегированы до анализа. Число визитов, глубина страницы, точки входа и частота повторных обходов посчитаны отдельно по каждому краулеру — чтобы развести поведение обучающих краулеров и краулеров реального времени.
Два типа краулеров: обучение против поиска
От цели краулера зависит, когда и как ваш контент попадёт в ответ пользователю.
Обучающие краулеры собирают данные для будущих моделей. Ваш контент формирует то, как ИИ будет отвечать через месяцы. Эффект отложенный, но долгий.
Поисковые краулеры тянут контент в реальном времени. Когда пользователь задаёт вопрос, система забирает страницу и цитирует её прямо в ответе. Эффект немедленный — страница может появиться в ответе ChatGPT уже сегодня.
| Тип | Доля трафика | Эффект | Что определяет |
|---|---|---|---|
| Обучающие краулеры | 61% | Долгосрочный | Как ИИ опишет вас через месяцы |
| Поисковые краулеры | 15% | Немедленный | Попадёте ли в ответ сегодня |
Здесь и проходит разрыв между обходом и цитированием. Обучающий обход — это инвестиция в будущую позицию. Поисковый — участие в выборе прямо сейчас. И разрыв огромен: по данным Cloudflare, Anthropic делает около 70 900 запросов HTML-страниц на один переход к источнику. Обход идёт несоизмеримо чаще, чем реальное цитирование.
Кто обходит ваш сайт
Между обучением и поиском OpenAI контролирует 72,3% всего трафика ИИ-краулеров. Claude — 3,8%. ByteSpider от TikTok тихо держит третье место и обходит больше сайтов, чем любой другой бот. Meta и Amazon замыкают пятёрку, но ни один не дотягивает до 8%.
| # | Краулер | Визитов | Доля |
|---|---|---|---|
| 1 | ChatGPT Training (GPTBot) | 329 572 | 57,2% |
| 2 | ChatGPT Search (OAI-SearchBot) | 87 155 | 15,1% |
| 3 | ByteSpider (TikTok) | 52 704 | 9,2% |
| 4 | Meta | 45 445 | 7,9% |
| 5 | Amazon | 38 335 | 6,7% |
| 6 | Claude Training (ClaudeBot) | 22 074 | 3,8% |
Ранжировано по доле трафика. Июнь 2025 — февраль 2026
Соотношение обучающего и поискового обхода у OpenAI — 3,8 : 1. Рынок ботов поделён неравномерно: одна доминирующая система и длинный хвост остальных. Кто хочет управлять своей позицией в поле выбора, начинает с того, что видит именно краулер OpenAI. Cloudflare публикует разбивку трафика ИИ-краулеров по цели и отрасли, и она подтверждает: обучение и поиск ведут себя как два разных типа обхода.
Разные философии обхода
Обучающие краулеры читают сайт по-разному, и это не случайные расхождения.
| Краулер | Заходы на главную | Логика |
|---|---|---|
| Claude Training | 19,2% | Сначала разбирается, кто вы |
| ChatGPT Training | 2,8% | Сразу уходит в глубину контента |
Claude заходит на главную в 7 раз чаще, чем обучающий краулер ChatGPT. Ему важно понять, кто вы и в чём ваша экспертиза, — отсюда обход сверху вниз. ChatGPT пропускает фасад и идёт за содержанием. Для Claude это значит, что главная должна прямо отвечать на вопрос «кто эта компания и в чём она авторитет». Для ChatGPT важнее глубина каталога.
Время обхода выдаёт намерение
Краулеры работают по расписанию, и у каждой системы оно своё.
| Краулер | Будни (сред.) | Выходные (сред.) | Изменение |
|---|---|---|---|
| ChatGPT Training | 1 430 | 1 841 | +29% |
| ChatGPT Search | 383 | 540 | +41% |
| Claude Training | 99 | 91 | −8% |
OpenAI наращивает обход на выходных, когда человеческий трафик падает, — забирает свободную ёмкость. Claude делает обратное: на выходных он на 8% менее активен. Отсюда практическое следствие: публикация в будни быстрее попадёт под обход Anthropic, публикация под выходные — под обход OpenAI.
Блог — ваша входная дверь в ИИ
Поисковый краулер ChatGPT — тот, что питает ответы в реальном времени, — начинает сессию с блог-страницы в 21% случаев. Это не случайный обход. Когда пользователь задаёт вопрос, система целевым образом забирает блог-контент.
| Точка входа | Доля сессий | Что это |
|---|---|---|
| Блог-страницы | 21% | Статьи, гайды, разборы |
| Продуктовые страницы | 3% | Фичи, цены, документация |
| Главная | 1% | Основной лендинг |
| Прочее | 75% | Остальные входы |
Через блог-контент входят в 21 раз чаще, чем через главную. Значит, краулер не индексирует сайт иерархически — он ищет ответ на конкретный запрос. Первыми забираются страницы, которые прямо отвечают на вопрос: «как сделать», «лучшие практики», сравнения «X против Y». Это и есть новый органический канал, и держится он на гайдах, сравнениях и инструкциях. Этот разрыв мы разобрали отдельно: ИИ ходит на продуктовые страницы, а цитирует блог.
Почему они приходят только раз
| Визитов на URL | Доля URL |
|---|---|
| 1 | 88,5% |
| 2 | 8,3% |
| 3–5 | 2,4% |
| 6–10 | 0,4% |
| 10+ | 0,3% |
88,5% адресов краулер посещает ровно один раз и больше не возвращается. Третьего захода удостаиваются лишь 2,4% URL. Даже у выбросов потолок практический — около пяти визитов (P99). Краулер обращается со страницей как с одноразовой: один взгляд, без возврата.
Из этого следует жёсткое правило. Содержимое должно быть готово к моменту первого обхода: разметка, структура, упоминание бренда, свежесть. И готово именно в HTML: исследование Vercel показало, что ИИ-краулеры не выполняют JavaScript — что не отрисовано на сервере, бот не увидит. Регулярная донастройка после публикации работает слабо — бот к этому моменту уже ушёл и не вернётся. Что важнее для первого обхода — разметка или сам формат, мы проверяли в контролируемом эксперименте.
Правило трёх кликов
Обучающий краулер ChatGPT идёт по архитектуре сайта. Наибольшее внимание получают страницы средней глубины; на главную приходится менее 3% визитов.
| Уровень | Пример | Доля визитов |
|---|---|---|
| Глубина 0 | / | 2,7% |
| Глубина 1 | /about | 10,3% |
| Глубина 2 | /blog/post | 19,6% |
| Глубина 3 | /blog/2024/post | 51,7% |
| Глубина 3 | /docs/api/auth | 12,0% |
| Глубина 4+ | /docs/api/v1/... | 3,7% |
Больше половины обхода концентрируется на глубине 3. Если лучший контент закопан на глубине 5+, шанс, что краулер его найдёт, резко падает. Держите важные страницы в пределах трёх кликов от главной. Плоская архитектура — это не вопрос вкуса, а измеримое преимущество в обходе.
Охват против глубины
Каждый краулер по-своему выбирает между широтой охвата и глубиной обхода.
| Краулер | Охват сайтов | Визитов на сайт | Стратегия |
|---|---|---|---|
| ChatGPT Search | 76% | 1 362 | Широкий охват, умеренная глубина |
| ChatGPT Training | 70% | 5 586 | Меньше сайтов, исчерпывающий обход |
| Claude Training | 56% | 470 | Избирательно, точечно |
ChatGPT Search ставит на широту — обходит 76% сайтов в выборке. ChatGPT Training ставит на глубину: сайтов меньше, но в среднем 5 586 визитов на каждый. Claude самый избирательный — всего 470 визитов на сайт. Важная деталь для небольших компаний: через поисковый краулер ChatGPT (76%) доступно больше сайтов, чем глубоко обучает обучающий краулер (70%). Шанс попасть в ответ реального времени выше, чем шанс попасть в обучающую выборку.
Управленческое чтение
- Обход — не цитирование. Между приходом краулера и появлением бренда в ответе лежит разрыв: страницу нужно прочитать, извлечь из неё пригодный фрагмент и выбрать при сборке ответа — это вопрос структуры, а не объёма контента.
- Один заход — и всё. 88,5% страниц краулер посещает ровно раз; окно влияния узкое и не повторяется, поэтому контент должен быть готов до прихода бота, а не дорабатываться после.
- Блог — парадная дверь. Поисковый ChatGPT входит через блог в 21 раз чаще, чем через главную, — цитируется ответ на конкретный вопрос, а не структура сайта.
GolOps берёт этот слой под управление: измеряет позицию в поле выбора через Индекс Контроля Выбора, привязывает её к конкретным краулерам и сценариям и переводит замер в приоритизированный план. Стратегический пилот закрывает первый цикл за 10–12 недель, а Центр Управления держит контур на семи ИИ-системах в постоянном режиме.
Чего стоит молчание
Обход идёт уже сейчас, а позиция в выборе остаётся неизвестной: краулер приходит, но компания не знает, ту ли версию себя он прочитал. Gartner прогнозирует, что к 2028 году 90% B2B-закупок пойдут через автономных ИИ-агентов, а Semrush уже фиксирует конверсию из ИИ-каналов в 4,4 раза выше, чем из органического поиска. А цена молчания сводится к одной цифре: 72,3% всего обхода контролирует OpenAI, и каждый необработанный визит этого краулера уходит конкуренту, чью страницу он прочитал и забрал.
Но даже попасть в цитирование — половина дела: его ещё нужно удержать:
Период полураспада ИИ-цитирований. Как быстро вас перестают цитировать