---
title: Когда ИИ приходит на ваш сайт. Анатомия 600 000 визитов краулеров
description: Исследование GolOps — 575 788 визитов ИИ-краулеров, 7 систем, окно с июня 2025 по февраль 2026. Кто обходит ваш сайт, как часто возвращается и почему разрыв между обходом и цитированием решает, попадёте ли вы в поле выбора.
date: 2026-03-24T00:00:00Z
lastmod: 2026-06-02T00:00:00Z
published: true
categories: [research, llm]
author: golops
---

Прежде чем ИИ-система процитирует компанию, её краулер должен прийти на сайт, прочитать страницу и решить, что с ней делать. Большинство компаний не знают, кто к ним приходит, как часто и что именно забирает. А обходят сайт совсем не так, как Google.

GolOps разложил это поведение. 575 788 визитов ИИ-краулеров, 7 систем — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Bytespider — в окне с июня 2025 по февраль 2026. Источник данных — серверные логи доступа: фактические обращения ботов, а не оценки и не симуляции.

| Метрика | Значение |
|---|---|
| Визитов краулеров проанализировано | 575 788+ |
| ИИ-краулеров отслежено | 7 |
| Доля OpenAI в трафике | 72,3% |
| Страниц с единственным визитом | 88,5% |

*Окно данных: июнь 2025 — февраль 2026*

## Ключевые находки

**72,3% трафика — OpenAI.** GPTBot и OAI-SearchBot вместе дают почти три четверти всех визитов ИИ-краулеров. Это вчетверо больше, чем Anthropic, Google, Perplexity, Meta и Amazon вместе взятые. Кто оптимизирует под чужой обход, оптимизирует не под тот.

**ИИ-краулеры пропускают главную.** Обучающий краулер ChatGPT заходит на главную страницу лишь в 2,8% случаев — идёт прямо в глубину: статьи, документация, продуктовые страницы. ClaudeBot ведёт себя иначе: с главной он начинает в 19,2% случаев, обход сверху вниз. Разные системы читают сайт по разной логике.

**88,5% страниц получают ровно один визит.** Большинство краулеров работают по принципу «один раз и больше не вернусь». Содержимое должно быть готово до прихода бота — второго шанса может не быть. Значит, дорабатывать страницу после публикации почти бесполезно: важна готовность к первому обходу.

**Блог — новая входная дверь.** Поисковый краулер ChatGPT начинает сессию с блог-страницы в 21% случаев — против 1% для главной. ИИ-поиск тянет не структуру сайта, а ответ на конкретный вопрос. Цитируется не лендинг, а гайд.

**Правило трёх кликов.** Больше половины обучающего трафика приходится на страницы в пределах трёх кликов от главной. Контент, закопанный на глубине 5+, краулер находит редко. Плоская архитектура даёт измеримое преимущество.

## Методология

В основе — серверные логи доступа сайтов, подключённых к мониторингу краулеров GolOps. Окно — июнь 2025 — февраль 2026, более 575 788 индивидуальных визитов от GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Bytespider и других ботов с ИИ-идентификацией. Данные обезличены и агрегированы до анализа. Число визитов, глубина страницы, точки входа и частота повторных обходов посчитаны отдельно по каждому краулеру — чтобы развести поведение обучающих краулеров и краулеров реального времени.

## Два типа краулеров: обучение против поиска

От цели краулера зависит, когда и как ваш контент попадёт в ответ пользователю.

**Обучающие краулеры собирают данные для будущих моделей.** Ваш контент формирует то, как ИИ будет отвечать через месяцы. Эффект отложенный, но долгий.

**Поисковые краулеры тянут контент в реальном времени.** Когда пользователь задаёт вопрос, система забирает страницу и цитирует её прямо в ответе. Эффект немедленный — страница может появиться в ответе ChatGPT уже сегодня.

| Тип | Доля трафика | Эффект | Что определяет |
|---|---|---|---|
| Обучающие краулеры | 61% | Долгосрочный | Как ИИ опишет вас через месяцы |
| Поисковые краулеры | 15% | Немедленный | Попадёте ли в ответ сегодня |

Здесь и проходит разрыв между обходом и цитированием. Обучающий обход — это инвестиция в будущую позицию. Поисковый — участие в выборе прямо сейчас. И разрыв огромен: по данным [Cloudflare](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/), Anthropic делает около 70 900 запросов HTML-страниц на один переход к источнику. Обход идёт несоизмеримо чаще, чем реальное цитирование.

## Кто обходит ваш сайт

Между обучением и поиском OpenAI контролирует 72,3% всего трафика ИИ-краулеров. Claude — 3,8%. ByteSpider от TikTok тихо держит третье место и обходит больше сайтов, чем любой другой бот. Meta и Amazon замыкают пятёрку, но ни один не дотягивает до 8%.

| # | Краулер | Визитов | Доля |
|---|---|---|---|
| 1 | ChatGPT Training (GPTBot) | 329 572 | 57,2% |
| 2 | ChatGPT Search (OAI-SearchBot) | 87 155 | 15,1% |
| 3 | ByteSpider (TikTok) | 52 704 | 9,2% |
| 4 | Meta | 45 445 | 7,9% |
| 5 | Amazon | 38 335 | 6,7% |
| 6 | Claude Training (ClaudeBot) | 22 074 | 3,8% |

*Ранжировано по доле трафика. Июнь 2025 — февраль 2026*

Соотношение обучающего и поискового обхода у OpenAI — 3,8 : 1. Рынок ботов поделён неравномерно: одна доминирующая система и длинный хвост остальных. Кто хочет управлять своей позицией в поле выбора, начинает с того, что видит именно краулер OpenAI. Cloudflare публикует [разбивку трафика ИИ-краулеров по цели и отрасли](https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/), и она подтверждает: обучение и поиск ведут себя как два разных типа обхода.

## Разные философии обхода

Обучающие краулеры читают сайт по-разному, и это не случайные расхождения.

| Краулер | Заходы на главную | Логика |
|---|---|---|
| Claude Training | 19,2% | Сначала разбирается, кто вы |
| ChatGPT Training | 2,8% | Сразу уходит в глубину контента |

Claude заходит на главную в 7 раз чаще, чем обучающий краулер ChatGPT. Ему важно понять, кто вы и в чём ваша экспертиза, — отсюда обход сверху вниз. ChatGPT пропускает фасад и идёт за содержанием. Для Claude это значит, что главная должна прямо отвечать на вопрос «кто эта компания и в чём она авторитет». Для ChatGPT важнее глубина каталога.

## Время обхода выдаёт намерение

Краулеры работают по расписанию, и у каждой системы оно своё.

| Краулер | Будни (сред.) | Выходные (сред.) | Изменение |
|---|---|---|---|
| ChatGPT Training | 1 430 | 1 841 | +29% |
| ChatGPT Search | 383 | 540 | +41% |
| Claude Training | 99 | 91 | −8% |

OpenAI наращивает обход на выходных, когда человеческий трафик падает, — забирает свободную ёмкость. Claude делает обратное: на выходных он на 8% менее активен. Отсюда практическое следствие: публикация в будни быстрее попадёт под обход Anthropic, публикация под выходные — под обход OpenAI.

## Блог — ваша входная дверь в ИИ

Поисковый краулер ChatGPT — тот, что питает ответы в реальном времени, — начинает сессию с блог-страницы в 21% случаев. Это не случайный обход. Когда пользователь задаёт вопрос, система целевым образом забирает блог-контент.

| Точка входа | Доля сессий | Что это |
|---|---|---|
| Блог-страницы | 21% | Статьи, гайды, разборы |
| Продуктовые страницы | 3% | Фичи, цены, документация |
| Главная | 1% | Основной лендинг |
| Прочее | 75% | Остальные входы |

Через блог-контент входят в 21 раз чаще, чем через главную. Значит, краулер не индексирует сайт иерархически — он ищет ответ на конкретный запрос. Первыми забираются страницы, которые прямо отвечают на вопрос: «как сделать», «лучшие практики», сравнения «X против Y». Это и есть новый органический канал, и держится он на гайдах, сравнениях и инструкциях. Этот разрыв мы разобрали отдельно: [ИИ ходит на продуктовые страницы, а цитирует блог](/publications/page-type-citation-gap).

## Почему они приходят только раз

| Визитов на URL | Доля URL |
|---|---|
| 1 | 88,5% |
| 2 | 8,3% |
| 3–5 | 2,4% |
| 6–10 | 0,4% |
| 10+ | 0,3% |

88,5% адресов краулер посещает ровно один раз и больше не возвращается. Третьего захода удостаиваются лишь 2,4% URL. Даже у выбросов потолок практический — около пяти визитов (P99). Краулер обращается со страницей как с одноразовой: один взгляд, без возврата.

Из этого следует жёсткое правило. Содержимое должно быть готово к моменту первого обхода: разметка, структура, упоминание бренда, свежесть. И готово именно в HTML: [исследование Vercel](https://vercel.com/blog/the-rise-of-the-ai-crawler) показало, что ИИ-краулеры не выполняют JavaScript — что не отрисовано на сервере, бот не увидит. Регулярная донастройка после публикации работает слабо — бот к этому моменту уже ушёл и не вернётся. Что важнее для первого обхода — разметка или сам формат, мы проверяли в [контролируемом эксперименте](/publications/markdown-crawler-experiment).

## Правило трёх кликов

Обучающий краулер ChatGPT идёт по архитектуре сайта. Наибольшее внимание получают страницы средней глубины; на главную приходится менее 3% визитов.

| Уровень | Пример | Доля визитов |
|---|---|---|
| Глубина 0 | `/` | 2,7% |
| Глубина 1 | `/about` | 10,3% |
| Глубина 2 | `/blog/post` | 19,6% |
| Глубина 3 | `/blog/2024/post` | 51,7% |
| Глубина 3 | `/docs/api/auth` | 12,0% |
| Глубина 4+ | `/docs/api/v1/...` | 3,7% |

Больше половины обхода концентрируется на глубине 3. Если лучший контент закопан на глубине 5+, шанс, что краулер его найдёт, резко падает. Держите важные страницы в пределах трёх кликов от главной. Плоская архитектура — это не вопрос вкуса, а измеримое преимущество в обходе.

## Охват против глубины

Каждый краулер по-своему выбирает между широтой охвата и глубиной обхода.

| Краулер | Охват сайтов | Визитов на сайт | Стратегия |
|---|---|---|---|
| ChatGPT Search | 76% | 1 362 | Широкий охват, умеренная глубина |
| ChatGPT Training | 70% | 5 586 | Меньше сайтов, исчерпывающий обход |
| Claude Training | 56% | 470 | Избирательно, точечно |

ChatGPT Search ставит на широту — обходит 76% сайтов в выборке. ChatGPT Training ставит на глубину: сайтов меньше, но в среднем 5 586 визитов на каждый. Claude самый избирательный — всего 470 визитов на сайт. Важная деталь для небольших компаний: через поисковый краулер ChatGPT (76%) доступно больше сайтов, чем глубоко обучает обучающий краулер (70%). Шанс попасть в ответ реального времени выше, чем шанс попасть в обучающую выборку.

## Управленческое чтение

- **Обход — не цитирование.** Между приходом краулера и появлением бренда в ответе лежит разрыв: страницу нужно прочитать, извлечь из неё пригодный фрагмент и выбрать при сборке ответа — это вопрос структуры, а не объёма контента.
- **Один заход — и всё.** 88,5% страниц краулер посещает ровно раз; окно влияния узкое и не повторяется, поэтому контент должен быть готов до прихода бота, а не дорабатываться после.
- **Блог — парадная дверь.** Поисковый ChatGPT входит через блог в 21 раз чаще, чем через главную, — цитируется ответ на конкретный вопрос, а не структура сайта.

GolOps берёт этот слой под управление: измеряет позицию в поле выбора через Индекс Контроля Выбора, привязывает её к конкретным краулерам и сценариям и переводит замер в приоритизированный план. Стратегический пилот закрывает первый цикл за 10–12 недель, а Центр Управления держит контур на семи ИИ-системах в постоянном режиме.

## Чего стоит молчание

Обход идёт уже сейчас, а позиция в выборе остаётся неизвестной: краулер приходит, но компания не знает, ту ли версию себя он прочитал. Gartner прогнозирует, что к 2028 году 90% B2B-закупок пойдут через автономных ИИ-агентов, а Semrush уже фиксирует конверсию из ИИ-каналов в 4,4 раза выше, чем из органического поиска. А цена молчания сводится к одной цифре: 72,3% всего обхода контролирует OpenAI, и каждый необработанный визит этого краулера уходит конкуренту, чью страницу он прочитал и забрал.

**Но даже попасть в цитирование — половина дела: его ещё нужно удержать:**

[**Период полураспада ИИ-цитирований. Как быстро вас перестают цитировать**](/publications/ai-citation-half-life)

[Запросить стратегическую диагностику →](https://golops.io/position) · [Обсудить пилот →](https://golops.io/pilot)