Инструмент «Боты и индексация» доступен на тарифе «Максимальный» и находится в личном кабинете: «Боты и индексация». Он показывает, как поисковые системы видят ваши публикации на площадках: проиндексированы ли страницы в Яндексе и Google, как часто вы отправляете страницы на переобход и какие поисковые боты посещают ваши материалы.
Общая статистика — сколько URL проверено, сколько из них в индексе Яндекса и Google.
Переобход в Яндексе — сколько страниц отправлено на переобход (всего, за 30 дней, за 7 дней, за 24 часа), когда была последняя отправка и статистика по месяцам.
Посещения ботами за 30 дней — какие поисковые боты заходили на страницы ваших публикаций и сколько раз.
Топ-10 посещаемых URL — какие страницы боты смотрят чаще всего и их статус индексации.
В отчёте о распространении рядом с каждым URL публикации показываются иконки статуса индексации:
| Иконка | Значение |
|---|---|
| Я | Страница в индексе Яндекса |
| Я | Страница не найдена в индексе Яндекса |
| G | Страница в индексе Google |
| G? | Статус в Google неопределён (например, страница ещё не проверена) |
| 🤖N | Страницу посещали поисковые боты (N — число визитов за 30 дней) |
Переобход — это отправка URL в Яндекс с запросом повторно обойти страницу и обновить её в поиске. Отправка происходит автоматически по вашим опубликованным ссылкам. Ограничение Яндекса — примерно один раз в месяц на страницу, поэтому статистика считается по времени последней отправки.
Если в статистике «За 24 часа» или «За 7 дней» значение равно нулю — это нормально: отправка идёт волнами, и до следующего переобхода по расписанию может пройти время.
Учитываются визиты поисковых ботов на страницы ваших публикаций:
| Бот | Поисковая система |
|---|---|
| yandex | Яндекс |
| bing | Bing |
| mj12 | MJ12bot (Majestic) |
| ahrefs | AhrefsBot |
| perplexity | PerplexityBot |
| mailru | Mail.ru |
| mlg | Медиалогия (mlg.ru) — мониторинг СМИ |
| interfax | Interfax Scan — мониторинг Интерфакса |
Почему это важно: регулярные визиты ботов — признак того, что поисковая система знает о вашей странице и пересматривает её. Если боты заходят, но страница долго не появляется в индексе — это сигнал проверить качество текста, скорость загрузки и техническое состояние страницы.
Бот определяется по двум признакам:
User-Agent — строка, которой представляется бот (например, YandexBot, Googlebot, bingbot).
Обратная DNS-запись IP-адреса (PTR) — для Яндекса и Google адрес должен принадлежать их сетям (окончание *.yandex.com / *.yandex.ru / *.yandex.net и *.googlebot.com / *.google.com). Это отсекает фейковые боты, которые представляются поисковыми системами, но ходят с посторонних адресов.
Некоторые боты (например, Медиалогия и Interfax) определяются по спискам IP-адресов, так как они маскируют свой User-Agent.