Робот SeoMarketBot
SeoMarketBot — обходчик сервиса SEO-аудита SeoMarket. Он открывает страницы сайта, когда кто-то запускает его аудит, и собирает технические данные: коды ответов, заголовки, мета-теги, ссылки, скорость ответа.
User-Agent
Робот всегда представляется одной строкой — по ней его разрешают или запрещают:
Mozilla/5.0 (compatible; SeoMarketBot/1.0; +https://seomarket.ru/bot/)
Что делает робот
Читает HTML страниц GET-запросами и ходит по ссылкам внутри сайта и по картам сайта. JavaScript не выполняет, формы не отправляет, в личные кабинеты не входит. Ходит только по публичным адресам по http и https.
Вежливый темп: по умолчанию пауза 300 мс между запросами и не больше трёх одновременно. Crawl-delay из robots.txt соблюдается (до 10 секунд), на ответы 429 и 503 робот замедляется вдвое.
robots.txt соблюдается при полном аудите из кабинета: робот берёт группу SeoMarketBot, а если её нет — группу «*». Адрес, который ввёл человек, открывается всегда, остальное закрытое не обходится. Быстрая проверка до 10 страниц robots.txt пока не читает — она открывает главную и адреса из карты сайта.
Под Googlebot, Яндекс и браузеры робот не маскируется и защиту не обходит. Если сайт отвечает ему 403, капчей или страницей проверки, аудит останавливается с пометкой «сайт закрыл доступ» — без балла и сметы по странице ошибки.
Как разрешить обход
Добавьте SeoMarketBot в исключения там, где стоит правило защиты: в Cloudflare — правило WAF «User Agent содержит SeoMarketBot» с действием Skip, в панели защиты хостинга или DDoS-Guard — белый список по User-Agent. Если роботов отсекает nginx, добавьте строку в map:
map $http_user_agent $block_bot {
default 1;
~*Googlebot 0;
~*YandexBot 0;
~*SeoMarketBot 0; # пустить SeoMarketBot
}Как запретить обход
Добавьте группу в robots.txt:
User-agent: SeoMarketBot Disallow: /
Полный аудит тогда откроет только адрес, который ввёл человек, и напишет, что сайт закрыт от обхода. Как устроен сам аудит — в разделе «Методика».
Частые вопросы
Почему робот пришёл на мой сайт?
Кто-то запустил аудит вашего сайта в SeoMarket — чаще всего сам владелец или его подрядчик. Робот открывает страницы как обычный посетитель и собирает технические данные для отчёта.
Робот выдаёт себя за Googlebot или Яндекс?
Нет. Он всегда представляется как SeoMarketBot со ссылкой на эту страницу. Если защита сайта его не пускает, аудит останавливается и сообщает об этом владельцу — обходить защиту робот не пытается.
Как запретить обход?
Добавьте в robots.txt группу «User-agent: SeoMarketBot» с «Disallow: /». Полный аудит тогда откроет только адрес, который ввёл человек, и напишет в отчёте, что сайт закрыт от обхода. Совсем закрыть доступ можно правилом в защите сайта по User-Agent.
Как разрешить обход, если защита отдаёт 403?
Добавьте SeoMarketBot в исключения там, где стоит правило: в nginx или .htaccess, в Cloudflare (правило WAF с действием Skip), в панели защиты хостинга или DDoS-Guard. Затем повторите аудит.
Не положит ли робот сервер?
Запросы идут с паузой — по умолчанию 300 мс, не больше трёх одновременно. Crawl-delay из robots.txt соблюдается (до 10 секунд), а на ответы 429 и 503 робот сам замедляется вдвое.
С каких адресов ходит робот?
Из облачных функций без закреплённых IP-адресов, поэтому белого списка по IP пока нет. Разрешать робота нужно по User-Agent.
Выполняет ли робот JavaScript и отправляет ли формы?
Нет. Он читает HTML, который отдаёт сервер, ходит только по ссылкам (GET-запросами), не заполняет формы и не входит в личные кабинеты.
Куда писать, если робот мешает?
Самый быстрый способ — запрет в robots.txt или правило в защите сайта по User-Agent: они срабатывают сразу, без переписки.