Достаточно часто нагрузку на сайт создают боты, которые вас совершенно не интересуют. Вопросы злонамеренных попыток скопировать или вывести из строя сайт рассматривать не будем, я говорю о честных роботах, которым все равно, что сканить, но от которых гарантированно толку не будет.
Сразу оговорюсь, что сайты-двухстраничники могут вообще не заморачиваться, речь идет о тех случаях, когда страниц несколько сотен тысяч или больше, что приводит к зависанию бота на многие недели.
Для начала можете обратить внимание на каких-то поисковых ботов, но, как правило, они либо не лезут на не свою аудиторию, либо создают незначительную нагрузку.
Другое дело - боты анализаторы.
Из наиболее известных - Ahrefs
Он слушается команды в robots.txt, хотя перечитывает этот файл достаточно редко. Впишите в robots.txt
Цитата: User-agent: AhrefsBot
Disallow: /
и через пару дней бот отстанет. Этот бот принадлежит соответствующему SEO-сервису. Сервис, кстати, неплохой, но конски дорогой, поэтому, если вы им не пользуетесь, то совершенно ни к чему, чтобы его бот у вас пастись надумал. Бот работает с мусорохостинга, в кучу IP-адресов, поэтому лучше его штатно вырубить и заранее.
Второй, менее агрессивный бот, принадлежит опять же, SEO-сервису SemRush. Не пользуетесь - выгоняйте вон
Цитата: User-agent: SemrushBot
Disallow: /