04.08.2017 12:09
OlegON
 
Достаточно часто нагрузку на сайт создают боты, которые вас совершенно не интересуют. Вопросы злонамеренных попыток скопировать или вывести из строя сайт рассматривать не будем, я говорю о честных роботах, которым все равно, что сканить, но от которых гарантированно толку не будет.

Сразу оговорюсь, что сайты-двухстраничники могут вообще не заморачиваться, речь идет о тех случаях, когда страниц несколько сотен тысяч или больше, что приводит к зависанию бота на многие недели.

Для начала можете обратить внимание на каких-то поисковых ботов, но, как правило, они либо не лезут на не свою аудиторию, либо создают незначительную нагрузку.

Другое дело - боты анализаторы.

Из наиболее известных - Ahrefs
Он слушается команды в robots.txt, хотя перечитывает этот файл достаточно редко. Впишите в robots.txt
Цитата:
User-agent: AhrefsBot
Disallow: /
и через пару дней бот отстанет. Этот бот принадлежит соответствующему SEO-сервису. Сервис, кстати, неплохой, но конски дорогой, поэтому, если вы им не пользуетесь, то совершенно ни к чему, чтобы его бот у вас пастись надумал. Бот работает с мусорохостинга, в кучу IP-адресов, поэтому лучше его штатно вырубить и заранее.

Второй, менее агрессивный бот, принадлежит опять же, SEO-сервису SemRush. Не пользуетесь - выгоняйте вон
Цитата:
User-agent: SemrushBot
Disallow: /

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.