Решил вести реестр адресов ботов, которых буду банить сразу при настройке стенки и, собственно, всем рекомендую.
Как правило, речь идет про всякое дерьмо, которое сканирует сайт, увеличивая нагрузку на сервер во имя собственной прибыли и с игнорированием robots.txt
Списки будут обновляться ежесуточно. Адреса единожды попавшие в список будут удаляться только вручную и по мотивированной просьбе в этой теме.
keys-so (платный SEO-анализатор)
https://olegon.ru/bot-list/keys-so.txt
Ahrefs (платный SEO-анализатор)
https://olegon.ru/bot-list/ahrefs.txt
Majestic (платный SEO-анализатор)
https://olegon.ru/bot-list/majestic.txt
DataForSEO (платный SEO-анализатор)
https://olegon.ru/bot-list/dataforseo.txt
Opensiteexplorer (SEO-анализатор, адреса РФ забанены)
https://olegon.ru/bot-list/opensiteexplorer.txt
Omgili - поисковый движок непонятного назначения
https://olegon.ru/bot-list/omgili.txt
Seekport - поисковый движок непонятного назначения
https://olegon.ru/bot-list/seekport.txt
Petal - поисковый движок непонятного назначения
https://olegon.ru/bot-list/petal.txt
Amazon - поисковый движок по товарам
https://olegon.ru/bot-list/amazon.txt
Imagesift - поисковый движок по картинкам
https://olegon.ru/bot-list/imagesift.txt
Bytedance - очередной сборщик big data с непонятными целями
https://olegon.ru/bot-list/bytedance.txt
Dataminr - оценщик рисков на базе AI
https://olegon.ru/bot-list/dataminr.txt
Odin - централизованный сканер безопасности
https://olegon.ru/bot-list/odin.txt
Mediatoolkit - оценщик репутации бренда
https://olegon.ru/bot-list/mediatoolkit.txt
Trendiction - оценщик репутации бренда
https://olegon.ru/bot-list/trendiction.txt
Webmeup - очередной инструмент маркетологов
https://olegon.ru/bot-list/webmeup.txt
Serpstat - анализ беклинков
https://olegon.ru/bot-list/serpstat.txt
OpenAI - chatgpt, конечно, прикольная вещь, но ворует
https://olegon.ru/bot-list/openai.txt
различные адреса, неоднократно подбирающие пароли или пытающиеся что-то парсить
https://olegon.ru/bot-list/other.txt
различные адреса, неоднократно пытающиеся сканировать порты на хосте
https://olegon.ru/bot-list/scanners.txt
Общий сборник вышеперечисленного с аггрегацией
https://olegon.ru/bot-list/all.txt