Форум OlegON > Компьютеры и Программное обеспечение > Сеть > Создание сайтов и поисковая оптимизация (SEO)

Сборник адресов различных ботов, сканирующих сайты : Создание сайтов и поисковая оптимизация (SEO)

23.04.2024 16:33


21.03.2024 12:18
OlegON
 
Решил вести реестр адресов ботов, которых буду банить сразу при настройке стенки и, собственно, всем рекомендую.
Как правило, речь идет про всякое дерьмо, которое сканирует сайт, увеличивая нагрузку на сервер во имя собственной прибыли и с игнорированием robots.txt
Списки будут обновляться ежесуточно. Адреса единожды попавшие в список будут удаляться только вручную и по мотивированной просьбе в этой теме.

keys-so (платный SEO-анализатор)
https://olegon.ru/bot-list/keys-so.txt
Ahrefs (платный SEO-анализатор)
https://olegon.ru/bot-list/ahrefs.txt
Majestic (платный SEO-анализатор)
https://olegon.ru/bot-list/majestic.txt
DataForSEO (платный SEO-анализатор)
https://olegon.ru/bot-list/dataforseo.txt
Opensiteexplorer (SEO-анализатор, адреса РФ забанены)
https://olegon.ru/bot-list/opensiteexplorer.txt
Omgili - поисковый движок непонятного назначения
https://olegon.ru/bot-list/omgili.txt
Seekport - поисковый движок непонятного назначения
https://olegon.ru/bot-list/seekport.txt
Petal - поисковый движок непонятного назначения
https://olegon.ru/bot-list/petal.txt
Amazon - поисковый движок по товарам
https://olegon.ru/bot-list/amazon.txt
Imagesift - поисковый движок по картинкам
https://olegon.ru/bot-list/imagesift.txt
Bytedance - очередной сборщик big data с непонятными целями
https://olegon.ru/bot-list/bytedance.txt
Dataminr - оценщик рисков на базе AI
https://olegon.ru/bot-list/dataminr.txt
Odin - централизованный сканер безопасности
https://olegon.ru/bot-list/odin.txt
Mediatoolkit - оценщик репутации бренда
https://olegon.ru/bot-list/mediatoolkit.txt
Trendiction - оценщик репутации бренда
https://olegon.ru/bot-list/trendiction.txt
Webmeup - очередной инструмент маркетологов
https://olegon.ru/bot-list/webmeup.txt
Serpstat - анализ беклинков
https://olegon.ru/bot-list/serpstat.txt
OpenAI - chatgpt, конечно, прикольная вещь, но ворует
https://olegon.ru/bot-list/openai.txt
различные адреса, неоднократно подбирающие пароли или пытающиеся что-то парсить
https://olegon.ru/bot-list/other.txt
различные адреса, неоднократно пытающиеся сканировать порты на хосте
https://olegon.ru/bot-list/scanners.txt

Общий сборник вышеперечисленного с аггрегацией
https://olegon.ru/bot-list/all.txt
Часовой пояс GMT +3, время: 16:33.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.