Проблема с подключением бота Яндекса к сайту : Создание сайтов и поисковая оптимизация (SEO)

Какая-то засада... Бот разгоняется, после чего идут подключения и сканирование останавливается, бьюсь уже вторую неделю (как заметил), у Google таких проблем нет.




у кого-то были ошибки подключения? Может, кто-то может поставить сканирование форума с частотой не более 240 запросов в минуту (можно и больше, но там Антиддос может часть соединений сбрасывать)? Никак не могу понять, что случилось, уже все перебрал.

В ТП Яндекса писал, разводят руками, дескать конкретную информацию не хранят, точное время сказать не могут. У меня по логам все чисто...

Олег привет
я могу попробовать
только не совсем понял что ты имеешь в виду под просканировать
папки файлы ?
ПыСы а твой антидос не мог забанить яндекс робота ?
в яндекс мастере ничего не пишет по этому поводу ?

Привет, суть в том, что Яндекс настаивает на обрывах связи при какой-то нагрузке. Т.е. таймауты или еще какие-то ошибки подключения при, например, 60 запросах в секунду. Я со своей стороны такого напрочь не могу воспроизвести. Сканировать надо страницы, я так понимаю, речь идет о проблеме открытия соединения...

Ну все я походу повис (в бане), примерно на 50 запросе в секунду
но это я сканировал структуру - я не могу понять как выступить в качестве бота
ну и как представится что я бот и сканирую
ПыСы вру - повис при 150+ обращений в секунду

у тебя там нет случаем белого списка ?

твой анти ддос машину думаю можно выкинуть - я про то что она не может быть проблемой для робота
Судя по графику , видно что после пика, робот по тихой идет вниз, потом до нуля, потом рост и опять ноль.
В моем случае, после преодоления пика запросов, я сразу получил бан, и колво запросов от меня = 0 а не идет постепенно на убывание.
а у тебя такое раньше было ?
и мой ип из бани вытащи )))

АнтиДДоС у меня отмечается в журнале. И там несопоставимая с Яндексом нагрузка. Дело не в этом.
Суть АнтиДДоСа - после стабильного превышения 240 запросов/сек твои новые соединения начинают сбрасываться и в журнале об этом появляется запись. После того, как записей становится слишком много - бан.

Можешь попробовать не завалить, а на уровне, не попадающем под ловушку, позапрашивать часок, посмотреть, не получится ли какой-то таймаут? Или какая-то другая засада, мешающая подключению?