[ОТВЕТИТЬ]
Опции темы
18.12.2015 08:08  
OlegON
Какая-то засада... Бот разгоняется, после чего идут подключения и сканирование останавливается, бьюсь уже вторую неделю (как заметил), у Google таких проблем нет.




у кого-то были ошибки подключения? Может, кто-то может поставить сканирование форума с частотой не более 240 запросов в минуту (можно и больше, но там Антиддос может часть соединений сбрасывать)? Никак не могу понять, что случилось, уже все перебрал.
 
18.12.2015 08:09  
OlegON
В ТП Яндекса писал, разводят руками, дескать конкретную информацию не хранят, точное время сказать не могут. У меня по логам все чисто...
 
18.12.2015 09:50  
aldemko
Олег привет
я могу попробовать
только не совсем понял что ты имеешь в виду под просканировать
папки файлы ?
ПыСы а твой антидос не мог забанить яндекс робота ?
в яндекс мастере ничего не пишет по этому поводу ?
 
18.12.2015 09:52  
OlegON
Привет, суть в том, что Яндекс настаивает на обрывах связи при какой-то нагрузке. Т.е. таймауты или еще какие-то ошибки подключения при, например, 60 запросах в секунду. Я со своей стороны такого напрочь не могу воспроизвести. Сканировать надо страницы, я так понимаю, речь идет о проблеме открытия соединения...
 
18.12.2015 09:59  
aldemko
Ну все я походу повис (в бане), примерно на 50 запросе в секунду
но это я сканировал структуру - я не могу понять как выступить в качестве бота
ну и как представится что я бот и сканирую
ПыСы вру - повис при 150+ обращений в секунду

у тебя там нет случаем белого списка ?
 
18.12.2015 10:14  
aldemko
твой анти ддос машину думаю можно выкинуть - я про то что она не может быть проблемой для робота
Судя по графику , видно что после пика, робот по тихой идет вниз, потом до нуля, потом рост и опять ноль.
В моем случае, после преодоления пика запросов, я сразу получил бан, и колво запросов от меня = 0 а не идет постепенно на убывание.
а у тебя такое раньше было ?
и мой ип из бани вытащи )))
 
18.12.2015 10:42  
OlegON
АнтиДДоС у меня отмечается в журнале. И там несопоставимая с Яндексом нагрузка. Дело не в этом.
Суть АнтиДДоСа - после стабильного превышения 240 запросов/сек твои новые соединения начинают сбрасываться и в журнале об этом появляется запись. После того, как записей становится слишком много - бан.

Можешь попробовать не завалить, а на уровне, не попадающем под ловушку, позапрашивать часок, посмотреть, не получится ли какой-то таймаут? Или какая-то другая засада, мешающая подключению?
 
 
Опции темы



Часовой пояс GMT +3, время: 10:49.

Все в прочитанное - Календарь - RSS - - Карта - Вверх 👫 Яндекс.Метрика
Форум сделан на основе vBulletin®
Copyright ©2000 - 2016, Jelsoft Enterprises Ltd. Перевод: zCarot и OlegON
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.