Форум OlegON > Компьютеры и Программное обеспечение > Сеть > Создание сайтов и поисковая оптимизация (SEO)

Проблема с подключением бота Яндекса к сайту : Создание сайтов и поисковая оптимизация (SEO)

19.03.2024 12:13


18.12.2015 08:08
OlegON
 
Какая-то засада... Бот разгоняется, после чего идут подключения и сканирование останавливается, бьюсь уже вторую неделю (как заметил), у Google таких проблем нет.




у кого-то были ошибки подключения? Может, кто-то может поставить сканирование форума с частотой не более 240 запросов в минуту (можно и больше, но там Антиддос может часть соединений сбрасывать)? Никак не могу понять, что случилось, уже все перебрал.
18.12.2015 08:09
OlegON
 
В ТП Яндекса писал, разводят руками, дескать конкретную информацию не хранят, точное время сказать не могут. У меня по логам все чисто...
18.12.2015 09:50
aldemko
 
Олег привет
я могу попробовать
только не совсем понял что ты имеешь в виду под просканировать
папки файлы ?
ПыСы а твой антидос не мог забанить яндекс робота ?
в яндекс мастере ничего не пишет по этому поводу ?
18.12.2015 09:52
OlegON
 
Привет, суть в том, что Яндекс настаивает на обрывах связи при какой-то нагрузке. Т.е. таймауты или еще какие-то ошибки подключения при, например, 60 запросах в секунду. Я со своей стороны такого напрочь не могу воспроизвести. Сканировать надо страницы, я так понимаю, речь идет о проблеме открытия соединения...
18.12.2015 09:59
aldemko
 
Ну все я походу повис (в бане), примерно на 50 запросе в секунду
но это я сканировал структуру - я не могу понять как выступить в качестве бота
ну и как представится что я бот и сканирую
ПыСы вру - повис при 150+ обращений в секунду

у тебя там нет случаем белого списка ?
18.12.2015 10:14
aldemko
 
твой анти ддос машину думаю можно выкинуть - я про то что она не может быть проблемой для робота
Судя по графику , видно что после пика, робот по тихой идет вниз, потом до нуля, потом рост и опять ноль.
В моем случае, после преодоления пика запросов, я сразу получил бан, и колво запросов от меня = 0 а не идет постепенно на убывание.
а у тебя такое раньше было ?
и мой ип из бани вытащи )))
18.12.2015 10:42
OlegON
 
АнтиДДоС у меня отмечается в журнале. И там несопоставимая с Яндексом нагрузка. Дело не в этом.
Суть АнтиДДоСа - после стабильного превышения 240 запросов/сек твои новые соединения начинают сбрасываться и в журнале об этом появляется запись. После того, как записей становится слишком много - бан.

Можешь попробовать не завалить, а на уровне, не попадающем под ловушку, позапрашивать часок, посмотреть, не получится ли какой-то таймаут? Или какая-то другая засада, мешающая подключению?
Часовой пояс GMT +3, время: 12:13.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.