07.11.2019 14:07
OlegON
 
Со стороны Google неоднократно сыпались убеждения, что если возвращается 404, то это будет считаться неограниченным доступом к сайту и т.п. А вот уж если какая-то 500, то сайт перестанет сканироваться.

От себя хочу заметить, что по опыту настройки сайтов, если с robots.txt вообще какие-то проблемы, т.е. он не возвращает 200 (возвращает 3хх, 4хх, 5хх) или перегружен инструкциями, то рано или поздно проблемы со сканированием появятся.

Тут и человеческий фактор, т.е. если вебмастер в итоге забудет о какой-то инструкции или неправильно ее напишет, что перекроет для сканирования важный участок сайта, так и фактор бота, который начинает сбоить, не получая явного указания, что делать с сайтом и в каком он состоянии.

Еще раз, для однозначности. Либо robots.txt есть и нормально доступен, либо поисковики сайт любить не будут.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.