Со стороны Google неоднократно сыпались убеждения, что если возвращается 404, то это будет считаться неограниченным доступом к сайту и т.п. А вот уж если какая-то 500, то сайт перестанет сканироваться.
От себя хочу заметить, что по опыту настройки сайтов, если с robots.txt вообще какие-то проблемы, т.е. он не возвращает 200 (возвращает 3хх, 4хх, 5хх) или перегружен инструкциями, то рано или поздно проблемы со сканированием появятся.
Тут и человеческий фактор, т.е. если вебмастер в итоге забудет о какой-то инструкции или неправильно ее напишет, что перекроет для сканирования важный участок сайта, так и фактор бота, который начинает сбоить, не получая явного указания, что делать с сайтом и в каком он состоянии.
Еще раз, для однозначности. Либо robots.txt есть и нормально доступен, либо поисковики сайт любить не будут.