Очень часто вебмастеры обмениваются советами по переиндексации и прочему, завершая советом отдавать на несуществующие страницы код 404.
да, код 404 действительно обозначает, что страница не существует. Однако, эта ошибка может быть не только ошибкой запроса, но и ответа.
Т.е. сервер констатирует факт, что пользователь что-то запросил непонятное, а сервер не нашелся, чем ответить. В случае, если, например, бот Google обходит страницу, то после получения ответа 404, он придет еще раз. У меня в свое время был блог, так бот не верил, что я его удалил, больше двух лет.
Если вы избавляетесь от каких-то страниц, последствий взлома и т.п., т.е. хотите сказать, что
страница удалена, то используйте код ответа 410, который именно об этом и говорит. И тогда из ошибки в принципе, ошибка становится ошибкой запроса со стороны клиента. Т.е. дескать "что лезешь, удалили уже страницу".
Я в курсе, что многие "говорящие головы" от Google сообщают, что разницы в этих кодах нет. Мне абсолютно все равно, что они говорят по этому поводу, поскольку практический опыт говорит совершенно другое.