Я потратил значительное количество времени, разбирая заявки на форуме по индексированию и ранжированию, пока был экспертом в Google. В целом общая причина их появления - один и тот же вопрос: “сайт пропал или понизился в выдаче”. Надо ответить, что, как и сами вопросы, так и ответы достаточно типовые, поэтому я решил соединить их в единый документ, некоторую инструкцию по разбору подобных ситуаций, а так же для ответов на некоторые другие вопросы. Нижеизложенное - мое личное мнение, сформированное в ходе собственных исследований, чтения различных материалов и справки Google. Для удобства все абзацы имеют сквозную нумерацию.
1. Итак, первое, что Вы должны себе уяснить - результаты выдачи меняются, причем постоянно. Если вы были в первых рядах (топе) поисковой выдачи, то никто не гарантирует защиты от того, что изменится алгоритм ранжирования или появится сайт-конкурент, произойдут какие-то другие события, что Вас утопит. Но такие события в большей своей части сопровождаются плавным переходом трафика, т.е. он будет постепенно исчезать по мере перехода пользователей от вас на другой сайт. Бороться с этим можно только увеличением интереса пользователей к сайту, его удобством и общей популярностью. Точную причину колебания позиций сайта в выдаче не назовет никто, в том числе работники Google. Выдача формируется массой алгоритмов, учитывается масса параметров. Соединить это в целое, учесть все параметры ранжирования и оценки Вашего сайта и всех сайтов, которые Вас обошли, нереально. Выход только один - работать над качеством сайта, его удобством (в том числе мобильной версии) и популярностью.
2. Особо выделяются вопросы вида “я вчера сделал сайт, а гугл его еще не видит”. Или “у меня есть сайт и с ним что-то не так”. Обратите внимание, что гугл - гигантский поисковик, содержащий в себе актуальные данные о миллиардах страниц. Для того, чтобы сайт был просканирован, необходимо зарегистрировать его в Search Console (, SC, бывшая WMT, Webmaster tools), подготовить карту сайта, отправить ее в соответствующем разделе SC, после чего ждать. Сайт будет просканирован, проиндексирован и подвергнут ранжированию. Процедура занимает в лучшем случае не один день, т.е. до двух-трех месяцев можно не волноваться. Терпеливо ждите и контролируйте ошибки сканирования в SC. Обратил внимание на общую статистику, что молодые сайты сначала попадают на “испытательный срок”, а потом, даже если не были подвергнуты каким-либо изменениям, падают в выдаче. Это связано с тем, что Google не сразу использует все метрики по отношению к новому сайту, дает ему время поплавать по основным параметрам, после чего механизм ранжирования работает на полную.
3. Но, часто бывает, что график количества посетителей ныряет “в пол” и это не на день-два (что может быть случайностью), а более. При этом, в первую очередь, необходимо посмотреть наличие ручных мер по ссылке: . Меры могут быть самого различного рода, как связанные с качеством содержания, так и с агрессивным спамом и прочими неуспешными попытками раскрутки. Вебмастера, поддерживающие сайты, как-то связанные с распространением авторского содержания, обязательно должны проверить свой сайт на предмет предъявленных претензий в Lumen (Lumen Database, база DMCA, бывшая Chilling Effects)
В случае предъявления достаточного количества жалоб, домен может быть заблокирован в Google навсегда и безвозвратно. Для того, чтобы жалобы убрать, необходимо уговорить сделать это тех, кто их направил. Сами понимаете, какое это трудное дело... Встречное уведомление DMCA можно подать здесь: или здесь . Интересная и печальная особенность в том, что Google не проверяет жалобы, особенно по Рунету, при ее получении просто банит сайт и ждет развития событий. С учетом территориальных особенностей и отсутствия прямых контактов ждать отзыва жалобы можно вечность.
4. Обратите внимание, что поисковик не является экспертом по авторскому праву и лишь отражает содержимое, доступное пользователям в интернете. Т.е. не отвечает за хранение и доступность ресурсов для других пользователей. Если Вас огорчает, что кто-то разместил копию Вашего сайта или другое авторское содержимое в интернете, то претензию следует предъявлять в первую очередь хостингу и по контактам, опубликованным на сайте, а не поисковику. Однако, Google предлагает ряд вариантов отправки жалобы: , более подробную справку можно прочитать здесь: , а список своих жалоб можно посмотреть тут Более подробно, как с этим бороться, можно почитать в статье https://olegon.ru/showthread.php?t=28138
5. При возникновении каких-то неясностей, как в индексировании, так и в ранжировании сайта, рекомендуется обратить внимание на ошибки сканирования в соответствующем разделе SC. Ошибки необходимо разбирать самостоятельно или задавая конкретные вопросы с указанием конкретной ошибки на форуме.
Нестабильная работа сайта может сказаться ранжировании его в результатах поиска. Никому не нужны периодически и странно работающие сайты. Обратите внимание, что ошибки подключения обозначают доступность сайта в принципе, т.е. возможность подключиться к веб-серверу. Перечисляемые ошибки с цифровым кодом - причины, по которым поисковик не может получить требуемые ему страницы, уже после успешного разрешения имени сайта в службе DNS и подключения. Необходимо разделять эти ошибки, поскольку отвечать за них могут разные поставщики. Во всплывающем окне, при нажатии на сообщение об ошибке, Вы можете увидеть ссылающиеся на эту страницу свои ресурсы, утверждающие о ее существовании.
6. Предполагается, что существует sitemap, т.е. карта сайта (я бы назвал это обязательным атрибутом сайта, которого интересуют позиции в поисковике). Обратите внимание на то, что количество отправленных и количество проиндексированных страниц должно совпадать или незначительно отличаться. Если количество страниц в индексе минимальное, то сайт понижается по проблеме индексирования. О ней есть смысл говорить, если нет ошибок сканирования, о которых я писал выше. Неправильная генерация карты сайта (sitemap) приводит к тому, что сайт либо неполностью индексируется, либо не индексируется вообще. Верх изощренности - дать sitemap на закрытые в robots.txt страницы. Обратите внимание, что файлом sitemap могут быть RSS или Atom фиды, а так же XML-файлы определенного формата, он не может быть текстовой или HTML-страницей. Файл sitemap имеет лимиты на размер и количество включенных в него ссылок, поэтому лучше для больших ресурсов создавать индексную карту сайта, т.е. sitemap со ссылками на другие sitemap. После создания файла sitemap ссылку на него необходимо поместить в директиву Sitemap файла robots.txt, а так же разместить в SC. Для ускорения индексирования собственного сайта я автоматизировал информирование Google о появлении новой карты запросом следующего URL: , где XXX - путь к sitemap в формате urlencode. Авторизация не требуется.
Не раз попадались спам-плагины для Wordpress, которые не только создавали карту сайта, но и ставили ссылки на сайты их авторов. Будьте внимательны.
Разберем ряд наиболее частых проблем сканирования и индексирования.
7. Вы недавно кардинально меняли дизайн или содержимое сайта. Закрывали что-то в robots.txt или удаляли страницы в соответствующем разделе SC. Возможно, что изменяли домен или перемещали с сайта. Как правило, это сопровождается букетом ошибок 404 при повторном обходе роботом сайта, но если менялось содержимое сайта, то ошибок не будет, однако сайт в выдаче все равно понизится. Любые серьезные изменения сайта ведут к потере позиций. Выплывет ли сайт обратно и как быстро зависит от того, насколько успешными были эти изменения. Не спешите паниковать. Могут пройти недели до возвращения позиций. Структуру сайта лучше без веских причин не менять. Убедитесь, что не испортили robots.txt и не удалили что-то лишнее (инструмент удаления страниц лучше не использовать без четкого понимания того, что Вы делаете, т.е. в большинстве случаев не надо использовать совсем). Имейте ввиду, что в разделе "Файлы sitemap" перечисляются отправленные и индексируемые страницы именно этого sitemap, при смене содержимого карты сайта или ее имени, некоторые вебмастера впадают в панику, видя крайне малое количество страниц в индексе. Но это страницы новой, только что загруженной карты. Даже если URL совпадают с таковыми в предыдущей карты, они не увеличат счетчик, пока бот их не проверит. Общее количество страниц в индексе в данном случае надо смотреть в "Статусе индексирования", оператор site: поиска точной картины так же не дает.
8. Изменение каких-то настроек привело к тому, что в шапке страниц появились meta noindex. Такое иногда встречается при недостаточно вдумчивом изменении настроек CMS или хостинга. Например, широко распространенные Wordpress и Blogger содержат в себе настройки скрытия информации от поисковиков. Достаточно одной неудачно поставленной галочки, чтобы потерять посетителей из поисковиков вообще. К сожалению, в практике попадались случаи, когда подобные заголовки добавляли сотрудники хостинга. Ошибочно или нарочно - история умалчивает.
9. Сайт заражен вирусом. Как и большинство других поисковых систем, Google пытается оградить пользователей от вирусов и предотвратить развитие эпидемии. Как правило, в SC, в разделе по безопасности о заражении сайта сообщается. Но при наличии каких-то подозрений и для профилактики, рекомендую проверять пропадающие (не только главную) страницы на вирусы здесь: . Обратите внимание, что надо переключить проверку на проверку URL, а не загружать какие-то файлы. Можно еще подставить свой домен, чтобы посмотреть, что думает о вредоносности Google.
На сайт так же может быть внедрен какой-то сторонний код, перенаправляющий пользователей (всех или часть) на другие ресурсы. Очень часто этим страдают социальные кнопки с других ресурсов, загружаемые рекламные баннеры и т.п. Настоятельно рекомендую не использовать на своем сайте код, загружаемый с других источников.
Многие жалуются на то, что Google не сообщает о том, какие именно страницы или файлы заражены вирусом. Однако Google - поисковик, а не антивирус. Если он нашел две страницы с вирусом, это не значит, что на сайте их только две. Вебмастеру дается сигнал о том, что его сайт заражен. А в качестве подтверждения выполнения работ по удалению вируса будет принято его полное отсутствие на ресурсе. Существует достаточно большое количество антивирусов, включая тот же Manul. Дерзайте, ищите...
10. На хостинге ограничения доступа, например, региональное ограничение или ограничения по UserAgent. Категорически не рекомендуется использовать подобное для веб-сайтов, поскольку ложные срабатывания (а стандартов и официальной базы для таких ограничений не существует) приведут к видимости нестабильной работы хостинга. В эту же категорию можно отнести и, собственно, дествительную нестабильность хостинга, DNS-сервера или каналов связи. Для проверки можно воспользоваться одним из следующих сервисов. Я предпочитаю , можно использовать или Не забывайте, что различные бесплатные хостинги или хостинги с дешевым тарифом могут молча отказывать в части запросов робота, создающего дополнительную нагрузку. Не рекомендую использовать директиву Crawl-delay, которой Вы расписываетесь в некачественности хостинга.
11. Избыточное наполнение robots.txt. Начинающие вебмастера впечатляются статьями, где сказано, что все ненужное необходимо закрыть в robots.txt и начинают закрывать вообще все, кроме текста на строго определенных страницах. Это, мягко говоря, неверно. Во-первых, существует рекомендация Google не закрывать скрипты, CSS и прочее, что может помешать боту увидеть сайт так же, как видит его пользователь. Во-вторых, очень большое количество ошибок связано с тем, что закрывая одно, пользователь закрывает другое тоже. Безусловно, можно и нужно проверять доступность страницы и ее элементов здесь: , но вряд ли Вы сможете все страницы своего ресурса проверить через этот инструмент после каждого изменения. Как вариант ошибки - путаница с последовательностью Allow и Disallow. Моя личная рекомендация - закрывать в robots.txt только очевидно ненужные боту вещи, вроде формы регистрации, страницы перенаправления ссылок и т.п., а от дубликатов избавляться с помощью canonical. Обратите внимание, что то, что Вы поправили robots.txt совсем не обозначает, что Google-bot его сразу перечитает. Для ускорения этого процесса достаточно посмотреть на robots.txt, как Google-bot в соответствующем разделе.
Далее рассмотрю ряд параметров, влияющих на ранжирование, как страниц, так и всего сайта в целом.
12. Неестественная ссылочная масса, входящие ссылки. Многие вебмастера по старинке полагают, что прогон по каталогам или закупка ссылок на биржах приведет к неизбежному взлету сайта в поисковой выдаче. На самом деле все совсем не так радужно. С одной стороны, сайт без ссылок для поисковика авторитетным не будет. С другой - ссылки с биржи или других мест, где они покупаются, сайт не только не будут повышать, а будут понижать, вплоть до ручных мер. Оценить ссылочный профиль можно здесь: или на , которым я пользуюсь для проверки ссылок “на вскидку”. Для более подробного анализа существуют полубесплатные и платные анализаторы, например, Ahrefs, SEMRush и.т.п. Все они разной степени точности и качества, многие вебмастера ботов этих анализаторов банят, поэтому рекомендую использовать разные и в комбинациях. Известен термин “ссылочный взрыв”, когда появление множества однотипных ссылок с одинаковым анкором не только не поднимает, а топит сайт. Общий вывод этого раздела: если Вы покупаете ссылки, то рано или поздно это плохо кончится. В лучшем случае Вам после этого поможет кропотливое ручное отклонение ссылок здесь: Если Вы не только не пользуетесь покупкой ссылок, но и категорически против подобных технологий, то можете пожаловаться на замеченные нарушения здесь:
13. После того, как я достаточно запугал Вас влиянием плохих ссылок, подчеркну, что отсутствие ссылок на сайт - тоже повод для его плохого продвижения в результатах поиска. По логике создателей Google пользователи стремятся поделиться интересным сайтом, поэтому ссылок на хороший, интересный сайт должно быть много. Ссылки должны появляться сообразно возрасту сайта и, крайне желательно, на тематических площадках, т.е. совпадающих по тематике с вашим сайтом.
14. Сильное дублирование информации на разных страницах так же сказывается на отображении сайта в результатах поиска. Особо удачливым веб-мастерам удается добиться по этому пункту и ручных мер. Тут уже можно предложить творчески переработать сайт, соединив информацию на наиболее популярных страницах и поработать над внедрением canonical. С помощью canonical рекомендуется бороться и с присутствием в URL различных служебных параметров, а так же с появлением непонятно откуда взявшихся URL с различными суффиксами, игнорируемыми вашим сайтом. Не рекомендуется отдавать поисковику результаты поиска по сайту в различных их вариантах. Если Вы жалуетесь, что часть страниц сайта не индексируется, то попробуйте найти неиндексируемую страницу, введите ее заголовок в поиск Google по сайту (с суффиксом site:ваш сайт), результатом будут страницы из-за которых не индексируется та, которую Вы нашли сначала.
15. Отсутствие мобильной версии сайта так же сказывается и еще больше будет сказываться на выдаче в ближайшее время. Google все сильнее пытается разделить пользователей компьютеров и мобильных устройств. С некоторой точки зрения убрать от человека с мобильником сайт, который приходится скроллить в четыре стороны на маленьком экране - правильно. А количество таких пользователей становится все больше. Оценивать такой шаг в свете наличия других проблем поиска не буду, но есть инструмент и игнорировать его нельзя. Обратите внимание, что не следует делать две версии сайта, основной и для мобильных устройств. Слишком велика вероятность промаха, если редирект происходит по UserAgent, например. И в целом велик шанс получить кучу дублей. Изучите тему адаптивного дизайна, т.е. изменения верстки в зависимости от характеристик устройства. Смешно, но достатовно часто для удовлетворения требованиям адаптивного дизайна достаточно добавить <meta name="viewport" content="width=device-width, initial-scale=1.0"> в заголовок.
16. Расположение больших картинок в верхней части страницы. Долгое время ломал голову, что же не нравится поисковикам. Попадались и другие пострадавшие пользователи. А недостаток один общий - в верхней части сайта болталась какая-то лопатообразная картинка или, что во много раз хуже - баннер. За баннер можно и запрет поймать где-то в Adwords. Очень плохо ранжируется сайт с картинкой во весь экран, страница которого открывается дальше скроллингом.
17. Обратите внимание, что медленный, тяжело открывающийся сайт, так же будет понижен в результатах поиска. Самая распространенная ошибка в данном случае - недостаток ресурсов хостинга, но часто можно исправить ситуацию и с помощью организации графики, т.е. сжатия картинок и приведения их размера в соответствие с показываемым. Общий инструмент, с которого можно начать: , обратите внимание, что этот же сервис предлагает автоматизировать решение части проблем, установив соответствующий модуль веб-сервера, более подробно можно почитать об этом здесь:
18. Синтаксические ошибки в HTML-коде вредят сайту, поскольку сайт начинает тормозить при отображении, выглядеть по разному в разных браузерах и т.п. Не стоит пренебрегать анализом страниц в валидаторах. Мне очень понравился , но можно воспользоваться общепризнанным . Еще неплохой инструмент для поиска ошибок: Обратите внимание, кодировка, отличная от UTF-8, сильно вредит ранжированию. Об этом, кстати, валидатор предупреждает.
19. Переспам ссылками или ключевыми словами был актуален в начале столетия. Вебмастера убедились, что если набить страницу многократным повторением одного и того же словосочетания, да еще его поместить в <h1> или жирным выделить, то поисковики радостно выделяют этот сайт в случае поиска этих слов. Даже сейчас попадаются зубодробительные тексты, читать которые невозможно и основная цель которых - обмануть поискового бота, либо страницы, набитые рекламой во всеможных видах. Поисковики давно фильтруют подобное. То же относится и к гигантскому количеству ссылок на странице. Еще совсем недавно каждый второй вешал у себя облако тегов. Сейчас этого делать не следует, можно схлопотать переспам-фильтр. Не могу вспомнить, где именно попадалось правило, что суммарное количество ссылок на странице (не только внешних) не должно превышать сотню. Обратите внимание, что сайт может спамить ссылками не только по желанию веб-мастера, очень часто внедряется спам-код в шаблоны Wordpress и подключаемые модули различных CMS. Одновременно лучше убедиться, что ваша CMS оснащена средствами для предотвращения размещения ссылок только что зарегистрированными пользователями. Будьте аккуратны.
20. Игнорирование ошибок разметки структурированных данных чревато ровно тем же, что и игнорирование ошибок в принципе. Удивительно, но штатные шаблоны Wordpress страдают этими ошибками прямо с момента установки. Лучше их все же поправить, воспользовавшись инструментом Подчеркну ответ на вопрос одного из пользователей, разметка нужна не только для мобильных устройств, а для всех сайтов в принципе.
21. Неправильная проверка позиций сайта тоже часто сбивает с толку вебмастеров. Дело в том, что выдача зависит от того, из какого региона Вы делаете запрос, и какие запросы к поисковику делали ранее (персонализированный поиск). Поэтому, если Вы сели за чужую машину, то с высокой долей вероятности результаты поиска будут не такими, как за вашим компьютером, особенно, если сферы интересов владельцев учетных записей различаются.
22. Текст картинками на сегодняшний день не индексируется поисковиками. Не забывайте об этом, когда будете удивляться, почему Ваш интернет-магазин проваливается в текстовом поиске. Как минимум - alt у картинок должен быть заполнен, а названия файлов картинок соответствовать их содержанию. Определитесь, какого типа поиск Вас интересует и продвигайте сайт в нем.
23. Мнение о ЧПУ (ЧеловекоПонятные Урлы) таково, что не надо там кодировать русские слова именно на русском языке. Споры продолжаются на тему того, понимает ли Google транслит или нет, но русские буквы по стандартам подлежат перекодированию, а длинные URL в итоге неудобно передавать пользователям. Мое мнение - либо транслит, либо вообще сосредоточиться на более важных и полезных вещах. Если транслит, то не забудьте о еще одном важном нюансе - слова в URL надо разделять с помощью дефиса, а не знака подчеркивания, т.е. “slovo-i-slovo”, а не “slovo_i_slovo”.
24. Куча дублей разных поддоменов, например, с URL с приставкой www и без нее указывают на один и тот же сайт. Это, в итоге, путает механизм ранжирования и оценки связей страниц и приводит к проваливанию сайта в результатах выдачи. Несколько раз попадался случай, когда хостинг принимал любые поддомены, перенаправляя на основной сайт, что приводит к разрастанию гигантского количества дублей и пессимизации сайта в целом. В этих случаях необходимо поступить, как если бы Вы находились посредине процедуры переезда с домена на домен. Выделяете все попавшие в индекс домены (счастье, если это всего лишь www и основной), выбираете тот домен, который Вы будете использовать (я рекомендую домен второго уровня, т.е. без www) и настраиваете редирект всех страниц с дополнительных доменов на соответствующие страницы выбранного. Подчеркну, что необходимо перенаправлять каждую страницу на соответствующую страницу, а не корень сайта. Не перенаправляйте robots.txt, это помешает пересканированию редиректов!
25. Путаница с языками ясности в общую картину не добавляет. Ознакомьтесь с hreflang и случаями его использования. Не следует открывать для поиска страницы текста с машинным переводом.
26. Частый вопрос “сколько времени потребуется боту, чтобы все исправить”. Общего ответа быть не может, поскольку все зависит от активности бота на вашем сайте до этого и того, насколько далеко зашло сканирование ошибочных страниц, если речь об их исправлении. Официально заявлен срок в 180 дней, например, на склейку доменов. Обещать что-то и называть какие-то точные сроки никто не будет, бессмысленное занятие при существующем наборе факторов, которые на это влияют. Если речь идет о снятии мер, принятых вручную, то это занимает несколько недель с момента отправки заявки на пересмотр. Обратите внимание, что сайты, к которым были применены ручные меры, редко возвращаются на те же позиции, что и раньше без кардинальных изменений в подходе к структуре и наполнению.
27. Общее стремление угодить поисковой машине, а не пользователю, приводит к плачевному результату. Рано или поздно поисковик учтет Вашу хитрость, если она мешает пользователям сайта или поисковой системы. Обратите внимание на то, что Google ценит удобные сайты с уникальным и интересным текстом. Не следует ориентироваться на сиюминутную выгоду и разовый результат. Если Вы проводите день в периодическом обновлении каких-то пузомерок с надеждой, что вырастут какие-то виртуальные баллы, то КПД вашей работы близок к нулю. Регулярно отслеживайте ошибки в SC во всех разделах, просматривайте замечания к коду здесь: , продвигайте сайт в соцсетях Facebook и Google+, а так же везде, где есть соответствующая тематика. Избегайте спама вообще везде и внедрения в свой сайт страниц, способствующих его популярности, но не соответствующих тематике. Если привлечете большое количество пользователей, то и в результатах поиска будете подниматься. Никому не интересные страницы в поиске тоже будут тонуть.
28. Когда Вы собираетесь пожаловаться на плохое ранжирование/индексирование сайта, начните с чтения всех вышеприведенных пунктов, после чего осознайте: а) Как сайт индексируется б) Есть ли ручные меры, принятые к сайту в настоящий момент (по имени сайта с www и без www) в) История снижения показателей посещаемости, после чего все произошло и насколько быстро г) Отправили ли Вы sitemap, как давно и не менялась ли его структура? д) Есть ли ошибки сканирования? е) Если какие-то страницы не в индексе, то как они выглядят в "Посмотреть, как GoogleBot"? ж) Нет ли в их коде noindex? з) Не закрыли ли Вы лишнее в robots.txt? к) Чем сайт выделяется среди других этой же тематики? л) Нет ли запросов на удаление страниц в соответствующем разделе (опять надо проверить сайт с www и без). м) По каким запросам ищете? н) Покупали или продавали ли ссылки? о) Используете ли скрипты внешней рекламы и чьи? Не надо писать свои выводы - обязательно покажите скриншоты соответствующих разделов по каждому пункту тому, кому Вы собираетесь жаловаться или предоставьте какую-то еще информацию, на основании которой можно сделать тот или иной вывод по пунктам. Ну и обязательно надо указать проблемные URL. И обязательно цитируйте пункты, по которым отвечаете, на память буквы пунктов никто не помнит, даже я сам, а листать туда-сюда некогда.
29. Часто спрашивают, "я все сломал, но теперь исправил, как все пересканировать?". Ответ очень простой - перепошлите sitemap, причем, желательно, с указанием более новых дат изменения страниц, исправьте выдачу If-Modified-Since, если изменения касались страниц, посмотрите на robots.txt и главную страницу, "как GoogleBot" и отправьте главную страницу в индекс вместе со связанными страницами (увидите соответствующую кнопку). После этого - сидеть и ждать, контролируя появление ошибок сканирования в соответствующем разделе... Можно воспользоваться инструментом удаления устаревших страниц тут:
30. Забавный вопрос, "почему у меня в Яндексе все хорошо, а в Google все плохо?". Стоит задуматься перед тем, как задать его и Интернет лишится еще некоторого количества бессмысленных байтов. Google - не Яндекс. Это совершенно другой комплекс программ, систем и алгоритмов. Сравнить теплое с мягким еще никому не удавалось, поэтому взывать, чтобы Google посмотрел на Яндекс и сделал так же - глупо и бессмысленно. Лучше сосредоточиться на поиске реальных проблем, которые мешают Вашему сайту. Помните, что ошибки Google, как правило, массовые, т.е. заметные миллионам вебмастеров. Ищите ошибку самостоятельную, без сравнения с Яндексом, если думаете, что таковая ошибка вообще есть.
31. А вот мои конкуренты в топе, хотя у них такие же замечания. Да, конкуренты могут закупать ссылки, воровать контент и мозолить глаза пользователям переспамом, находясь при этом в выдаче выше Вас. Увы, то, что они - Ваши конкуренты, никого не интересует, особенно Google. Мир пошатнется от осознания несправедливости и скорбности понижения вашего сайта в выдаче, но бот об этом не узнает. Если конкурент с большим количеством ссылок и более популярный, ему могут прощаться некоторые другие минусы. В конце концов, какие-то нарушения бот может не видеть, каких-то DMCA-жалоб конкуренты могут недополучить и т.п. Не сравнивайте в общем "почему?", только по какой-то конкретной ошибке сканирования можно приводить сайт конкурента в пример. В остальных случаях пустые жалобы на несправедливость никого не заинтересуют.
32. Что сделать, чтобы сайт был в топе? Ответ простой - сделайте интересный и популярный сайт. Парадокс в том, что многие рассматривают популярность сайта, как следствие первых позиций в Google. В то время, как первые позиции в Google - следствие популярности сайта и наличия в нем уникальных сервисов или информации. Google поддерживает, а не создает популярность. Если у Вас никому не известный сайт о кошечках, то всплыть среди миллионов других сайтов о кошечках просто нереально, если что-то не выделяет Ваш сайт среди других. А если это что-то есть в наличии, то именно по нему и следует выдвигаться в поисковых системах. И работайте над сайтом для людей. В противном случае будете втянуты в войну с поисковым ботом, что в сухом остатке не даст Вам создать что-то дельное. Если создание дельного Вам претит и нужен чисто механический сгон табуна пользователей, то и на это есть ответ. Во-первых, на ваш сайт должно вести очень много проиндексированных ссылок. Во-вторых, все правила, описанные в этом кодексе, должны быть соблюдены. Т.е. с миллионом ссылок сайт можно умудриться загнать под Пингвина или Панду. Суть ранжирования Google, как я его вижу - сбор количества ссылок, как первоначальный капитал и дальнейшее вычитание за вирусность, попадание под биржевые ссылки, в том числе торговля ими, авторедиректы и прочий слив траффика и т.п. Если у Вас идеальный честный сайт и сто ведущих на него ссылок, то Ваш сайт будет ниже ГС с 100000+ ссылок, даже если две трети этих ссылок будут перекрыты явными признаками ГС. Исключением будут совсем зарвавшиеся сайты, которые боту вообще не отвечают, с горой закупленных ссылок или завирусованы. Ссылки и еще раз ссылки рулят вашим ранжированием. В Яндексе еще как-то, вроде используются поведенческие факторы, т.е. если по какой-то радости к Вам на сайт занесет миллион посетителей и они там периодически будут появляться, то в Яше Вы всплывете, на Google это не действует.
33. Неинформативное содержание может обозначать не только пустой и бессмысленный сайт, но и проблемы с авторским правом. Первым делом следует провериться . Ответ на вопрос "Почему Google меня так обозвал, хотя дело в другом?" очевидный и простой - поисковик отвергает звание эксперта по авторскому праву и не хочет связываться с толпой исков за называние авторов сайтов ворами, независимо от того, правомерные эти звания или нет. С одной стороны игнорировать жалобы правообладателей не получается, с другой - сайтостроители тоже могут потянуться в суд стройными рядами. Простой выход - выдать оценочное суждение "не нравится".
34. Почему в выдаче не тот заголовок, который Вы хотите? Достаточно частый вопрос с простым ответом. Большинство вебмастеров ставят в заголовок ключевые слова. Неудивительно, что в случае запроса "Пластиковые окна" и выдаче исключительно заголовков, в результатах поиска был бы длинный перечень абсолютно одинаковых заголовков, только ссылки бы различались. Чтобы такого не получилось, поисковик самостоятельно формирует заголовок ссылки на Ваш сайт, собирая информацию, которая бы могла пояснить пользователю, о чем же именно идет речь на найденной странице. В результате, если вебмастер не удосужился самостоятельно выделить отличительные черты своего сайта в заголовке, сократил, либо переспамил или как-то еще изуродовал заголовок, то получить в выдаче можно совсем неожиданные результаты, порой даже куски сайтов-предков вклеиваются.
35. Серьезные проблемы появляются у любителей тизерной рекламы, продавцов траффика и т.п. вебмастеров, которые по каким-то причинам доверяют чужому коду, подгружающему еще сторонний код или переадресовывающему посетителей куда-то еще. В последнее время, в отчаянной попытке увеличить доход от рекламы, в нее часто стали добавлять автоматическую переадресацию пользователей, что расценивается поисковиком, как клоакинг. Иными словами, если пользователь пришел на ваш сайт за плюшевыми мишками, а его автоматом перебрасывает на сайт по кактусам, то это не нравится не только пользователю, но и поисковой системе. Наиболее частый результат - ручные меры.
36. Баннеры с предложением установки приложения крайне негативно оцениваются поисковиками, если они загораживают основной контент. Т.е. если пользователь пришел к вам за фотографиями кактусов, а вы ему в ответ лопату с предложением установить приложение, пусть даже по тем же кактусам, это будет крайне негативно оценено поисковиком.
37. Не используйте оператор site при оценке сайта. Совсем.
39. Если страница ВК или какого-то другого бесплатного хостинга (Юкоз, ЖЖ и прочие Фейсбуки, например) не видна в результатах. То она там и не должна быть. Большое количество народу пытается разобраться в том, почему плохо ранжируется чужой сайт. Но он чужой, Вам ничего не принадлежит. Захотят - закроют завтра, вообще не будет в выдаче. И ничего сделать или посмотреть в данный момент нельзя, поскольку все "смотрелки" у администрации ВК или про что там пойдет речь. Кроме того, бесплатные хостинги используются не только для выкладывания никому ненужных кошечек и прочей мерзости, но и для вполне осознанных вредительских целей. А варятся-то все сайты на одном домене. Вот и тонут вместе с вредителями одновременно. Решение: заводите отдельный, собственный сайт на нормальном хостинге. Его и продвигайте. Не хотите - попробуйте пробиться в поддержку хостинга, только там уже давно не отвечают на такие вопросы.
40. Иногда пользователи переживают по поводу заблокированных ресурсов, список которых растет в соответствующем разделе Консоли. Однако, если эти ресурсы относятся к другим, сторонним сайтам, то единственное, что Вы можете сделать - убрать их со своих страниц или, если они являются неотъемлемой частью сайта - перестать волноваться. Бот предполагает, что закрытые, недоступные ресурсы могут повлиять на его способность правильно увидеть страницу, однако, катастрофическими подобные сообщения не являются. Но не следует особо переживать по поводу временно недоступных ресурсов, в большинстве случаев эта надпись обозначает, что сервис "Просмотра, как Googlebot" перегружен и не может обработать ваш ресурс полностью. Подождите, попробуйте в другое время, более пристальное внимание обратите на настройки. Как правило, рано или поздно бот эти ресурсы начинает видеть. На качестве сканирования это никак не сказывается. Оно работает с других серверов.
41. Появились странные пользователи, полагающие, что я продвигаю что-то этим вот кодексом. Во-первых, я его публикую в основном на форуме Google, откуда ссылочное не учитывается, судя по всему. Во-вторых, повторюсь, кодекс имеет собой цель иметь возможность получить свод каких-то правил, которые просто необходимо прочитать тем, кто пишет "у меня сайт и с ним проблема, быстренько помогите мне". Любая волонтерская помощь подразумевает уважительное отношение к тем, кто Вам пытается помочь. Анализ сайта - труд. Если Вы пальцем о палец не ударили, чтобы предоставить информацию для анализа, то не ждите, что кто-то ее из Вас будет выдавливать, либо собирать ее самостоятельно. Получите кодекс - прочтите его от первого пункта до ссылок в конце, возможно, что все эти нюансы Вы знаете, возможно, что нет. Соотношение рисков первого ко второму таково, что прочитать все же следует. Плакать, что Вам дали слишком много букв тоже глупо. За каждым из пунктов не один повтор вопроса-ответа на форуме, лучше будет, если Вы сбережете свое и мое время для того, чтобы вылечить того, кому это время действительно нужно. Ваша проблема в том, что Вы чего-то не знаете, а тут информация. Бесплатно. Не смогли информацией воспользоваться самостоятельно - сообщите подробно информацию по больному. В кодексе есть перечень, что требуется. Подумаем вместе. Варианты с тем, чтобы позвать сюда на ковер самого главного, чтобы он отчитался ничтожны. Если что-то не нравится в решении вопросов - покажите всем, как оно должно быть. Какой Вы внимательный и отзывчивый гуру вебмастеринга, как помогаете пользователям отвечать на самые странные вопросы... И без кодекса набираете одни и те же ответы на одни и те же вопросы. Если Вы не готовы что-либо делать, то Вы можете принять решение отказаться от пользования Google. Это избавит Вас от затрат нервов, денег, времени и сил.
42. Часто спрашивают, как посмотреть PR сайта. Общий ответ - никак. Дело в том, что тулбарный PR, который был доступен пользователям, уже несколько лет не обновляется (c 6 декабря 2013 года) и официально закрыт. Безусловно, сам PR страниц на техническом уровне остался, но является внутренним инструментом ранжирования и снаружи в настоящий момент не виден никак и нигде. То, что какие-то сторонние пузомерки до сих пор пытаются показывать изменения PR - исключительно инициатива этих самых пузомерок и ничего реального они не показывают.
43. Вопрос "Как связаться с техподдержкой Google?" очень частый и бессмысленный. Дело в том, что такой техподдержки нет. По крайней мере, что касается тех продуктов, за которые Вы не платите. Т.е., поиск, вебмастера и т.п., в противоположность AdWords и Google Domains for business, например. Единственный способ решить какой-то технический вопрос - это написать его либо на форуме Google, либо на этом форуме. Увы, решать, передавать вопрос именно в Google на рассмотрение или оставить на форуме, будут эксперты в обоих случаях. Зато, если вопрос действительно масштабный, глобальный и интересный, то его передадут непосредственно команде, отвечающей за поиск и выдачу по России или даже по всему миру.
44. Что такое и как с ними бороться. Эти меры выдаются человеком, которому машина выдала подозрительные сигналы с вашего сайта. Вы получаете уведомление с сообщением, что и как здесь не так. По массе причин уведомление может быть с достаточно расплывчатой формулировкой, да, Google не стремится к тому, чтобы его затаскали по судам. Можно стучать головой об пол и обращаться в лигу сексуальных реформ, но в данном случае важно, что Вы остаетесь один на один с тем, что ваш сайт Google не нравится. Да, бывают ошибки, но я за все время лично с ними не сталкивался. Первое, что нужно уяснить, меры сайт уже получил. "Быстро-быстро" не получится. Внимательно оцените причину попадания под меры и нарисуйте план действий. Даже если Вы уверены в том, что именно послужило причиной ручных мер, не спешите посылать на пересмотр до того, как трижды все не перепроверите, в том числе какие-то смежные моменты. Каждая отправка на пересмотр увеличивает время этого самого пересмотра. И не надо умолять никого, что больше так не будете, плакать, что это не Вы виноваты, а злой рок или предыдущий вебмастер. Поверьте, не Вы первый, быстрее не будет. Что касается сроков пересмотра, то они могут быть самыми разнообразными, как правило, от недели до трех месяцев, в зависимости от загруженности команды качества поиска, злостности вашего нарушения и количества повторных проверок, например.
45. Если не приходит ответ на пересмотр ручных мер или пересмотр проблем безопасности, то одной из частых причин является осел. Не тот, что за компьютером сидит, а тот, что IE, т.е. Internet Explorer. С ним же может быть связана куча других проблем. Продукты гугла использовать через недобраузеры - моветон. Пользуйтесь Google Chrome.
46. Обратите внимание, что во всех загружаемых роботом или отправляемых Вами в Google текстовиках (например: Disavow Links, Robots.txt, Sitemap) не должно быть BOM (Byte Order Mark), если они сохраняются в UTF. В противном случае гарантирована ошибка их обработки или просто файл будет проигнорирован.
47. Часто спрашивают, почему робот настойчиво индексирует HTTPS, хотя "мы давно от него отказались". Так вот, если Вы от него отказались, то с HTTPS-страниц должен быть редирект на соответствующие HTTP-страницы. В противном случае робот при наличии двух протоколов будет предпочитать HTTPS, несмотря на то, что Вы его давно забросили и там кривой сертификат, пугающий посетителей. Еще один вариант, похуже, вообще отключить ответ на 443 порту. Имеет право на жизнь, однако значительно увеличивает срок переиндексации страниц в пользу HTTP. Должен заметить, что в целом не стал бы рекомендовать откатываться с HTTPS, если на нем уже большая часть страниц проиндексирована.
50. Если сайт на WordPress, то, возможно, вас взломали. Аудит безопасности для таких сайтов.
51. В sitemap проиндексировано 0 (при этом в поиске страницы есть). Конечно есть. Особенно, если сайт давно работает, а сайтмап Вы сделали пять минут назад. Еще раз, данные в консоли обновляются очень медленно. Подождите, выровняется, насколько это возможно.
52. Обязательно расставьте rel="nofollow" всем ссылкам навигации. Это значительно ускоряет индексацию ресурса в целом при значимом количестве страниц.
55. Если в индекс попал мусор, как удалить лишние страницы. Особенно этим страдают бывшие завирусованные, которые не могут подобрать правильный раздел для удаления их всех скопом. Решение все же есть. Для начала все эти страницы должны возвращать 410 код. Соответственно, после этого создайте страницу-список ссылок, с обязательным META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" и скормите ее гуглоботу в консоли с индексацией всех ссылок.
56. "У меня очень мало приходит с Google" иногда обозначает, что не приходит никто вообще. Если по консоли или журналам приходит около 30-40 человек в день, то это, скорее всего, не люди, а боты проверяющие и подставляющие реферер поиска, что портит статистику.
Обратите внимание и на советы самого Google: или вот эти: и его же FAQ:
А тут можно и пожаловаться на вредные сайты: или почитать и рекомендации вебмастерам ().
Если увидели в выдаче результаты поиска, можно пожаловаться на них здесь:
Если спам в расширенных сниппетах, жалуемся сюда:
Проверка сайта на безопасность: , и
Интересный график траффика с наложением предположительных дат ключевых изменений алгоритмов: , и
Помощник по созданию микроразметки:
Форма запроса на забвение:
Для переиндексации чужой страницы можно заполнить форму здесь:
Если со сканированием бота проблемы или необходимо выполнить массовую операцию по сканированию, форма запроса тут:
А тут комплексный квест по исправлению неполадок:
Для тех, кто давно не видел бота на своей страничке: https://olegon.ru/google_addurl.php
Очень много факторов оценивается этим анализатором: https://olegon.ru/page/
Убедительная просьба писать здесь вопросы по самому кодексу, а для разбора ошибок своих сайтов и т.п. заводить отдельные темы в этом разделе.
Кодекс будет пополняться и правиться, в том числе прямо в первом сообщении.
Пункт 23. Не со всем согласен. "Если транслит, то не забудьте о еще одном важном нюансе - слова в URL надо разделять с помощью дефиса, а не знака подчеркивания, т.е. “slovo-i-slovo”, а не “slovo_i_slovo”." Мое мнение такое, если нужно ставить пробел, лучше использовать нижнее подчеркивание, если тире "Алма-Ата" - > alma-ata_gorod
Вот так.
По поводу завершающего слеша на конце. Лучше ставить. Так же как в конце предложения точку. И заодно видно URL полный, а не какой то обрезанный.
В целом написано отлично, спасибо автору за труд. В одном из пунктов даже я кое что переосмыслил для себя.
Рад, что помог чем-то.
Что касается разделяющего дефиса, заменяющего пробелы, то, хоть я и не могу найти сейчас первоисточников, однако, речь шла о разделителях смыслового содержания и разметки для бота. И суть сказанного авторитетными людьми или даже, возможно, справкой, в том, что подчеркивание слова не делит, потому синтаксические ошибки уродуют URI, а это один из важнейших факторов ранжирования. Несложно провести эксперимент, но мне кажется, что приведенный пример надо записать все же alma-ata-gorod. С завершающим слешем вполне согласен. Это правильнее с разных сторон.
20. Игнорирование ошибок разметки - вопрос?
Является ли Маркер полноценной заменой Структурированных данных, или я что то не понимаю (или не правильно что то делаю, разметил еще 3 месяца назад ни фото, ни цены товаров не появились в результатах поиска) , пожалуйста раскройте этот вопрос подробнее.
Не является, хотя бы потому, что маркер только для гугла, а разметка принимается многими ботами.
Однако, с разметкой тоже не все просто, сайты сниппеты получают только после некоторого порога доверия и популярности.
Хотел уточнить у автора его отношение к следующим моментам.
1. Если сервер исправно работает и все лишнее для запрета индексирования закрыто в файле robots.txt - нужен ли в этом случае тег <meta name="robots" content="index, follow" />
2. Нужен ли тег <link type="image/x-icon" rel="icon" href="/favicon.ico" /> если внутри сайта лежит файл фавиконки /favicon.ico и яндекс его определял ранее в поиске даже без этого тега (просто некоторые сервисы "ругались" за отсутствие этого тега).
3. Есть ли где-то информация как в идеале должен быть прописан тег <head> и верхушка сайта, у меня например так:
Я использую для корректного отображения некоторых элементов сайта библиотеку jquery.min.js
Так вот недавно обнаружил что сам яндекс использует эту библиотеку, а это значит что она будет закэширована на всех компьютерах кто пользуется яндексом и если поставить эту библиотеку себе, то это сократит время загрузки сайта (особенно в мобильных версиях). Код такой (если я не прав то поправьте):
<script src="//yastatic.net/jquery/2.1.4/jquery.min.js"></script>
5. Занимался темой, что в Гугле огромный процент отказов по моим сайта в среднем 60-80%, в то время как по яндексу в районе 10%.
Нужно в код счетчика Гугл добавить часть кода перед тегом </script>:
Более подробно описано в Википедии - введите в строку поиска эту часть кода и вас выведут на ссылку где это описано в Википедии - там нужно найти "Вариант 4" почти в конце страницы.
Эти действия естественно показали снижение показателей отказов в Гугл-аналитике до нормального уровня (примерно 10%) и увеличили приток людей с Гугла примерно на 5-15% (точные данные сложно отследить).
6. Все скрипты по-максимуму нужно смещать в низ сайта - поисковики положительно на это реагируют.
7. Так же поисковики любят когда правильно настроен http заголовок, т.е. если страница не изменилась с последнего захода на сайт, то сервер выдает код 304 - “304 Not Modified (Не изменялось)”. Я пользуюсь сервисом last-modified точка ком
8. Так же рекомендую сжать файлы css и js - что тоже увеличит скорость загрузки сайта. Таких сервисов тоже много в интернете. Я пользуюсь refresh-sf точка ком
1. Не могу ухватить хвост, откуда пошла эта идея, что надо утверждающие теги ставить. Они не нужны. И ошибка, в robots.txt даются рекомендации не сканировать, а не запрещают индексацию. Я не буду настаивать, но являюсь сторонником маленьких robots.txt, фраза, что "все лишнее закрыто" приносит воспоминания о лопате условий в robots.txt, в которых человеку потом трудно разобраться.
2. Предлагаю не паниковать по любому чиху одного из тонны вебсервисов. Если валидатор на w3 не ругается на разметку, я считаю ее правильной. Пока ничто не давало поводов считать неверным этот подход. Другой вопрос, что там не обязательно x-icon может быть. Поэтому можно использовать тег для указания своей какой-то другой картинки. Надо отметить, что наличие этого тега не гарантирует правильную обработку иконки Google. Например, у форума она не подцепилась, но я не вижу проблемы в этом, а Липатцев, пока работал с вебмастерами, как-то забил на мой вопрос.
3. Собственно, кроме "index, follow" ничего неожиданного не вижу. Копий много сломано по поводу keywords, но я предпочитаю их оставлять. С <html lang="ru"> некоторые приколы, кто-то полагает, что там должно быть ru-RU или в этом роде, я изучил вопрос, одиночная запись правильная, однако, Google скоро будет игнорировать этот тег. Остальное все больше к валидатору вопрос.
4. Если считать Яндекс абсолютным идеалом, то да, можно положить jquery туда, как можно ее положить на Google и Yahoo, где они тоже есть. Однако, я люблю, чтобы сущность ресурса была единой без отслеживания перемен на других, чужих серверах. Поэтому тормоз при первой загрузке мааленькой библиотечки как-нибудь переживу. А потом она у меня сильно кешируется.
5. Google обещает, что не берет данные аналитики, об это уже тоже много копий сломали. В любом случае, если бы это имело значение, то на стороне Google это бы и подкрутили. Не вижу повода особенно заморачиваться ради аналитики. Прошу извинить, но я не верю в этот бубен, как средство привлечения пользователей. Аналитику будет более красиво показывать - ну да...
6. Ну да, либо async им... Не все при этом хорошо работают, от архитектуры движка зависит сильно.
7. Я в свое время сильно этим заморачивался, но в итоге понял, что никакого профита на поисковиках это не дает, зато грузит мне сервак (если работать с vBulletin). И выкинул.
8. Зачем какие-то сервисы? Я прямо на сервере и сжимаю скриптом... Nginx умеет заранее сжатые файлы цеплять, я тут об этом писал где-то.
Спасибо большое за такой материал, сразу видно профи который системно подходит к своему делу. Я искал именно такую структурированую информацию, которая показывает картину в целом, а то какой-то каллейдоскоп обычно и каша.
Ваша работа - именно то что нужно человеку желающему понять что вообще происходи и как все работает во взаимоотношениях сайт-поисковик .
Перечитываю и конспектирую. Спасибо еще раз.
П.С.
Не посоветуете ли еще что-либо полезное из ваших материалов. Если есть то про дубли страниц. А так же про исключение из индекса страниц как неканонических.
На здоровье. На самом деле наиболее полезное для системного изучения я добавлял в саму основную статью. А остальное можно посмотреть в этом же разделе. Если какой-то конкретный вопрос по дублям - создайте тему, пообщаемся, иногда трудно со стороны взглянуть, чтобы увидеть непонятное...