[ОТВЕТИТЬ]
Опции темы
07.10.2016 11:20  
OlegON
Уже сколько копий сломано и статей написано, напишу свое мнение и я, вам остается лишь проверить.

Во-первых, sitemap.xml должен быть обязательно. Не надо никаких "зайдите на сайт и получите". Генерировать такую важную вещь вы должны собственным скриптом или хорошо понимать, что генерит вам чужой скрипт. Не забывайте о лимите на количество ссылок и размер файла. Проверьте в спецификации, какие они на данным момент. Я рекомендую не более 10000 ссылок в файле. Обязательно добавьте sitemap в панели вебмастеров, по крайней мере, в Yandex, Google и Bing, не забудьте его указать и в robots.txt. Если sitemap гигантский, то можете сделать один общий, обновляемый раз в неделю, а один - только на темы за неделю, обновляемый ежедневно. У меня крайне плохо ранжируются темы, которые еще не попали в карту. После создания карты ею можно пингануть Google и Bing, если забуду написать как - скажите.

Во-вторых, обязательно добавьте RSS сайта в SC гугла вместе с сайтмапом, а Яндексу добавьте сюда. Лишняя информация о страницах не повредит.

Мусорить на каждой странице ссылками на другие страницы не обязательно. Особенно хреново, когда эти ссылки начинают индексироваться, как содержимое страницы. В итоге в индексе начинается каша. Другое дело, если из одной статьи делать смысловые ссылки на другую. Очень полезная опция - HTML-карта сайта со ссылкой на нее со всех страниц. Посмотрите, как тут сделано (внизу ссылка на карту).

Обязательно добавьте RSS в Feedburner, а оттуда настройте репост в Twitter. Сервис мусорный, однако, поисковики его любят.

Есть сервисы кросспоста RSS в другие соцсети, уже писал. Обязательно настройте кросспост в Facebook и Google+, они тоже обрабатываются Яндексом и Google. Есть сервисы, постящие во ВКонтакте и Одноклассники, но там без значимого количества подписчиков трудно чего-то добиться. Собственно, во всех соцсетях так. Без оживления юзеров индексация тупит.

Обязательно настройте CSE (Custom search engine) и Поиск Яндекса для сайта. Оба этих инструмента улучшают понимание того, как индексируется именно ваш сайт, а в Яндексе еще и API для передачи страниц на индексацию есть. Вещь незаменимая.

Если сайт гигантский - разделите его на смысловые поддомены. Во избежание DDoS поисковики лимитированы в количестве запросов на домен, да и общий индекс в несколько миллионов страниц мешает индексации и пониманию, что происходит. Опять же, для таких ресурсов я принимаю необходимость закрывать ненужное в robots.txt, т.е. обязательно следите, чтобы лишние тысячи страниц там не болтались. Держите в памяти предел сканирования.

Общее правило хорошей индексации - страница в индексе через 3 часа после публикации. В пределах суток - нормальная. Более - ненормальная. Конечно, речь не идет о моментальном вбросе нескольких миллионов страниц. Но 300000 новых в день - норма для Google, например. На переиндексацию он идет значительно неохотнее.

Лимитированное количество страниц, штучно можно отправить в индекс руками через "Посмотреть, как GoogleBot" в SC гугла и в "Переобход страниц" Яндекса. Обе эти опции имеют штучный лимит, поэтому на постоянной основе пользоваться им нет смысла. Однако, в Google с такого пинка страница попадает в пределах 15 минут, в Яндексе где-то от часа до суток. Но вопрос в том, что это принудительное запихивание "быстроботом" и после рассмотрения основным ботом она может и выпасть. Приходится это контролировать.

Да, в настоящий момент на индексации сказывается HTTPS, количество ботов, работающих на этом протоколе, ниже у всех поисковиков. Но, думаю, в скором времени это изменится.

Если что-то еще интересует по теме - спрашивайте.
 
"Спасибо" OlegON от:
 
Опции темы



Часовой пояс GMT +3, время: 16:30.

Все в прочитанное - Календарь - RSS - - Карта - Вверх 👫 Яндекс.Метрика
Форум сделан на основе vBulletin®
Copyright ©2000 - 2016, Jelsoft Enterprises Ltd. Перевод: zCarot и OlegON
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.