Уже сколько копий сломано и статей написано, напишу свое мнение и я, вам остается лишь проверить.
Во-первых, sitemap.xml должен быть обязательно. Не надо никаких "зайдите на сайт и получите". Генерировать такую важную вещь вы должны собственным скриптом или хорошо понимать, что генерит вам чужой скрипт. Не забывайте о лимите на количество ссылок и размер файла. Проверьте в спецификации, какие они на данным момент. Я рекомендую не более 10000 ссылок в файле. Обязательно добавьте sitemap в панели вебмастеров, по крайней мере, в Yandex, Google и Bing, не забудьте его указать и в robots.txt. Если sitemap гигантский, то можете сделать один общий, обновляемый раз в неделю, а один - только на темы за неделю, обновляемый ежедневно. У меня крайне плохо ранжируются темы, которые еще не попали в карту. После создания карты ею можно пингануть Google и Bing, если забуду написать как - скажите.
Во-вторых, обязательно добавьте RSS сайта в SC гугла вместе с сайтмапом, а Яндексу добавьте сюда. Лишняя информация о страницах не повредит.
Мусорить на каждой странице ссылками на другие страницы не обязательно. Особенно хреново, когда эти ссылки начинают индексироваться, как содержимое страницы. В итоге в индексе начинается каша. Другое дело, если из одной статьи делать смысловые ссылки на другую. Очень полезная опция - HTML-карта сайта со ссылкой на нее со всех страниц. Посмотрите, как тут сделано (внизу ссылка на карту).
Обязательно добавьте RSS в Feedburner, а оттуда настройте репост в Twitter. Сервис мусорный, однако, поисковики его любят.
Есть сервисы кросспоста RSS в другие соцсети, уже писал. Обязательно настройте кросспост в Facebook и Google+, они тоже обрабатываются Яндексом и Google. Есть сервисы, постящие во ВКонтакте и Одноклассники, но там без значимого количества подписчиков трудно чего-то добиться. Собственно, во всех соцсетях так. Без оживления юзеров индексация тупит.
Обязательно настройте (Custom search engine) и . Оба этих инструмента улучшают понимание того, как индексируется именно ваш сайт, а в Яндексе еще и API для передачи страниц на индексацию есть. Вещь незаменимая.
Если сайт гигантский - разделите его на смысловые поддомены. Во избежание DDoS поисковики лимитированы в количестве запросов на домен, да и общий индекс в несколько миллионов страниц мешает индексации и пониманию, что происходит. Опять же, для таких ресурсов я принимаю необходимость закрывать ненужное в robots.txt, т.е. обязательно следите, чтобы лишние тысячи страниц там не болтались. Держите в памяти предел сканирования.
Общее правило хорошей индексации - страница в индексе через 3 часа после публикации. В пределах суток - нормальная. Более - ненормальная. Конечно, речь не идет о моментальном вбросе нескольких миллионов страниц. Но 300000 новых в день - норма для Google, например. На переиндексацию он идет значительно неохотнее.
Лимитированное количество страниц, штучно можно отправить в индекс руками через "Посмотреть, как GoogleBot" в SC гугла и в "Переобход страниц" Яндекса. Обе эти опции имеют штучный лимит, поэтому на постоянной основе пользоваться им нет смысла. Однако, в Google с такого пинка страница попадает в пределах 15 минут, в Яндексе где-то от часа до суток. Но вопрос в том, что это принудительное запихивание "быстроботом" и после рассмотрения основным ботом она может и выпасть. Приходится это контролировать.
Да, в настоящий момент на индексации сказывается HTTPS, количество ботов, работающих на этом протоколе, ниже у всех поисковиков. Но, думаю, в скором времени это изменится.
Вопрос перешедший с того форума, только не ругайте меня, я изучаю сейчас способы продвижения и у меня много вопросов. Запрос в Гугле и Яндексе site:мойсайт что означает? Это индексация моего сайта? Если да, то у меня в первых строках выходит не то, чтобы я хотел видеть. Как поместить в первые строки те страницы, которые мне нужны, допустим оглавление.?
Просто пустой такой запрос выкидывает произвольную выборку страниц, обычно его сочетают с каким-то конкретным словосочетанием, чтобы что-то найти в пределах сайта. Это поисковый оператор для пользователя, а не вебмастера. Порядок строк при пустом запросе тоже мало что говорит.
Не валите все вопросы в одну тему, тем более, что она слабо связана с тем, с чего я начал - заводите отдельную тему на каждый вопрос.