[ОТВЕТИТЬ]
Опции темы
01.10.2015 20:58  
OlegON
Несмотря на то, что бот достаточно шустро бегает по сайту, необходимо упорядочить его бег, облегчив сканирование, указав путь истинный. Для этого есть совершенно легальный и признаваемый ключевыми поисковиками (Google, Яндекс, Bing, Поиск@Mail.Ru) способ - карта сайта.

Для начала каждый уважающий себя сайт должен предоставлять (и своевременно, автоматически обновлять) XML-карту сайта. После того, как Вы ее создадите - обязательно пропишите ее в robots.txt (все примеры есть тут и на ). После - добавьте ее в кабинетах вебмастера всех поисковиков, куда дотянетесь, по идее все нормальные поисковики берут ее из robots.txt, но проконтролировать, что процесс индексации карты начался и идет без ошибок не помешает.

Некоторые поисковики понимают в качестве сайта RSS. Например, Google. Только я как-то не заметил ничего, что бы изменилось с момента, когда я отдал RSS в качестве карты сайта. Но, лучше пусть будет.

Теперь, что касается самого внезапно крутого помощника для индексации - HTML-карты сайта вот ее пример. Аналогичная и на inima.ru, только без пагинации. Очень рекомендую. Тысячи тем в сутки всасывается через нее, а вот XML почему-то воспринимается хуже.
 
 
Опции темы



Часовой пояс GMT +3, время: 14:57.

Все в прочитанное - Календарь - RSS - - Карта - Вверх 👫 Яндекс.Метрика
Форум сделан на основе vBulletin®
Copyright ©2000 - 2016, Jelsoft Enterprises Ltd. Перевод: zCarot и OlegON
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.