Несмотря на то, что бот достаточно шустро бегает по сайту, необходимо упорядочить его бег, облегчив сканирование, указав путь истинный. Для этого есть совершенно легальный и признаваемый ключевыми поисковиками (Google, Яндекс, Bing, Поиск@Mail.Ru) способ - карта сайта.
Для начала каждый уважающий себя сайт должен предоставлять (и своевременно, автоматически обновлять) . После того, как Вы ее создадите - обязательно пропишите ее в robots.txt (все примеры есть тут и на ). После - добавьте ее в кабинетах вебмастера всех поисковиков, куда дотянетесь, по идее все нормальные поисковики берут ее из robots.txt, но проконтролировать, что процесс индексации карты начался и идет без ошибок не помешает.
Некоторые поисковики понимают в качестве сайта RSS. Например, Google. Только я как-то не заметил ничего, что бы изменилось с момента, когда я отдал RSS в качестве карты сайта. Но, лучше пусть будет.
Теперь, что касается самого внезапно крутого помощника для индексации - HTML-карты сайтавот ее пример. Аналогичная и на inima.ru, только без пагинации. Очень рекомендую. Тысячи тем в сутки всасывается через нее, а вот XML почему-то воспринимается хуже.