IP-адреса ботов Яндекса, Google, Mail.ru и Bing : Сеть

Собрал в список адреса ботов Яндекса, Google, Mail.ru и Bing, проявивших значительную активность на форуме. Список обновляется автоматически.

Поисковые боты, побывавшие на форуме

Мне всегда было интересно почему один итот же бот использует миллион разных IP

Во-первых, он не один, это куча серверов, поскольку иначе миллионы страниц в день не перелопатишь.
Во-вторых, там еще и географическое распределение. Все боты кластерные. Издалека все соединения будут долгими...