Очень часто вебмастеру нужно, чтобы бот пришел на какую-то конкретную страницу. К сожалению, бот капризен, а через консоль вебмастера можно пнуть ограниченное количество раз. Что делать...
Если кто не знает, у бота есть интересный функционал отправки sitemap при обновлении. Вот, например, как я ежечасно пинаю форумный.
Код:
curl -s -o /dev/null http://www.google.com/ping?sitemap=https://olegon.ru/sitemapxml.php
Вы можете пинать свой сайтмап после каждого изменения... А теперь, тадаммм, маленький секрет. Пинать можно не только сайтмапы, но и страницы. В том числе и совершенно чужих сайтов. Сканер все равно один и тот же... Правила индексирования будут старыми, но сканер придет и страницу просканирует. Я так совершенно спокойно поднял в нужный момент сканирование с 10000 в день до 200000, что зафиксировано графиком в консоли вебмастера.