Яндекс Турбо, какие подводные камни? : Создание сайтов и поисковая оптимизация (SEO)

OlegON · █ 05.08.2022 15:04

Что такое Яндекс Турбо страницы описано уже на каждом углу, это облегченные страницы, которые пользователь якобы будет предпочитать за их скорость загрузки на их (пользователей) несчастном GPRS. Рекламы было очень много и на всех углах, но меня заинтересовала безрекламная сторона вопроса. И я решил попробовать на этом форуме.

Для того, чтобы бот начал создавать эти страницы, ему необходимо подготовить RSS, причем, определенной разметки. И тут я пошел по граблям. Начнем с того, что разметка подразумевает чудовищно упрощенный формат страницы, более того, каких-либо спецсимволов, escape-последовательностей и т.п. в RSS быть не должно. И, к сожалению, инструмент проверки RSS очень и очень сильно глючноват, указывая не на те ошибки, не указывая вообще и т.п. Поприседал вволю, периодически просто выкидывая некоторые темы. В общем, сказать, что RSS для турбостраниц несильно отличается от обычного RSS нельзя. Код для генерации получился достаточно объемным.

Я решил генерировать налету, создав просто страничку turbo.php. Соответственно, в силу объема форума странички получаются тяжелые по коду и большие по тексту. Яндекс практически непрерывно ходит по источникам, перебирая варианты на этом turbo.php. В результате процессор сразу скакнул и сеть, как вышла на несколько десятков гигабайт в час, так и осталась. То есть, если вы расчитываете снизить нагрузку на хостинг, имея ресурс не из двух страничек, вас ожидает еще больший сюрприз. У меня нагрузка выросла вдвое по CPU и кратно по сети.

Еще один нюанс с тем, что если на ресурсе записей много и они динамически создаются, то начинается проблема с добавлением источников RSS в Яндекс. Дело в том, что каждый источник не может содержать больше определенного количества записей и не может быть больше определенного объема. Соответственно, я лимитировал свой скрипт на выдачу постраничного RSS и все страницы добавил в источники. Получилось больше 30 штук. Соответственно, чтобы не отвалились новые страницы, пришлось добавить с запасом, выдавая страничку по умолчанию, если RSS был пустой. Если записи растут быстро по количеству, то придется разбираться еще и с API добавления источников, получать ключ и т.п., то есть сильно вкладываться в изучение того, что Яндекс может срубить или поменять в один момент, в том числе втихую. У меня такие случаи уже были и я так вкладываться не собирался.

Напрягает, что если кто-то отловит адрес источников RSS, то парсеру слишком легкая задачка будет весь сайт куда-то скопировать.

Начиная с первых же дней добавления в почту стал сыпаться спам, что какой-то из источников скачивается со сбоем. Во-первых, полностью мне этот спам так и не удалось отключить, поскольку, как я понимаю, он идет по категории критических ошибок, а я их отключать не хочу. Во-вторых, есть подозрение, что из-за того, что Яндекс их постоянно тащит по кругу, а сеть все же многошаговая до меня, кто-то чуть сбойнул и незаметное в общем случае вызывает поток писем.

По результатам внедрения всего этого счастья... Ну, получил значок турбо-страниц на Яндексе. Интересно, что одновременно с этим ИКС упал незначительно, но, возможно, из-за лета. Постоянно дрючит страничку, раздающую RSS. Нагрузка CPU и сети выше. Сами турбо-страницы загружаются не быстрее, чем оригинальные, в поиске не вылезают сильнее, зато куцые и убогие, в том числе, с проблемами защиты от хотлинкинга и lazy load, то есть картинок на турбе нет. Какого-либо положительного изменения я не заметил. Ни по самой посещалке, ни по доходу от РСЯ (он близкий к нулю, как и был). Да, у меня основные заходы от гугла, но все равно, как-то качнуться должно было, я думаю. С Яндекса тысячи приходили в день, все равно.

В ближайшее время сниму турбо-страницы. Ключевое и главное, что мне не нравится, что при пересылке и т.п. Ссылки получаются на турбо-страницы, а не на мой сайт. Ссылочное уродуется, сайт проседает. И в целом ощущать, что есть еще какая-то параллельная сущность, которой ты не управляешь совсем... Неприятно.

OlegON · █ 06.08.2022 12:26

Про CPU беру слова обратно, сильно менее значительно... Вот загрузка, видно, когда отключил Яндекс Турбо.

OlegON · █ 09.08.2023 12:14

Забил я как-то на долгое время с этими турбо-страницами разбираться, в итоге получил целую кучу страниц в виде Турбо, несмотря на то, что все источники убрал.
Результат не понравился совсем. В том числе отсутствием переходов с Яндекса и малопонятной статистикой вообще. Тыркался-тыркался, никак не переключалось все обратно.
Сделал следующее:
1) Выгрузил список страниц с турбо, это можно сделать в вебмастере, в разделе источников, справа

2) Преобразовал полученный список в XML, сам делать поленился, использовал этот сервис:
На всякий случай приложу шаблон

Код:

<?xml version="1.0" encoding="utf-8"?>
        <rss
            xmlns:yandex="http://news.yandex.ru"
            xmlns:media="http://search.yahoo.com/mrss/"
            xmlns:turbo="http://turbo.yandex.ru"
            version="2.0"
        >
        <channel>
                <item turbo="false">
                        <link>http://olegon.ru/</link>
                </item>
                <item turbo="false">
                        <link>https://olegon.ru/pr/last.html</link>
                </item>
                <item turbo="false">
                        <link>https://olegon.ru/showthread.php?t=1</link>
                </item>
                <item turbo="false">
                        <link>https://olegon.ru/showthread.php?t=10</link>
                </item>
                <item turbo="false">
                        <link>https://olegon.ru/showthread.php?t=1000</link>
                </item>
        </channel>
</rss>

Загрузил файлик на сервер, добавил его в источники, жду... Вроде как две недели.

OlegON · █ 09.08.2023 22:24

Выяснилось быстро, что больше 10000 в один файлик не лезет, так что, если у вас, как у меня, больше, то вот быстрый скриптик на PHP, который по 10к порежет

Код:

<?php
$fname = 'links2rss';
$handle = fopen($fname.'.csv', "r");
$first=true;
$cnt=1;
$suffix=1;
if ($handle) {
    while (($line = fgets($handle)) !== false) {
    if ($first){$first=false;continue;}
    if ($cnt==1){$xml = '<?xml version="1.0" encoding="utf-8"?><rss xmlns:yandex="http://news.yandex.ru" xmlns:media="http://search.yahoo.com/mrss/" xmlns:turbo="http://turbo.yandex.ru" version="2.0"><channel>';}
    $parts = explode(',', $line);
    $url = str_replace("\n",'',str_replace('"', '', end($parts)));
    $xml.="\n<item turbo=\"false\"><link>".$url."</link></item>";
    $cnt++;
    if ($cnt>9990){echo $suffix."\n";$xml.="\n</channel></rss>\n";file_put_contents($fname.$suffix.'.xml',$xml);$suffix++;$cnt=1;}
    }
    fclose($handle);
    $xml.="\n</channel></rss>\n";
    if ($cnt>1){file_put_contents($fname.$suffix.'.xml',$xml);}
} else {
    echo "Fileerr";
}
?>

в той же директории положите выгрузку с именем links2rss.csv, на выходе получите несколько файликов links2rss1.xml , links2rss2.xml и т.д.