Форум OlegON > Компьютеры и Программное обеспечение > Сеть > Создание сайтов и поисковая оптимизация (SEO)

Googlebot не может получить доступ к файлам CSS и JS на сайте : Создание сайтов и поисковая оптимизация (SEO)

19.03.2024 7:39


28.07.2015 20:37
OlegON
 
Сегодня многие вебмастеры получили сообщение от Google следующего содержания

Цитата:
Веб-мастеру сайта ...
Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
Завел тему специально для тех, кто не читает п. 11 здесь. Повторюсь, избыточное наполнение файла robots.txt приводит ко многим проблемам. В данном случае, чтобы исправить ошибку, необходимо в файле robots.txt найти строки, закрывающие какие-то CSS или JS сайта и удалить эти строки. Обязательно нужно сохранить копию первоначального robots.txt, чтобы если Вы что-то важное удалите, его потом восстановить. После внесения изменений идете по этой и сначала скармливаете боту сам robots.txt, а потом смотрите на ключевые страницы сайта, убеждаясь, что никакие элементы не заблокированы от просмотра. Для оценки стороннего сайта или в случае, если SC почему-то недоступна, можно провести аудит заблокированных ресурсов здесь:
Если вышеперечисленное вводит Вас в ступор сложностью действий - обратитесь к специалисту, чтобы он выполнил требуемые действия за Вас, пока Вы не натворили каких-то дел, после которых сайт будет окончательно заблокирован.
30.07.2015 18:53
OlegON
 
Один из вариантов открытия скриптов и стилей
Цитата:
User-Agent: Googlebot
Allow: /*.js
Allow: /*.css
20.12.2016 11:33
Роман Полянин
 
пробовал. webmaster.yandex.ru отреагировал нормально. В Search Console модули и плагины относило в Заблокированные ресурсы. Сделал потом:
Allow: /modules/mod_joomly_callback/js/callback.js

вроде помогло, но проблема осталась по отдельным плагинам:
/plugins/system/jcemediabox/themes/standard/css/style.css?7361405241320e69bc1bfb093eb0a2f7
/plugins/system/jcemediabox/css/jcemediabox.css?3ab6d4490e67378d035cce4c84ffa080

Несмотря на то что разрешил в Robots.txt индексацию:
Allow: /plugins/system/jcemediabox/themes/standard/css/style.css?7361405241320e69bc1bfb093eb0a2f7

продолжает расти количество заблокированных страниц после исправления. (вносил 16.12, а 17.12 добавило 3 страницы).
в чем может быть проблема?
20.12.2016 11:44
OlegON
 
Во-первых, в консоль данные попадают с некоторым запозданием, поэтому часть влетит просто по инерции.
Во-вторых, есть внизу введи свой URL, проверишь, работает ли какая-то строка или не работает. В robots.txt (регистр имени имеет значение) порядок следования директив надо соблюдать.
Часовой пояс GMT +3, время: 07:39.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.