Что делать с письмом от Google «Googlebot не может получить доступ к файлам CSS и JS на сайте»

28.07.2015

28 июля 2015 года на почту начали приходить сообщения от Google Search Console Team <sc-noreply@google.com>  с темой: «Googlebot не может получить доступ к файлам CSS и JS на сайте».

Письма получили владельцы сайтов, добавленных в Google Search Console (бывший Google Webmaster). Такие письма приходили и раньше, но сейчас прошла рассылка по всем сайтам из данной консоли, у которых есть проблема с доступом робота к скриптам и стилям сайта.

Итак, что это за письмо «Googlebot не может получить доступ к файлам CSS и JS на сайте» и в чем проблема?

В письме сказано:

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Простыми словами, Googlebot не может увидеть сайт, как его видят пользователи, потому что скрипты и стили для него закрыты и он их загрузить не может, то есть он его видит, как видели бы вы, если отключите скрипты и стили на сайте, например, так:

Что делать с письмом от Google Googlebot не может получить доступ к файлам CSS и JS на сайте 1

А для него (Googlebot) важно увидеть сайт, как его видят пользователи, для того, чтобы правильно ранжировать ваш сайт в результатах поиска.

Проверить, как же видит сайт Googlebot можно на этой странице https://www.google.com/webmasters/tools/googlebot-fetch?siteUrl=http://textile.in.ua/ — в конце указан url сайта, к которому у вас есть доступ в панели Google Search Console.

Нажмите «Получить и отобразить», затем нажмите на полученный статус и вы увидите результаты проверки, в моем случае такие:

Что делать с письмом от Google Googlebot не может получить доступ к файлам CSS и JS на сайте 2

Разница в реальном отображении и как видит Googlebot очевидна, и ниже указана причина, то есть указаны файлы, к которым блокируется доступ для Googlebot:

Что делать с письмом от Google Googlebot не может получить доступ к файлам CSS и JS на сайте 3

Что делать?

В robots.txt нужно открыть доступ для роботов к скриптам и стилям сайта, то есть для WordPress нужно открыть доступ к папке с шаблонами сайта, лишние шаблоны можно удалить, но, как я понимаю, роботу нужны только используемые скрипты и стили для правильного отображения сайта.

В robots.txt нужно удалить строку (для WordPress):

Disallow: /wp-content/themes

Затем проверьте на наличие ошибок в файле robots.txt на этой странице https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru. Но здесь отображаются ошибки именно в оформлении файла robots.txt, а не ошибки доступа для Googlebot.

После изменения robots.txt, «просканируйте сайт, выбрав параметр «Mobile: smartphone», чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент» — чтобы сайт отображался правильно не только для ПК, но и для смартфонов.

После всех того, как мы убрали из robots.txt правило, запрещающее индексацию директорию с файлами шаблона, мы при повторной проверке получаем уже правильное отображение и для Googlebot:
Что делать с письмом от Google Googlebot не может получить доступ к файлам CSS и JS на сайте 4

Ниже мы все равно видим ошибки, потому что для Googlebot по прежнему закрыт доступ к директориям плагинов, но на внешний вид эти скрипты и стили не влияют, они влияют на функционал сайта:
Что делать с письмом от Google Googlebot не может получить доступ к файлам CSS и JS на сайте 5

Но если у вас на сайте стоят плагины, которые глобально влияют на отображение контента, например, Visual Composer, тогда стоит открыть доступ для Googlebot и к директориям плагинов, нужно это делать или нет вы узнаете просмотрев на сайт как Googelbot в консоли.

Если все же необходимо, тогда удалите из robots.txt эту строку (Для WordPress):

Disallow: /wp-content/plugins

Дополнено

Решил другой сайт и эту же страницу просмотреть Googlebot’ом, результаты:

В robots.txt закрыт доступ к плагинам и шаблонам:

cg1 dc1

В robots.txt закрыт доступ к плагинам:

cg2 dc2

В robots.txt открыт доступ к плагинам и шаблонам:

dc3 cg3

По итогу у меня получился такой правильный файл robots.txt для CMS WordPress:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Host: denis-creative.com
Sitemap: http://denis-creative.com/sitemap.xml

Я всё.

Не уходи, пока не прочитаешь:

Комментарии (4) к “Что делать с письмом от Google «Googlebot не может получить доступ к файлам CSS и JS на сайте»”

  • Рита

    Хорошая и понятная статья) спасибо) с письмом от Гуглбота проблема решена)

    Ответить
  • lopirevair

    Хорошая статья. Мне как раз в тему. спасибо

    Ответить
    • lopirevair

      Я тут еще нашла полезную информацию по проблеме данного «письма счастья». Кстати, хотелось бы узнать мнение Дениса (не знаю отчества) по поводу вот этой статьи http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js

      Ответить
      • Denis Creative

        Это хорошая статья, гораздо более развернутая чем моя, и сайт отличный, я сам его читаю, так что и всем советую.
        Ребята много пишут толковых статей и большой плюс — пишут о своей практике, что особенно ценно!
        Моя же статья поверхностная — в ней самые простые действия для владельцев сайтов на CMS WordPress, но этих действий вполне хватает, чтобы позволить Googlebot правильно ваш сайт «увидеть» и правильно его проиндексировать.

        Ответить

Оставить комментарий