Что делать с письмом от Google «Googlebot не может получить доступ к файлам CSS и JS на сайте»

28 июля 2015 года на почту начали приходить сообщения от Google Search Console Team <sc-noreply@google.com>  с темой: «Googlebot не может получить доступ к файлам CSS и JS на сайте».

Письма получили владельцы сайтов, добавленных в Google Search Console (бывший Google Webmaster). Такие письма приходили и раньше, но сейчас прошла рассылка по всем сайтам из данной консоли, у которых есть проблема с доступом робота к скриптам и стилям сайта.

Итак, что это за письмо «Googlebot не может получить доступ к файлам CSS и JS на сайте» и в чем проблема?

В письме сказано:

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Простыми словами, Googlebot не может увидеть сайт, как его видят пользователи, потому что скрипты и стили для него закрыты и он их загрузить не может, то есть он его видит, как видели бы вы, если отключите скрипты и стили на сайте, например, так:

А для него (Googlebot) важно увидеть сайт, как его видят пользователи, для того, чтобы правильно ранжировать ваш сайт в результатах поиска.

Проверить, как же видит сайт Googlebot можно на этой странице https://www.google.com/webmasters/tools/googlebot-fetch?siteUrl=http://textile.in.ua/ — в конце указан url сайта, к которому у вас есть доступ в панели Google Search Console.

Нажмите «Получить и отобразить», затем нажмите на полученный статус и вы увидите результаты проверки, в моем случае такие:

Разница в реальном отображении и как видит Googlebot очевидна, и ниже указана причина, то есть указаны файлы, к которым блокируется доступ для Googlebot:

Что делать?

В robots.txt нужно открыть доступ для роботов к скриптам и стилям сайта, то есть для WordPress нужно открыть доступ к папке с шаблонами сайта, лишние шаблоны можно удалить, но, как я понимаю, роботу нужны только используемые скрипты и стили для правильного отображения сайта.

В robots.txt нужно удалить строку (для WordPress):

Disallow: /wp-content/themes

Затем проверьте на наличие ошибок в файле robots.txt на этой странице https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru. Но здесь отображаются ошибки именно в оформлении файла robots.txt, а не ошибки доступа для Googlebot.

После изменения robots.txt, «просканируйте сайт, выбрав параметр «Mobile: smartphone», чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент» — чтобы сайт отображался правильно не только для ПК, но и для смартфонов.

После всех того, как мы убрали из robots.txt правило, запрещающее индексацию директорию с файлами шаблона, мы при повторной проверке получаем уже правильное отображение и для Googlebot:

Ниже мы все равно видим ошибки, потому что для Googlebot по прежнему закрыт доступ к директориям плагинов, но на внешний вид эти скрипты и стили не влияют, они влияют на функционал сайта:

Но если у вас на сайте стоят плагины, которые глобально влияют на отображение контента, например, Visual Composer, тогда стоит открыть доступ для Googlebot и к директориям плагинов, нужно это делать или нет вы узнаете просмотрев на сайт как Googelbot в консоли.

Если все же необходимо, тогда удалите из robots.txt эту строку (Для WordPress):

Disallow: /wp-content/plugins

Дополнено

Решил другой сайт и эту же страницу просмотреть Googlebot’ом, результаты:

В robots.txt закрыт доступ к плагинам и шаблонам:

В robots.txt закрыт доступ к плагинам:

В robots.txt открыт доступ к плагинам и шаблонам:

По итогу у меня получился такой правильный файл robots.txt для CMS WordPress:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Host: denis-creative.com
Sitemap: http://denis-creative.com/sitemap.xml

Я всё.