Правильный файл robots.txt для CMS WordPress

Изначально для всех сайтов на CMS WordPress я использовал такой файл robots.txt, в своем время он был правильным, не создавал проблем, не блокировал ничего лишнего и отдавал поисковикам для индексирования только то, что нужно:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: *?
Disallow: /xmlrpc.php
Sitemap: https://denis-creative.com/sitemap.xml
Host: denis-creative.com

Но со временем поисковые роботы стали умнее и для того чтобы не просто индексировать содержимое, а еще и правильно его отображать, чтобы поисковые роботы могли увидеть сайт так же как увидит его пользователь и на ПК, и на смартфонах, им потребовался доступ ко всем файлам стилей и скриптам. При чем не только стилям и скриптам шаблона, но так же и плагинов, и самого движка. Проблем это не должно создать, наоборот, поисковые роботу смогут правильно «видеть» сайт и, соответственно, лучше его индексировать и, возможно, выдавать его выше в результатах поиска, во всяком случае выше, чем аналогичные сайты, которые поисковый робот видит не правильно.

По итогу из файла robots.txt были удалены директивы запрещающие индексирование папок, в которых находились стили и скрипты, и получился такой обновленный robots.txt для CMS WordPress:

User-agent: *
Disallow: /wp-admin
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: *?
Disallow: /xmlrpc.php
Sitemap: https://denis-creative.com/sitemap.xml
Настройка плагина SEO Smart Links

SEO Smart Links – плагин для создания автоматической внутренней перелинковки. Поскольку в сети очень мало…

Полезные функции в шаблоне WordPress

В разных шаблонах может быть абсолютно различная структура кода, которая зависит от фантазии разработчика и…

Как сделать, чтобы форма комментирования появлялась сразу под кнопкой ответить

Для того, чтобы была во время ответа на комментарии, форма для комментирования появлялась сразу под…

Что делать, если не выводятся миниатюры в плагине Slideshow Gallery

Достаточно интересный плагин слайдера для WordPress Slideshow Gallery, если чуть исправить таблицу стилей, то можно получить…

1 комментарий

This really answered my downside, thank you!

Ответить