Изначально для всех сайтов на CMS WordPress я использовал такой файл robots.txt, в своем время он был правильным, не создавал проблем, не блокировал ничего лишнего и отдавал поисковикам для индексирования только то, что нужно:
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: */trackback Disallow: */feed Disallow: *? Disallow: /xmlrpc.php Sitemap: https://denis-creative.com/sitemap.xml Host: denis-creative.com
Но со временем поисковые роботы стали умнее и для того чтобы не просто индексировать содержимое, а еще и правильно его отображать, чтобы поисковые роботы могли увидеть сайт так же как увидит его пользователь и на ПК, и на смартфонах, им потребовался доступ ко всем файлам стилей и скриптам. При чем не только стилям и скриптам шаблона, но так же и плагинов, и самого движка. Проблем это не должно создать, наоборот, поисковые роботу смогут правильно “видеть” сайт и, соответственно, лучше его индексировать и, возможно, выдавать его выше в результатах поиска, во всяком случае выше, чем аналогичные сайты, которые поисковый робот видит не правильно.
По итогу из файла robots.txt были удалены директивы запрещающие индексирование папок, в которых находились стили и скрипты, и получился такой обновленный robots.txt для CMS WordPress:
User-agent: * Disallow: /wp-admin Disallow: /wp-content/cache Disallow: /wp-trackback Disallow: /wp-feed Disallow: */trackback Disallow: */feed Disallow: /xmlrpc.php Sitemap: https://denis-creative.com/sitemap.xml Host: denis-creative.com
Один комментарий к “Правильный файл robots.txt для CMS WordPress (UPD)”
Danjavy
This really answered my downside, thank you!