Правильный файл robots.txt для CMS WordPress

Изначально для всех сайтов на CMS WordPress я использовал такой файл robots.txt, в своем время он был правильным, не создавал проблем, не блокировал ничего лишнего и отдавал поисковикам для индексирования только то, что нужно:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: *?
Disallow: /xmlrpc.php
Sitemap: https://denis-creative.com/sitemap.xml
Host: denis-creative.com

Но со временем поисковые роботы стали умнее и для того чтобы не просто индексировать содержимое, а еще и правильно его отображать, чтобы поисковые роботы могли увидеть сайт так же как увидит его пользователь и на ПК, и на смартфонах, им потребовался доступ ко всем файлам стилей и скриптам. При чем не только стилям и скриптам шаблона, но так же и плагинов, и самого движка. Проблем это не должно создать, наоборот, поисковые роботу смогут правильно “видеть” сайт и, соответственно, лучше его индексировать и, возможно, выдавать его выше в результатах поиска, во всяком случае выше, чем аналогичные сайты, которые поисковый робот видит не правильно.

По итогу из файла robots.txt были удалены директивы запрещающие индексирование папок, в которых находились стили и скрипты, и получился такой обновленный robots.txt для CMS WordPress:

User-agent: *
Disallow: /wp-admin
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: *?
Disallow: /xmlrpc.php
Sitemap: https://denis-creative.com/sitemap.xml