Robots.txt для WordPress
Настройка файла Robots.txt зависит от сайта. Поэтому подход к составлению робота должно быть аккуратным.
Универсальный Robots.txt WordPress
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /? Disallow: *?s= Disallow: *&s= Disallow: /search Disallow: */embed Disallow: /author/ Disallow: */page/ Disallow: */xmlrpc.php Disallow: *openstat= Disallow: *utm*= Sitemap: https://yousite/sitemap.xml
Директива #host не используется.