Robots.txt для WordPress
Настройка файла Robots.txt зависит от сайта. Поэтому подход к составлению робота должно быть аккуратным.
Универсальный Robots.txt WordPress
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: */embed
Disallow: /author/
Disallow: */page/
Disallow: */xmlrpc.php
Disallow: *openstat=
Disallow: *utm*=
Sitemap: https://yousite/sitemap.xml
Директива #host не используется.