Универсальный Wordpress robots.txt.

Robots.txt для WordPress
Настройка файла Robots.txt зависит от сайта. Поэтому подход к составлению робота должно быть аккуратным.

Универсальный Robots.txt WordPress

User-agent: *                 
Disallow: /cgi-bin             
Disallow: /wp-admin/          
Disallow: /?                 
Disallow: *?s=                
Disallow: *&s=                 
Disallow: /search             
Disallow: */embed   
Disallow: /author/            
Disallow: */page/              
Disallow: */xmlrpc.php         
Disallow: *openstat=  
Disallow: *utm*=               
 
Sitemap: https://yousite/sitemap.xml

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /?

Disallow: *?s=

Disallow: *&s=

Disallow: /search

Disallow: */embed

Disallow: /author/

Disallow: */page/

Disallow: */xmlrpc.php

Disallow: *openstat=

Disallow: *utm*=

Sitemap: https://yousite/sitemap.xml

Директива #host не используется.