Универсальный WordPress robots.txt.

Robots.txt для WordPress
Настройка файла Robots.txt зависит от сайта. Поэтому подход к составлению робота должно быть аккуратным.

Универсальный Robots.txt WordPress

User-agent: *                 
Disallow: /cgi-bin             
Disallow: /wp-admin/          
Disallow: /?                 
Disallow: *?s=                
Disallow: *&s=                 
Disallow: /search             
Disallow: */embed   
Disallow: /author/            
Disallow: */page/              
Disallow: */xmlrpc.php         
Disallow: *openstat=  
Disallow: *utm*=               
 
Sitemap: https://yousite/sitemap.xml
       

Директива #host не используется.

test 111 test, test