Hola amigos.
Tengo un sitio web con mucho contenido, Search Console detectaba algunos errores me recomendaron, usar el siguiente Robots TXT, es correcto?
User-agent: *
Disallow: /wp-admin/
Allow: /ads/preferences/
Allow: /gpt/
Allow: /pagead/show_ads.js
Allow: /pagead/js/adsbygoogle.js
Allow: /pagead/js/*/show_ads_impl.js
Allow: /static/glade.js
Allow: /static/glade/
Allow: *css
Allow: *js
Allow: /wp-admin/admin-ajax.php
Contenido solo visible a usuarios registrados
Hola Eduardo.
Si, puede ser válido, pero como te comente ya depende de cada instalación y las preferencias del usuario.
Por favor lo tratamos todo en una entrada, tienes varias entradas con la misma consulta 😉
Un saludo
Gracias Pepe
Hola
El Robots.txt que enviaste tiene muchas personalizaciones, mejor usar algo más simple.
Revisa: https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
Saludos.