Hola, que tal. Me llamo Jesús.
En Google Search console me marca un error de servidor (5xx). Ya lo comenté hace un mes aproximadamente y me dijeron que cambiara el robots.txt. Dia a validar error en Search Console pero me han respondido que no se ha podido validar el error.
¿A qué puede deberse este error? Adjunto captura de pantalla.
Se supone que Google no debería rastrear este archivo https://guiavi.com/wp-login.php , pero no se por qué marca ese error.
El archivo robots.txt que me recomendaron el mes pasado y tengo puesto es este:
# Bloquear o permitir acceso a contenido adjunto. (Si la instalación está en /public_html).
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
#Impedir el acceso a los diferentes feed que genere la página
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
# Impedir URLs terminadas en /trackback/ que sirven como Trackback URL.
Disallow: /*/*/*/trackback/$
# Evita bloqueos de CSS y JS.
Allow: /*.js$
Allow: /*.css$
#Bloquear todos los pdfs
Disallow: /*.pdf$
#Bloquear parámetros
Disallow: / *?
# Lista de bots que deberías permitir.
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
# Lista de bots bloqueados
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: GurujiBot
Disallow: /
User-agent: hl_ftien_spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YodaoBot
Disallow: /
#Desautorizar a páginas innecesarias
Disallow: /gracias-por-suscribirte
# Añadimos una indicación de la localización del sitemap
Sitemap: https://guiavi.com/sitemap_index.xml
Contenido solo visible a usuarios registrados
Hola Jesus.
Veo que la URL carga sin problemas.
Contenido solo visible a usuarios registrados
Puedes añadir lo siguiente en el archivo robos.txt, en el bloque " Bloquear o permitir acceso a contenido adjunto "
Disallow: /wp-login.php
Un saludo
@pepesoler, muchas gracias.
He incluido la línea que me has comentado.
¿Es correcto?
Muchas gracias Pepe y un saludo.
Hola Jesus.
Si, es correcto como esta
Un saludo