Avisos
Vaciar todo
Saludos.
Hemos recibido un mail desde Google Search Control indicándonos que: hay 1 nuevo problema de Cobertura del índice en tu sitio web. Por este motivo, es posible que la experiencia de Cobertura del índice se vea afectada en los resultados de la Búsqueda de Google.
En principio el problema afectaba a una url que ya no existe en nuestro e-commerce. Pero al ir al "Explorar como Google" en Google Search Control nos indica que "Temporalmente no hay acceso a nuestra web" (os adjunto imagen)
Estamos asustados por si nos afecta a nivel SEO o deja de indexarse la página.
Siguiendo los foros y blogs de webempresa el archivo robots.txt que tenemos desde hace unos días es el siguiente:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Allow: /*.js$
Allow: /*.css$
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
User-agent: bingbot
Crawl-delay: 10
¿Alguien sabe por qué ocurre esto?
Muchas gracias.
URL del sitio: Contenido solo visible a usuarios registrados
Respondido : 18/03/2018 6:12 pm
Hola Gustavo,
Primero te pregunto ¿la web tiene habilitada la opción "Disuadir a los motores de búsqueda de indexar el sitio web?
Si no lo tiene, quiere decir que el problema está en tu archivo .htaccess que está impidiendo a googlebot indexar correctamente los diferentes elementos de tu web.
Revisa este artículo donde lo explico:
- robots.txt en WordPress ¿que problema tienes googlebot? - https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
Saludos
Respondido : 18/03/2018 9:29 pm
Saludos Luis.
La web no tiene habilitada la opción "Disuadir a los motores de búsqueda de indexar el sitio web!"
Lleva desde 2013 indexándose. El problema aparece con el cambio de servidor. Antes no estábamos alojados en webempresa. Con el cambio de servidor, desde un ticket, nos aconsejaron cambiar el robots.txt y nos pusieron el mismo link a tu artículo. Y así hicimos.
El problema con Google Search Console está en la opción Explorar como Google en la que nos aparece toda la página "Temporalmente sin acceso".
De hecho en errores de rastreo, no tenemos ninguno. Aparece el mensaje: No se han detectado errores en los últimos 90 días. ¡Genial!
Y como puedes comprobar en el probador de robots.txt, el acceso del googlebot está PERMITIDO
Es únicamente en el Explorar como Google donde aparece "Temporalmente sin acceso"
¿A qué puede deberse?
Un saludo y gracias por tu tiempo,
Gustavo
Respondido : 18/03/2018 11:12 pm
Hola Gustavo,
Efectivamente robots.txt está correcto y no parece estar bloqueando bots.
Envía por favor un Ticket a Soporte para que revisen si alguna regla de seguridad puede estar afectando, aunque no debería ya que no bloqueamos los bots de Google.
Saludos
Respondido : 18/03/2018 11:27 pm
Hola Luis.
Ya enviamos ticket y nos remitieron aquí al foro. Nos dijeron que no había ningún bloqueo de bots de Google.
¿A qué puede deberse el problema?
Un saludo
Respondido : 19/03/2018 7:55 am
Hola,
A nivel de servidor no tendría que haber nada que bloquee a los bots de Google. Revisando el archivo robots.txt de tu web te recomiendo que elimines estas 2 líneas del mismo, ya que afectan a al forma que en la que Google indexa tu web:
Disallow: /wp-content/themes/ Disallow: /wp-
Verifica si de esta forma ya te indexa la web. Si no es así, comprueba que no tengas ningún plugin de seguridad instalado en tu WordPress, ya que precisamente esto podría estar generando el bloqueo.
Respondido : 19/03/2018 12:31 pm
Gracias Pablo.
Hemos eliminado las líneas del robots.txt
La web indexa, el problema solo es a nivel de "Explorar como Google" en el GSC. En el que aparece como "Temporalmente sin acceso"
A ver qué sucede eliminando esas líneas.
Un saludo,
Gustavo
Respondido : 20/03/2018 8:22 am
Hola Gustavo.
Las dos lineas que te indica pablo, lo que hacen es bloquear el acceso a la carpeta de tu plantilla y puede ser ese el motivo.
Ok, dejamos el hilo en espera por si tienes que retomarlo.
Un saludo
Respondido : 20/03/2018 9:02 am
