Hola buenas tardes, os comento. Hace unos días que prácticamente he terminado esta web. El tema es que al enviar sitemaps y explorar como google en webmastertools , me dan algunas urls sin descripción ya que parece ser que robots.txt esta bloqueadolas, cosa que no parece cierta.
Os adjunto capturas de pantalla
Gracias por vuestros comentarios
URL del sitio: Contenido solo visible a usuarios registrados
HOla
Es estraño veo que en los robots.txt que muestras no hay restricciones para esto
Revisa tu archivo robots físico, en tu sitio web, también verifica si tienes carpetas con el nombre de feed o blog, según entiendo estas direcciones son dadas por wordpress y definidas a nivel de BD por lo que no existen físicamente.
Saludos.
Veras, hace como unos días cambié el robots.txt por el que que aparece en la captura de pantalla.
Cuando te refieres al archivo robot físico te refieres al que hay en el Cpanel? Es que es el mismo , editado y optimizado con el Plug de Yoast . Te adjunto captura de pantalla .
Quizá toque esperar? no se.
Gracias
Hola
Si, podría ser un archivo físico o manejarlo igual como lo haces
Que es lo que habías modificado exactamente en el robots, con lo que pones si que debería rastrearse correctamente, tal vez debido a las modificaciones google tarde un tiempo en indexar nuevamente
Saludos.
Hola, el robots.txt original lo generé con una herramienta normal. Era este que te pego.
# robots.txt generated at http://www.mcanerin.com
User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: http://www.cerrajerofontanerovalencia.es/sitemap_index.xml
Después puse el que tengo ahora y que te indique anteriormente.
Saludos
HOla
La primera línea de tu código anterior
Disallow:
No indica nada
Sin embargo el que tienes actualmente si es correcto, tendrías que esperar a ver si google te vuelve a revisar el robots.txt e indexar las descripciones de algunos apartados
Saludos.
Bien, buenos dias. La web se indexa excepto las entradas del blog. Me podéis decir que está ocurriendo, o mejor dicho en que lugar con la información que teneis arriba, tengo que cambiar para que se indexen estas entradas. del blog?
En yoast es posible esté el problema? Me podéis decir como solucionarlo?
Gracias .
Hola,
En principio no sería necesario hacer nada, veo que el código de las páginas del blog es el correcto. Lo más probable es que tengas que esperar un tiempo a que Google indexe estas páginas.
Gracias. El tema es que las paginas la indexa bien, pero las entradas del blog, no. Esperaré un poco mas. Saludos