Problema al indexar sitemaps en search console  

Hola Antonio.

Lo primero es crear tu archivo robot.txt.

¿ Tienes instalado yoast para el seo de tu web ?
Revisa esta entrada del blog que se explica cómo crearlo tanto manual como desde la propia extensión de yoast.

-> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Espero que la información te sirva, de no ser así, por favor indícalo para que podamos seguir ayudándote.

Un saludo

Gracias por tu respuesta.

Estoy en la el editor de robots.txt del plugin pero no quiero copiar y pegar un código sin entender demasiado bien lo que estoy haciendo.

Había configurado el plugin para no indexar atributos de producto, paginaciones, medios y alguna cosa más y no se si el código del artículo es compatible con dicha configuración. En mi caso sólo quiero indexar las entradas del blog, algunas páginas, las categorías de productos y los productos.

¿Hay alguna guía que te explique paso a paso este proceso para ocultar contenidos que no te interesa indexar?

Un saludo.

Hola Antonio.

El código que tienes al final de la entrada es el recomendado para una instalacion de wordpress

Puedes utilizar la etiqueta Disallow: para indicarle las url que no quieres que indexe o las categorías.

Disallow: /pagina-web.htm
Disallow: /categoria

Un saludo

Buenas tardes.

Acabo de modificar el robot.txt con el código que me recomendaste en el mensaje anterior pero sigo sin poder indexar los sitemaps en el search console. Me vuelve a dar el mismo error.

El plugin SEO Yoast no me muestra ningún aviso de que pueda tener una mala configuración y la verdad es que estoy un poco perdido.

La web llevaba unos meses en noindex y cuando accedía al plugin me saltaba el correspondiente aviso. Ahora ese aviso ya no existe pero al parecer no puedo indexar manualmente ninguna página.

¿Alguna idea? ... gracias y un saludo.

Hola

Actualmente tienes un Disallow: /, esto esta que te restringe todas las páginas para que NO sean indexadas
Contenido solo visible a usuarios registrados

En tu archivo robots.txt en su lugar deja lo siguiente

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap: https://

En sitemap, tendrías que poner la url del sitemap que te ha generado SEO by Yoast

Saludos.

Hola Jhon.

Acabo de seguir tus instrucciones pero el resultado sigue siendo el mismo. Dejo un par de capturas por si estoy haciendo mal algún paso.

Gracias

Hola

Debes tener dos configuraicones de robots.txt ya que yo veo esto:

Contenido solo visible a usuarios registrados

Si tienes un archivo físico robots.txt en la raiz de tu sitio eliminálo, y sólo deja lo que has configurado en SEO by Yoast , aunque personalmente te sugiero mejor evitar SEO by Yoast para esto y colcoar tu código directamente en l archivo robots.txt, como veas cualquiera es válido pero sólo quédate con una opción.

Luego la url que te indica Google es diferente a la url del sitemap que colocas en tu robots.txt, tienes que eliminar esa url ya que no es válida, sube de nuevo la url de tu mapa de sitio en Google

Saludos.

Ok, ¿ cómo hago para subir el archivo físico robots.txt a la raiz del dominio?, ¿qué ruta tengo que seguir en el administrador de archivos?

Si, al final pude generar el nuevo archivo desde serch console e instalarlo en la raiz de la web a través del administrador de archivos.

Ahora ya puedo instalar manualmente los sitemaps. La duda que tengo ahora es que no se si al incluir la linea "Sitemap: https://deplatay.es/sitemap_index.xm l" google me va a instalar todo el contenido de mi web o sólo los sitemaps que a mi me interesen.

Por ejemplo quiero indexar todos los artículos de la tienda pero no quiero que se haga los mismo con algunas páginas como la del carrito o la de contacto y tampoco me interesa indexar los atributos de los productos.
.
¿Hay algún problema al respecto o sería mejor introducir de nuevo el archivo robots.txt sin esa linea de código?

¿En el plugin Seo Yoast borro el código o lo dejo como está?

Un saludo y gracias por vuestra paciencia

Hola Antonio,

Necesariamente en robots.txt al final debes añadir lo siguiente:

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://www.dominio.com/post-sitemap.xml
Sitemap: http://www.dominio.com/page-sitemap.xml
Sitemap: http://www.dominio.com/hosting-sitemap.xml

Sustituye dominio.com por el nombre de tu dominio naturalmente.

Luego haz pruebas de Rastreo de robots.txt en Google Search Console.

Nota: Los avisos/errores de Google Search Console no se quitan "de inmediato" ya que Google puede tardar horas o días en rastrear de nuevo tu web.

Saludos

Vale, entonces, ¿sustiyo el código que me dio tu compañero por este otro cambiando el nombre del dominio o lo agrego a lo anterior?

¿Para que sirve este código?

Muchas gracias

Hola Antonio,

En mi respuesta anterior te decía:

Necesariamente en robots.txt al final debes añadir lo siguiente:

Es decir, este código que te sugerí lo añades al final del archivo robotx.txt que ya tienes creado y debes dejar los códigos que ya tiene no sustituirlos y debajo añadir los que yo te he comentado.

Por cierto, esto lo explico con detalle en la artículo que te recomendó mi compañero al principio.

Saludos

Buenos días.

Acabo de modificar el archivo robots.txt con la configuración que me habéis indicado pero cuando indexo un sitemap me salen los siguientes mensajes:
Advertencias

El archivo robots.txt ha bloqueado la URL.

El sitemap incluye URL que el archivo robots.txt ha bloqueado.

Os dejo una captura de pantalla de como está configurado el archivo y otra del mensaje de erros de Search Console.

Un saludo

Hola antonio.

¿ Tienes configurado el robot.txt en Yoast ?
prueba a eliminar esta linea de t archivo robot.txt:

Disallow: /wp-content/plugins/

Un saludo