Avisos
Vaciar todo
Buenas tardes,
He configurado el archivo robots.txt de mi sitio web ( https://comparalosmejores.es/robots.txt ) siguiendo la guía de uno de vuestros post https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html , pero me ha llegado un mail de Google Seach Console advirtiendo que "Se han detectado problemas de cobertura en mi web" debido a que una página "se ha indexado aunque un archivo robots.txt la ha bloqueado".
Al consultar el informe veo que la página que tengo bloqueda es "https://comparalosmejores.es/comments/feed/".
¿Cómo puedo solucionar el problema? ¿Dónde puedo ponerle el noindex a la página de "comments/feed/" para que desaparezca este aviso? porque no veo la manera de acceder a esa página y no quiero tocar código del tema en la medida de lo posible. Uso GeneratePress, por si conocéis algún hook del tema que pueda ayudar.
* Acabo de actualizar el archivo robots.txt de mi sitio web y he cambiado estas dos líneas:
Allow: /feed
Allow: /comments/feed
El problema me ha dado cuando ambas estaban como "Disallow".
Gracias de nuevo por vuestro gran trabajo.
Este debate ha sido modificado el hace 5 años por Gerard Martínez
Respondido : 19/05/2020 5:41 pm
Hola
Personalmente creo que no deberías tener tanto código en el robots.txt, prueba sólo usar:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://sitioweb/sitemap_index.xml
El resto que no aparezcan aqui serán permitidas, si quieres restringir una página específica usa algún plugin como SEO Yoast para establecer que no se indexe
Por cierto cambia en el sitemap : sitioweb , debes poner una url válida que haga referencia a tu mapa de sitio.
Saludos.
Esta publicación ha sido modificada el hace 5 años por Jhon
Respondido : 19/05/2020 6:44 pm
Gracias por la información @jmarreros, sobre todo por lo del sitemap, se me había pasado cambiarlo después del copy/paste 😓.
He actualizado el archivo tal y como comentas, pero me surgen algunas dudas. ¿Qué diferencias hay entre "deshabilitar" una página desde el robots.txt o pornerle el "noindex"? ¿Hay alguna que prefiera Google para las arañas?
Un saludo.
Respondido : 19/05/2020 9:07 pm
Hola
Usualmente deshabilitas por robots.txt directorios enteros.
y usas un plugin como SEO Yoast para páginas individuales.
Saludos.
Respondido : 19/05/2020 10:05 pm
