Puede NO estar generando correctamente mi archivo robots prestashop ?  

Hola,

Puedes generar el robots.txt desde Preferencias -> SEO y URLs en el apartado Generación de archivos Robots con el botón. Con esto seria suficiente.

No obstante, en caso de que con esta manera no se genere lo que quieres, puedes crearlo manualmente. Revisa la siguiente información que te sera de utilidad: http://www.prestalook.com/prestashop-robots-txt-disallow/

Saludos

Gracias, he visto el enlace y tambien se como generarlo.

Lo que queria era vuestra indicación sobre si el ejemplo que os pongo debe aparecer ya que no se si es un directorio o no y no quiero meter la pata. Son los CMS. Podriais mirar mi robots.txt y ver si lo incluye o no y en tal caso como ponerlo? Tampoco se si se pueden incluir todos los cms de golpe o hay que añadirlos de uno en uno.

Tambien tengo instalado el blog con smartblog.

Muchas gracias de nuevo y saludos.

Hola

Vemos su archivo en :
Contenido solo visible a usuarios registrados

Entendemos que no desea que se indexen las páginas de CMS, en tal caso tendrías que agregar manualmente esto ya que actualmente no figura, aunque, cual es la razón para no indexar esto?, más sugerimos que deje que se indexe estas páginas en su sitio.

Saludos.

Por favor prefiero no hacerlo. De hecho prestashop trae las opciones para no indexarlas. Aunque parece que no funciona nada bien por mucho que las active.

Como lo agrego manualmente entonces?

Gracias y saludos.

Hola,

Tendrías que seguir construyendo el fichero manualmente como lo estas haciendo, yo tampoco tengo claro porque no deseas que se indexe.

Gracias de nuevo, pero no lo he hecho yo, lo ha hecho el programa aunque con estos fallos. Yo no sé.

Por eso, lo unico que quiero saber es como poder añadir yo manualmente mis paginas de cms por favor.

Gracias y saludos.

Hola

Usualmente robots.txt sirve para indicar rutas físicas como carpetas, etc que no quieres que el robot de los buscadores tengan acceso, para las páginas como CMS si no quieres que se indexen, verás que tienes una opción en la configuración de la página que indica Indexación de motores de búsqueda, deberás ponerla en NO para cada página, ver imagen adjunta.

Saludos

En efecto Jhon, y por eso ando con este tema. Lo tengo asi mismo, y por eso deberia aparecer reflejado en robots.

Saludos.

Hola,

Al realizar los cambios que te indica Jhon vuelves a generar el fichero robots.txt?

Si que lo hago. De hecho he vuelto a revisar los botones uno a uno y vuelto a generarlo.

Aunque no se que debo buscar exactamente, podria ser en el apartado directorios algo así?
# Directories
Disallow: */content/

Gracias y saludos.

Hola,

En caso de que no quieras que se indexen las paginas CMS deberás añadir el siguiente código a tu archivo robots.txt:

Disallow: /cms.php

No obstante, te recomendamos hacerlo a través de la administración de prestashop como te comento Jhon.

Saludos

Hola Julen.

Por favor, mira en la foto que te mando como y donde lo he puesto, a ver si lo he hecho bien.

No es que dude, pero en mi ignoriancia, ¿ seguro que con esto no se indexan todas las páginas CMS: Aviso legal, sobre nosotros, condiciones de venta, privacidad, etc... ? Lo veo tan poca cosa...

Por ultimo podriais indicarme si debo añadir tambien las referencias a los otros dos archivos del sitemap, en mi caso solo esta el archivo del indice, pero no los otros dos.

Por último y a este respecto, un poco relacionando robots.txt, con sitemap y ESTOS FALLOS (fijaros el ejemplo que nos trata donde he tenido que poner a mano esto) he leido que los modulos que generan esto en prestashop tienen muchos fallos, algunos bastante gordos, y creo que esto es de lo mas importante de cara al posicionamiento como para no dejarlo pasar. Tambien endiendo que prestashop no se "esmere" demasiado en su tema por defecto o sus modulos "gratis", si luego hay otros aunque sean relacionados, que son de pago. Por ello, os mando un enlace que habla al respecto sobre todo ello y por favor quisiera tener presente siempre antes vuestra opinion al respecto como expertos de mi hosting y por delante de otros en internet. Son ciertos estos comentarios?

http://jordiob.com/2014/09/trucos-y-cosas-a-tener-en-cuenta/

Asímismo, sea bueno o no el de prestashop (ya con la mosca tras la oreja) me podeis recomendar un generador de sitemap (aparte de otros, por lo visto el de prestashop no me incluye mi blog - uso el smartblog) y de robots que sea gratuito y que sobre todo te puedas quedar tranquilo que los genera bien?.

Gracias y saludos.

Hola,

La forma de evitar que los robots de búsqueda indexen una página no está solamente limitada a lo que se ponga en robots.txt, sino que también se puede hacer mediante metadatos.

De hecho, cuando un artículo de CMS lo configuras para que no se indexe se agrega la siguiente metaetiqueta en el código (lo puedes ver viendo el código fuente):

Aquí se le está diciendo a los robots que no indexe la página. Es tan correcto o más que poner que no se indexe la página en el archivo robots.txt.

Sobre añadir las otras referencias a los archivos de sitemap, no será necesario si desde el enlace que has puesto ya se están cargando las otras 2 referencias.

No te recomiendo utilizar otro generador de sitemap. El que viene con PrestaShop ya es suficientemente bueno. Tampoco hay que obsersionarse con el sitemap. Ten en cuenta que esto sirve de guía para los buscadores, pero en todo caso cuando un robot de un buscador visita una página normalmente rastrea todos los enlaces, no solo los que están en el sitemap.

Por último, y tal como te comentaron mis compañeros, no veo ningún problema en que los robots indexen tus páginas de CMS. No dejan de ser más resultados a añadir a Google, lo que siempre se puede considerar beneficioso.

De acuerdo chicos. Pero.

No me habeis repondido a si lo he puesto bien en el archivo. No se si es ahí (ver la foto) o en otro apartado del mismo. Tendre que hacerlo manualmente cada vez que vuelva a generarlo y me quiero asegurar que no estoy haciendo el tonto.

Y entonces falla al generar el robots, independientemente de si hay que ponerlo o no, lo que tratamos aqui es si genera bien las cosas o no.

Que pasa entonces con lo del blog (módulo smartblog) el sitemap, no lo genera al ser un modulo externo no?

Supongo que aunque rastree el sitio, siempre será mejor con el sitemap que sin él o al menos sin uno que no genere contradicciones como pone en el enlace que os mando.

Comprendo que no quereis mareos de preguntas de clientes que no tienen ni idea de esto, como un servidor, pero lo que si queremos es saber como puede ser bueno algo que falla y si no pues a usar otro, ya que gastamos tiempo y dinero en todo esto como para no estar tranquilo con las herramientas que se supone deben hacer bien su trabajo.

Gracias y saludos.