Hola,
He encontrado una información que recomienda añadir las siguientes líneas al archivo robots.txt que viene por defecto en Joomla. Según se expone ahí, es para evitar contenido duplicado. Os cito un resumen y la url de la fuente:
Una de las razones de excluir contenido es evitar el contenido duplicado y en este caso en específico el robots.txt predefinido de Joomla es ineficiente. Para optimizarlo debemos agregar algunas líneas adicionales que resolverán el problema en aquellos enlaces comunes que google siempre termina tomando como enlaces duplicados.
Estas son las líneas que sugiere que se añadan a robots.txt:
Disallow: /?fontstyle=f-smaller
Disallow: /?fontstyle=f-larger
Disallow: /*?$
Disallow: /*.php
Disallow: /cgi-bin
La información está en este enlace: http://tutobinario.com/tutorial/robots-txt-joomla/
Quería saber si me recomendais hacer estos cambios en robots.txt para una web con Joomla + VirtueMart o si por el contrario creeis que podría darme problemas.
Saludos y gracias!
URL del sitio: Contenido solo visible a usuarios registrados
Hola Alceste,
Ese tutorial está anticuado, puesto que es para un Joomla! 1.5, y no para Joomla! 2.5 en la que la estructura de las carpetas es distinta.
No te puedo indicar a priori si los cambios en el robots.txt
Disallow: /*?$ Disallow: /*.php
pueden afectar de forma negativa al rastreo. En ese mismo artículo que has indicado, te sucedería lo mismo con el componente XMAP.
Respecto a:
Disallow: /?fontstyle=f-smaller Disallow: /?fontstyle=f-larger
no veo revisando el código fuente de tu sitio web que tengas implementadas esas funciones de aumento y disminución del tamaño de la fuente.
Respecto a:
Disallow: /cgi-bin
Revisa si tienes esa carpeta /cgi-bin, porque si no la tienes evidentemente no es necesario escribir nada en el robots.txt
Saludos