Me gustaría saber cual es el mejor camino para detectar páginas duplicadas y poderlas borrar, parece que google penaliza mucho este tipo de redundancia,
URL del sitio: Contenido solo visible a usuarios registrados
he encontrado este consejo pero no se si es correcto, se trata de evitar que google detecte los contenido que duplican los gestores de contenidos de joomla. Es un consejo entre muchos otros pero quizás vosotros tengais el remedio más sencillo ya clarificado o conozcáis alguna extensión o instrucción adecuadas.
El archivo robots.txt podría quedar así:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /*&
Disallow: /* (otros caracteres o cadenas de direcciones extrañas que aparezcan indexadas)
Sitemap: http://www.dominio.com/sitemap.xml
Con este archivo robots.txt estamos ayudando a mejorar la seguridad y la SEO de nuestro sitio.
HOla
La mejor manera de hacerlo es detectarlo a través de las herramientas de Google Search Console, da de alta tu dominio y espera que se rerporten errores de duplicaciones.
Lo de robots.txt es para bloquear directorios, no le veo mucha relación.
Saludos
¿Es en la opción de rastreo? yo no encuentro nada que hable de duplicaciones
Hola
Te sugiero leer:
https://support.google.com/webmasters/answer/66359
Indica:
"El contenido duplicado de un sitio no implica que deban tomarse medidas al respecto a menos que aparentemente el objetivo sea engañar y manipular los resultados de los motores de búsqueda. Si tu sitio tiene problemas relacionados con contenido duplicado y no sigues los consejos indicados anteriormente, conocemos muy bien la manera de elegir la versión adecuada para mostrarla en los resultados de la búsqueda."
"Google no recomienda que bloquees el acceso de los rastreadores al contenido duplicado de tu sitio web, tanto si utilizas un archivo robots.txt como si utilizas otros métodos."
En resumen, eleije la versión preferida de tu sitio y espera a que google te rastree, y verifica si te aparecen errores, de manera general hay mucha información por allí pero ten en cuenta que esto va cambiando por eso mejor guiarse de lo que dice Google.
Saludos.