Mi archivo robot.txt tiene todos estos directorios fura de rastreo pero no se si es correcto tenerlo así, con estos datos porque luego en los programas de chequeos de links me dice que el robot no ha podido rastrearlos. ¿Quizás al menos la carpeta images debería de estar rastreable?
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
URL del sitio: Contenido solo visible a usuarios registrados
Hola Rosario
¿Quizás al menos la carpeta images debería de estar rastreable?
Deja solo estos que te indico:
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
Un saludo
¿Te puedo preguntar por qué?
Hola
Lo que sucede es que google ahora quiere saber más cosas de tu sitio, si detecta que es un CMS quiere entrar por ejemplo dentro de los archivos del template que usas.
Saludos.