En la web www.bodegasignacioguallart.com tengo numerosos problemas para la correcta indexación de la web. Para empezar, como primer error a solucionar veo que tengo numerosos bloqueos de ficheros .js, .css etc...Me gustaría saber como puedo configurar el fichero robots.txt para evitar estos bloqueos de ficheros.
Además también hay un par de ficheros bloqueados
URL del sitio: Contenido solo visible a usuarios registrados
Hola,
Revisando tu archivo robots.txt veo que tienes lo siguiente:
User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /images/sampledata Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/
Esto es demasiado restrictivo, ya que hará que no carguen elementos css, js e imágenes en directorios que sí los suelen tener como components, modules, plugins o media. Te recomiendo cambiar lo anterior por lo siguiente:
User-agent: * Disallow: /administrator/ Disallow: /cli/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /tmp/