hola de nuevo y vuelvo con mas cosas sobre el robots.txt
Tengo bloqueos en google en varias paginas al rastrear mi sitemap y el error lo dan varios directorios (de hecho he visto varios sitios con un robots con casi todo permitido):
1 Directorio /modules. En robots puse lo de la correccion del blog vuestro y he añadido ademas yo un # en el directorio, pero me sigue bloqueando, puede ser lo del blog que si no esta permitido no vale? Os pego a continuacion los trozos a lo que me refiero:
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
# Disallow: */modules/
Disallow: */translations/
# Disallow: */tools/
2- El # deja la linea como texto sin procesar, no? o debo borrarla? (he querido mantenerla para saber lo que ponia por defecto)
3- Si quito la linea /modules, podria quitar los dos de arriba? Tambien tuve bloqueos en /tools
Estoy experimentando ciertas mejoras en la indexacion de google gracias a que estoy quitando estas cosas.
4- si quiero por lo contrario bloquear los cms (aviso legal, etc) hay que añadir el directorio /content ?
saludos y gracias por adelantado
URL del sitio: Contenido solo visible a usuarios registrados
Hola,
Puedes probar a renombrar el fichero robots_old.txt, luego puedes ir a la administración de tu PrestaShop => preferencias => SEO y URLs y al final presionar en el botón generar el fichero robots.txt para que nuevamente coloque nuevamente el fichero que viene por defecto.
Hola, no me referia a eso que me contestas, ya que lo que pretendo es no gestionar el robots.txt por la herramienta prestashop.
Podriais comentarme por favor lo que os pregunto?
saludos y muchas gracias
Hola,
No te recomiendo desactivar la indexación del directorio módules, ya que en este directorio se cargarán imágenes, archivos css, etc.
Es decir, tendrías que borrar la línea
Disallow: */modules/
Si se pone un # se está comentando la línea, por lo que sería equivalente a eliminarla.
Si quitas esta línea no es necesario que existan los Allows para los contenidos de módulos ya que, en ausencia de Disallow, el Allow ya se sobreentiende.
Si quieres bloquear los elementos del CMS tendrías que añadir la siguiente línea:
Disallow: /content/
Ok, gracias.
Recomiendas desactivar mas cosas?
He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?
Tambien he visto en una web que luego he perdido y no encuentro de nuevo, una entrada desabilitando las urls con errores 404 en su robots.txt. De hecho creo que leí confirmando esto mismo en algun sitio especializado. Sabes como prodria escribirlo? Que opinion te da esto?
Muchas gracias por adelantado y saludos.
Hola Enrique
Recomiendas desactivar mas cosas?
Al eliminar el Disallow: */modules/, no hace falta que tengas estas dos lineas y puedes eliminarlas:
Allow: */modules/*.css
Allow: */modules/*.js
He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?
En este caso es indiferente que se encuentre al principio o al final, la función es la misma y no afecta su posición en el SEO que es a lo que creo que te refieres.
La ultima consulta no la entiendo muy bien pero supongo que te refieres a redireccionar las errores 404 que son de pagina no encontrada.
Estas redirecciones las puedes realizar desde .htaccess, redirigiendo esa url a otra por ejemplo al inicio.
Revisa esta entrada del blog
Redirecciona urls de forma correcta usando cPanel y .htaccess
Un saludo
Gracias, pero eso ya lo habiamos hablado en este tema y el resto no me refiero a eso.
Pero podemos cerrar el tema si quereis.
P.D. Una cosa diferente. Me acaba de salir el mensaje de aviso del numero de 50 mensajes en el foro por mes. Se refiere a meses reales? (De Agosto me quedarian 2 dias hasta el 31 y empeazamos a contar otro mes) o meses a contar desde las sucripciones?
Saludos y gracias
HOla
Son meses reales, es decir te quedarían 2 días para reiniciar el contador. De no ser así, y sigues viendo el mensaje te lo pueden aclarar por tickets en donde pueden ver más detalle.
Saludos.
ok, gracias de nuevo
saludos