Avisos
Vaciar todo

Bloqueo de robots no deseados en google  

 
Enrique
 Enrique
Reputable Member

hola de nuevo y vuelvo con mas cosas sobre el robots.txt

Tengo bloqueos en google en varias paginas al rastrear mi sitemap y el error lo dan varios directorios (de hecho he visto varios sitios con un robots con casi todo permitido):

1 Directorio /modules. En robots puse lo de la correccion del blog vuestro y he añadido ademas yo un # en el directorio, pero me sigue bloqueando, puede ser lo del blog que si no esta permitido no vale? Os pego a continuacion los trozos a lo que me refiero:

# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
# Disallow: */modules/
Disallow: */translations/
# Disallow: */tools/

2- El # deja la linea como texto sin procesar, no? o debo borrarla? (he querido mantenerla para saber lo que ponia por defecto)

3- Si quito la linea /modules, podria quitar los dos de arriba? Tambien tuve bloqueos en /tools

Estoy experimentando ciertas mejoras en la indexacion de google gracias a que estoy quitando estas cosas.

4- si quiero por lo contrario bloquear los cms (aviso legal, etc) hay que añadir el directorio /content ?

saludos y gracias por adelantado

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 25/08/2016 10:26 pm
Johnny Heredia Montiel
 Johnny Heredia Montiel
Miembro Moderator

Hola,

Puedes probar a renombrar el fichero robots_old.txt, luego puedes ir a la administración de tu PrestaShop => preferencias => SEO y URLs y al final presionar en el botón generar el fichero robots.txt para que nuevamente coloque nuevamente el fichero que viene por defecto.

ResponderCitar
Respondido : 26/08/2016 1:05 am

wpdoctor-revisa-la-salud-de-tu-wordpress

Enrique
 Enrique
Reputable Member

Hola, no me referia a eso que me contestas, ya que lo que pretendo es no gestionar el robots.txt por la herramienta prestashop.

Podriais comentarme por favor lo que os pregunto?

saludos y muchas gracias

ResponderCitar
Respondido : 26/08/2016 10:35 am
Pablo Velasco
 Pablo Velasco
Illustrious Member

Hola,

No te recomiendo desactivar la indexación del directorio módules, ya que en este directorio se cargarán imágenes, archivos css, etc.

Es decir, tendrías que borrar la línea

Disallow: */modules/

Si se pone un # se está comentando la línea, por lo que sería equivalente a eliminarla.

Si quitas esta línea no es necesario que existan los Allows para los contenidos de módulos ya que, en ausencia de Disallow, el Allow ya se sobreentiende.

Si quieres bloquear los elementos del CMS tendrías que añadir la siguiente línea:

Disallow: /content/

ResponderCitar
Respondido : 26/08/2016 2:11 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Enrique
 Enrique
Reputable Member

Ok, gracias.

Recomiendas desactivar mas cosas?

He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?

Tambien he visto en una web que luego he perdido y no encuentro de nuevo, una entrada desabilitando las urls con errores 404 en su robots.txt. De hecho creo que leí confirmando esto mismo en algun sitio especializado. Sabes como prodria escribirlo? Que opinion te da esto?

Muchas gracias por adelantado y saludos.

ResponderCitar
Respondido : 28/08/2016 9:48 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Enrique

Recomiendas desactivar mas cosas?
Al eliminar el Disallow: */modules/, no hace falta que tengas estas dos lineas y puedes eliminarlas:

Allow: */modules/*.css
Allow: */modules/*.js

He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?

En este caso es indiferente que se encuentre al principio o al final, la función es la misma y no afecta su posición en el SEO que es a lo que creo que te refieres.

La ultima consulta no la entiendo muy bien pero supongo que te refieres a redireccionar las errores 404 que son de pagina no encontrada.

Estas redirecciones las puedes realizar desde .htaccess, redirigiendo esa url a otra por ejemplo al inicio.

Revisa esta entrada del blog
Redirecciona urls de forma correcta usando cPanel y .htaccess

Un saludo

ResponderCitar
Respondido : 28/08/2016 3:38 pm

Enrique
 Enrique
Reputable Member

Gracias, pero eso ya lo habiamos hablado en este tema y el resto no me refiero a eso.

Pero podemos cerrar el tema si quereis.

P.D. Una cosa diferente. Me acaba de salir el mensaje de aviso del numero de 50 mensajes en el foro por mes. Se refiere a meses reales? (De Agosto me quedarian 2 dias hasta el 31 y empeazamos a contar otro mes) o meses a contar desde las sucripciones?

Saludos y gracias

ResponderCitar
Respondido : 29/08/2016 6:36 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

Son meses reales, es decir te quedarían 2 días para reiniciar el contador. De no ser así, y sigues viendo el mensaje te lo pueden aclarar por tickets en donde pueden ver más detalle.

Saludos.

ResponderCitar
Respondido : 29/08/2016 11:38 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Enrique
 Enrique
Reputable Member

ok, gracias de nuevo

saludos

ResponderCitar
Respondido : 01/09/2016 12:35 am