Avisos
Vaciar todo

Semrush no respeta las directivas en robots.txt  

 
Luis
 Luis
Estimable Member

Buenas Tardes amigos/as,

 

Tengo una que le encuentro sentido y tampoco he conseguido información en Google.

 

Las auditorías que realiza SEMrush (simple, sin plan), generan una cantidad de información que está prohibida o bloqueada en el archivo robots.txt

Por ejemplo, en nuestro archivo robots.txt está la siguiente directriz:

image

Sin embargo, entra y en el informe de auditoría indica que hay una gran cantidad de errores. Bueno, no es que sean errores, y precisamente por ese motivo se bloquea el acceso al archivo robots.txt, pero semrush no le para.

 

¿Será que es incorrecta la directrix declarada en el archivo robots.txt?

 

Muchas gracias por su ayuda

Luis

 

Contenido solo visible a usuarios registrados

Citar
Respondido : 10/07/2023 11:11 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Luis, 

No veo la directiva mal si lo que deseas es impedir el acceso a todo lo que se contenga en /app.online-tesis.com/*

Ten en cuenta que al marcar * estarás indicando a los buscadores que no rastreen absolutamente que contengas en este directorio

Sobre SEMrush no podemos saber qué sucede o porque muestra el aviso que mencionas, en este caso te recomiendo consultes con el soporte de SEMrush → Contenido solo visible a usuarios registrados  

Un Saludo 

ResponderCitar
Respondido : 10/07/2023 11:35 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Luis
 Luis
Estimable Member

Gracias @karen,

 

También me di cuenta que, "app.online-tesis.com", es un subdirectorio, por lo tanto, había creado un robots.txt en el subdirectorio con el siguiente contenido:

# Impedir acceso generales a subdominios Wordpress

User-agent: *
Disallow: /

 

Pero tampoco le hace caso. De manera que seguiré tu consejo. Muchas Gracias

Luis

ResponderCitar
Respondido : 10/07/2023 11:43 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Luis,

Gracias a ti, es un placer siempre poder ayudarte.

Quedamos atentos como habido todo 

Un saludo

ResponderCitar
Respondido : 10/07/2023 11:58 pm