Avisos
Vaciar todo

[Resuelto] Robot Txt - web  

 
Eugenio
 Eugenio
Estimable Member

Hola, me puse en contacto con webempresa y me dijeron que los contactara para que me ayudaran. Ya que sugieren algo y yo no tengo idea de como hacerlo. Y si vale la pena o no. Es que cloudflare me comento que hay errores del servidor (408, 502, 504, 520, 521, 522, 523, 524). Picos puntuales de rendimiento. Tengo yoast en mis webs.

 

WEBEMPRESA:

Suelen haber picos de consumo que llegan al máximo de consumo del CPU.

Revisando las peticiones a tus webs veo muchos acceso por parte de dos bots:

(compatible; DotBot/1.2; + https://opensiteexplorer.org/dotbot;  help@moz.com)
(compatible; MJ12bot/v1.4.8;  http://mj12bot.com/)

Puedes configurar el fichero robots.txt de tus webs para denegarles el acceso.

Sin embargo no vemos que sean problemas continuados de servicio, es un pico puntual que vuelve a la normalidad al instante.

Revisa si evitando el acceso a estos bots ya no se vuelven a producir.

Son errores puntuales de rendimiento, y aunque no parecen afectar de forma excesiva puedes tratar de corregirlos

Añade esos bot al robots.txt para reducir su impacto y que no tengas problemas

Aunque según parece son caídas muy pequeñas

 

 

Muchas gracias

Contenido solo visible a usuarios registrados

Respondido : 01/02/2022 4:32 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Eugenio,

En este caso agrega en tu robots.txt lo siguiente:

User-agent: dotbot
Disallow: /

igualmente con el segundo bot, puedes agregar este texto luego del que te compartí recientemente:

User-agent: MJ12bot
Disallow: /

De esta forma deben detener toda las solicitudes de ambos bots.

Verifica y nos comentas, un saludo 🖐️ 

Respondido : 01/02/2022 4:42 pm

Eugenio
 Eugenio
Estimable Member

@argenis Hola, muchas gracias por tu aportación. Vale la pena hacerlo???

Y la otra, es que no tengo idea de donde hacer lo que me dices. Dónde agregar el código o poner esa información. Desconozco este proceso de cómo y donde hacerlol Si me pueden ayudar les agradecería.

Respondido : 01/02/2022 4:55 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Eugenio,

Has notado bajones en tu sitio? tal como te comentan desde ticket el tiempo de recuperación del sitio es casi instantáneo por lo que los picos pueden no ser un problema lo mejor y lo que te recomendamos es que dejes estos bots activos y si vez que en un futuro estas teniendo problemas de que la web se queda en blanco cargando por mucho tiempo o tienes algún problema de carga en especifico, agregues estos parámetros para detener estos robots.

Para agregarlo puedes ver esta guía:

https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/

Directamente con yoast ya que nos comentas que es el que utilizas.

Un saludo 🖐️ 

Respondido : 01/02/2022 5:12 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Eugenio
 Eugenio
Estimable Member

@argenis

Perfecto, eso es lo que me dijo webempresa, que eran pocos e instantáneos. no siempre. Yo sigo sus recomendaciones, si me dicen que no no lo hago. Yo no me he dado cuenta de esto. De hecho cloudflare me mando la notificacion, si no, ni por enterado. Y mis usuarios no me han dicho nada. Lo que webempresa me dijo es que revisara el consumo en mi cpanel, pero no tengo muy claro que es bueno y malo. Por eso acudí a uds.

Respondido : 01/02/2022 5:18 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Eugenio,

Estupendo, entonces sigue estando en pie la mejor solución:

Respondido por: @argenis

lo que te recomendamos es que dejes estos bots activos y si vez que en un futuro estas teniendo problemas de que la web se queda en blanco cargando por mucho tiempo o tienes algún problema de carga en especifico, agregues estos parámetros para detener estos robots.

Para agregarlo puedes ver esta guía:

https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/

El consumo puedes verlo aquí:

https://www.webempresa.com/blog/verificar-los-recursos-de-uso-de-nuestro-servidor-y-solucionarlo-en-caso-de-consumo-excesivo.html

Es un poco vieja la guía pero las opciones siguen siendo las mismas (nombres), nos comentas si podemos dar el tema como resuelto.

Un saludo 🖐️ 

Respondido : 01/02/2022 5:24 pm

Cursos Gratuitos WordPress

Eugenio
 Eugenio
Estimable Member

@argenis 

Puede estar resuelto, si llego a saber que hay mas problemas y son mas importantes, acudire a esta conversación para hacer lo que me comentaste. Muchisimas gracias

Respondido : 01/02/2022 5:30 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Eugenio,

Estupendo y encantados siempre de poder ayudar, si tienes alguna otra duda que no sea sobre este tema recuerda que puedes crear un tópico nuevo y con gusto lo atenderemos.

Saludos 🖐️ 🤓 

Respondido : 01/02/2022 5:48 pm

wpdoctor-revisa-la-salud-de-tu-wordpress