Hola, me puse en contacto con webempresa y me dijeron que los contactara para que me ayudaran. Ya que sugieren algo y yo no tengo idea de como hacerlo. Y si vale la pena o no. Es que cloudflare me comento que hay errores del servidor (408, 502, 504, 520, 521, 522, 523, 524). Picos puntuales de rendimiento. Tengo yoast en mis webs.
WEBEMPRESA:
Suelen haber picos de consumo que llegan al máximo de consumo del CPU.
Revisando las peticiones a tus webs veo muchos acceso por parte de dos bots:
(compatible; DotBot/1.2; + https://opensiteexplorer.org/dotbot; help@moz.com)
(compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
Puedes configurar el fichero robots.txt de tus webs para denegarles el acceso.
Sin embargo no vemos que sean problemas continuados de servicio, es un pico puntual que vuelve a la normalidad al instante.
Revisa si evitando el acceso a estos bots ya no se vuelven a producir.
Son errores puntuales de rendimiento, y aunque no parecen afectar de forma excesiva puedes tratar de corregirlos
Añade esos bot al robots.txt para reducir su impacto y que no tengas problemas
Aunque según parece son caídas muy pequeñas
Muchas gracias
Contenido solo visible a usuarios registrados
Hola Eugenio,
En este caso agrega en tu robots.txt lo siguiente:
User-agent: dotbot
Disallow: /
igualmente con el segundo bot, puedes agregar este texto luego del que te compartí recientemente:
User-agent: MJ12bot
Disallow: /
De esta forma deben detener toda las solicitudes de ambos bots.
Verifica y nos comentas, un saludo 🖐️
@argenis Hola, muchas gracias por tu aportación. Vale la pena hacerlo???
Y la otra, es que no tengo idea de donde hacer lo que me dices. Dónde agregar el código o poner esa información. Desconozco este proceso de cómo y donde hacerlol Si me pueden ayudar les agradecería.
Hola Eugenio,
Has notado bajones en tu sitio? tal como te comentan desde ticket el tiempo de recuperación del sitio es casi instantáneo por lo que los picos pueden no ser un problema lo mejor y lo que te recomendamos es que dejes estos bots activos y si vez que en un futuro estas teniendo problemas de que la web se queda en blanco cargando por mucho tiempo o tienes algún problema de carga en especifico, agregues estos parámetros para detener estos robots.
Para agregarlo puedes ver esta guía:
https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/
Directamente con yoast ya que nos comentas que es el que utilizas.
Un saludo 🖐️
Perfecto, eso es lo que me dijo webempresa, que eran pocos e instantáneos. no siempre. Yo sigo sus recomendaciones, si me dicen que no no lo hago. Yo no me he dado cuenta de esto. De hecho cloudflare me mando la notificacion, si no, ni por enterado. Y mis usuarios no me han dicho nada. Lo que webempresa me dijo es que revisara el consumo en mi cpanel, pero no tengo muy claro que es bueno y malo. Por eso acudí a uds.
Hola Eugenio,
Estupendo, entonces sigue estando en pie la mejor solución:
lo que te recomendamos es que dejes estos bots activos y si vez que en un futuro estas teniendo problemas de que la web se queda en blanco cargando por mucho tiempo o tienes algún problema de carga en especifico, agregues estos parámetros para detener estos robots.
Para agregarlo puedes ver esta guía:
https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/
El consumo puedes verlo aquí:
Es un poco vieja la guía pero las opciones siguen siendo las mismas (nombres), nos comentas si podemos dar el tema como resuelto.
Un saludo 🖐️
Puede estar resuelto, si llego a saber que hay mas problemas y son mas importantes, acudire a esta conversación para hacer lo que me comentaste. Muchisimas gracias
Hola Eugenio,
Estupendo y encantados siempre de poder ayudar, si tienes alguna otra duda que no sea sobre este tema recuerda que puedes crear un tópico nuevo y con gusto lo atenderemos.
Saludos 🖐️ 🤓