Avisos
Vaciar todo

Errores raros 404 - Archivo robots.txt  

 
Alfredo
 Alfredo
Usuario activo

Hola majos 🙂

Tengo instalado un plugin que me avisa de los errores 404 en mi email, concretamente este:  https://duckdev.com/products/404-to-301/  , y lleva días reportándome errores raros de intentos de acceso a carpetas inexistentes. Hace un par de días recibí: ¡374 emails de este tipo de errores! 

Lo que me sorprende es que "alguien" pida direcciones inexistentes como por ejemplo: "/Home/Get/getJnd28". Eso no existe en mi sitio.

Tras hablar con soporte, hemos llegado a la conclusión de que podría ser algún bot, y les he preguntado si podría hacer algo para mejorar la situación a través del archivo robots.txt. Me  han dicho que lo plantee por aquí a ver si me podéis dar alguna orientación sobre lo siguiente:

¿Es posible implementar algo más de seguridad a través del archivo robots.txt? Hay mucha info en Internet, pero francamente, cuesta encontrar una "configuración ideal" que no vaya a crear un problema donde no lo hay.

¿Tenéis en Webempresa alguna recomendación estándar para el archivo robots.txt que permita a WordPress funcionar sin miedo a bloquear nada importante, y que proteja todo lo posible de este tipo de escaneos? Mil gracias.

Un saludo.

Contenido solo visible a usuarios registrados

Citar
Respondido : 11/09/2021 9:03 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Alfredo,

Primero que nada no veo que funcione bien el complemento de la redirección ya que ingrese una url no valida y me mostro esta página:

https://www.jinglebit.com/ups-404/

Debería llevar al homepage, verifica que este funcionando correctamente y esté activo. Con respecto al robot puede variar dependiendo de tus necesidades por ejemplo puedes ver nuestro articulo:

https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Un saludo 🖐️ 

ResponderCitar
Respondido : 11/09/2021 9:53 pm

Cursos Gratuitos WordPress

Alfredo
 Alfredo
Usuario activo

Hola @argenis, gracias por responder 🙂

El funcionamiento es correcto, la página que te mostró el plugin es la página 404 personalizada de site. O sea, cuando ingresas una URL no válida, esa es la página que se debe mostrar.

La guía que me recomiendas la tengo que revisar en profundidad, pero mi pregunta era si hay algo más, digamos, estándar, que sirva para cualquier instalación de WordPress. Muchas gracias.

Saludos.

ResponderCitar
Respondido : 12/09/2021 12:36 am
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Alfredo,

Directamente en la guia que te comparto esta el estándar:

image

Pero existen casos de casos por ejemplo si sigues leyendo la guia te daras cuentas que hay muchas variaciones de archivos que quieres permitir, y otros que no. Si necesitas algo por defecto lo que te comparto de la guia es lo que por defecto se visualiza en el robot.

Un saludo 🖐️  

ResponderCitar
Respondido : 12/09/2021 12:41 am

Alfredo
 Alfredo
Usuario activo

O sea, que por defecto a lo único a lo que se le impide el rastreo es a la administración.

Pero... ¿Y los demás directorios: plugins, contenidos, etc.? ¿Tiene sentido que se permita su rastreo? 🤔 .

Saludos.

ResponderCitar
Respondido : 12/09/2021 3:01 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Alfredo,

Por favor lee el documento que te compartimos:

image

Verifica esta descripción y agrega la ruta /home ya que fue la afectada. Lo normal es que se permita el acceso a los complementos ya que de otra forma puede causar problemas directamente con las url personalizadas directamente de estos complementos.

Dependiendo de que necesites es lo que vas a ir agregando a este archivo junto con el sitemap:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/wpforms/

Sitemap: https://www.jinglebit.com/wp-sitemap.xml

Veo que tienes esto, por lo que parece que esta correcto igualmente tienes un disallow en wpforms.

Un saludo 🖐️ 

ResponderCitar
Respondido : 12/09/2021 5:01 pm

wpdoctor-revisa-la-salud-de-tu-wordpress