Avisos
Vaciar todo

Configuracion del archivo robots.txt para los bots de OpenAI  

 
Virgili
 Virgili
Usuario activo

Hola buenos días.
Mirando el consumo de recursos y sobre todo que hemos tenido algún que otro error en la web de infosalut.com hemos visto que los bots de OpenAI siguen causando la saturación del servidor y lo que tengo puesto en el archivo robots.txt no parece que sigan las reglas o están mal puestas y quisiera saber si la regla de robots.txt está bien, se puede mejorar o es posible que OpenAI, que según ellos dicen respeta robots.txt, no lo esté respetando y por eso seguimos teniendo el servidor saturado algunas veces. El archivo robots.txt que tengo puesto dice que escaneé a los bots de OpenAI cada 60 segundos, pero viendo los logs no parece ser así, por eso no sé si es que lo he puesto mal o se salta esa regla. Ya que la única opción que funciona es bloquearles por IP en el archivo.htaccess, pero si se pudiera evitar hacer eso mejor.

Esto es lo que tiene el archivo robots.txt:
User-agent: OAI-SearchBot
Crawl-delay: 60

User-agent: ChatGPT-User
Crawl-delay: 60

User-agent: GPTBot
Crawl-delay: 60

Un saludo y gracias.
Tomás Sastre. Bibliosalut

Contenido solo visible a usuarios registrados

Citar
Respondido : 09/01/2025 11:13 am