Los motores de búsqueda como Google, Bign, Yahoo necesitas rastrear tu sitio web regularmente, no solo para indexar el contenido que recien estás creando, sino también para poder actualizar sus sistemas de cualquier cambio que hayas realizado en tu sitio web.
Esta es una función normal que traen todos los buscadores en sus robots, y ayudan a mantener todo un ecosistema de sitios actualizado para que el usuario pueda realizar las búsquedas de forma eficaz y consiga todo lo que busca, teniendo esto en cuenta podemos ver.
Tabla de contenidos
Crawl-Delay en robots.txt: ¿Qué significa esto?
En este sentido, cuando indicamos craw delay hablamos de un parámetro que puedes añadir en tu archivo robots.txt utilizado para especificar y establecer la cantidad de segundos que el robots debe esperar entre cada solicitud en tu sitio web, es decir, la velocidad a la que los motores de búsqueda indexan tu sitio web.
En algún caso algunos sitios web necesitan verificar el rastreo, por lo que es una buena idea ver como podemos configurar esto desde nuestro archivo robots.txt
En este artículo te explicaremos como insertar la directiva correcta para limitar la frecuencia de rastreo de un motor de búsqueda y como administrar esta configuración para que los motores de búsqueda no se adieran a esta configuración.
Crear un archivo robots.txt en WordPress
Si aún no tienes creado tu archivo robots.txt en WordPress en este caso puedes seguir la siguiente guía donde se explica de forma detallada como añadir y configurar este archivo en tu sitio web
Una vez tienes creado y optimizado tu archivo robots.txt podemos seguir con el siguiente paso.
Configurar Crawl-Delay en tu archivo robots.txt en WordPress
En este caso lo primero que tenemos que hacer para configurar el Crawl-Delay en WordPress es editar nuestro archivo robots.txt, existen dos métodos para editarlo, podemos hacerlo a través del plugins Yoast SEO si lo tenemos instalado o a través de nuestro WePanel, explicaremos los dos métodos.
Editando el archivo robots.txt con Yoast SEO
Lo primero que tenemos que hacer en ingresar al escritorio de nuestro sitio web e ir al apartado de Yoast SEO > Herramientas, y seleccionar la opción que indica Editor de archivos
Dentro de las opciones que se abren veremos que tenemos disponible nuestro archivo robots.txt donde podemos añadir las diferentes directivas para configurar el Crawl-Delay en WordPress, una vez estas en este paso puedes ir al punto que indica Insertando Craw-delay en nuestro archivo robots.txt
Editando el archivo robots.txt desde WePanel
Si has seleccionado esta opción para editar tu archivo robots.txt lo primero que tienes que hacer es ingresar a tu WePanel > Administrador de archivos > public_html
Una vez estés en el apartado del public_html ingresa a la carpeta donde tienes los archivos de tu sitio web y edita tu archivo robots.txt, para ello solo tienes que seleccionar el archivo y con el botón derecho de tu mouse pulsar en edit.
Verás que aparece una nueva ventana, con el contenido del robot.txt para que podamos editarlo.
Insertando Craw-delay en nuestro archivo robots.txt
Lo primero que debes tener en cuenta es que las siguientes directivas funcionan como los motores de búsqueda Bing, Yahoo y Yandex, para añadir esta directiva únicamente copia y pega el siguiente código en tu archivo robots.txt
User-agent: * Crawl-delay: 1
Esto le indicará a los bots de los motores de búsqueda que esperen 1 segundo entre cada página que rastrean, si deseas esperar más puedes usar las siguientes configuraciones para 5 segundos o 10 segundos.
User-agent: * Crawl-delay: 5
User-agent: * Crawl-delay: 10
Después de ingresar la directiva que deseas solo debes pulsar en guardar cambios que se encuentra en la esquina superior derecha.
¿Cómo modificamos la frecuencia de rastreo del robot de Google?
En 2019 Google anuncio que ignoraría ciertas directivas en el archivo robots.txt y luego actualizo la consola de búsqueda de Google para darte control sobre las velocidades de rastreo.
Para administrar las tasas de rastreo de los botos en Google debes iniciar sesión en la consola de búsqueda de Google y en la configuración del sitio selecciona “Limitar la tasa de rastreo máxima de Google” como se muestra a continuación.
Únicamente pulsa en guardar los cambios, de esta forma puedes controla el tiempo de rastreo de Google en tu sitio web
Conclusión
Con unos simples pasos podemos configurar el Crawl-Delay en WordPress para no saturar nuestro sitio con robots, tengamos en cuenta que si tenemos 6000 páginas internas el bot de google debe rastrear estas, por lo que son peticiones a nuestro sitio que en ocasiones pueden saturar el servidor e interrumpir el proceso de rastreo del mismo.
Es por esto que utilizamos esta herramienta, para que nuestro servidor no se sature y pueda detener la indexación de todo nuestro sitio, teniendo esto en cuenta podremos asegurarnos una buena presencia en los buscadores, ya que estamos en garantía de que el robot no tendrá ningún fallo y ejecutara su proceso con total normalidad.
¿Te ha resultado útil este artículo?
Equipo de soporte WordPress y WooCommerce en Webempresa.
