En algunas ocasiones, al explorar la configuración de WordPress, encontramos la opción de Disuadir a los motores de búsqueda de indexar este sitio. Esta opción puede parecer una solución fácil y rápida para mantener nuestro contenido privado y oculto. Sin embargo, es importante comprender sus implicaciones y considerar otras opciones.
Cuando activamos esta opción vamos a agregar de forma predefinida ciertos ajustes en nuestro WordPress, ya sea a nivel del archivo robots.txt o dentro de nuestro archivo .htaccess de WordPress. A continuación vamos a ver algunas de las formas de hacer este ajuste y comprender que estamos logrando con la activación de esta mejora.
Tabla de contenidos
¿Qué significa disuadir a los motores de búsqueda de indexar este sitio?
Los motores de búsqueda utilizan programas automatizados conocidos como rastreadores o bots, estos se encargan de indexar los sitios y evaluar el nivel de SEO para posicionarlo de mejor forma. Estos bots o rastreadores visitan nuestro sitio y validan el sitio para clasificarlo y posicionarlo en los resultados dependiendo de que tan bien estructurado este.
Cuando seleccionamos la opción Disuadir a los motores de búsqueda de indexar este sitio, se realizan cambios en el archivo robots.txt y se añade una etiqueta en la cabecera de nuestro sitio, también conocida como header WordPress. Estos cambios bloquean la indexación y la aparición de nuestro sitio en los resultados de búsqueda.
Es esencial usar esta opción solo si queremos que nadie pueda ver nuestro sitio a través de internet y sus motores de búsqueda, por lo que activarlo de forma accidental se puede generar impacto negativo en nuestro sitio en cuanto a la auditoria SEO.
Es importante evaluar con cuidado si esta opción es la que necesitamos para proteger nuestro contenido y considerar otras medidas para garantizar la seguridad del contenido si es el caso de lo que buscamos.
¿Cuándo usarlo?
Una vez conociendo en que puede afectar el activar esta opción podemos pasar a saber cuando es bueno usarla y cuando no, y existen varias razones por las que es posible el necesitar el no permitir a los exploradores tomar la información de nuestro sitio:
- Este se encuentra en desarrollo y no esta listo para ser visto por el público y mucho menos indexar contenido que no es el final.
- Se utiliza WordPress como un gestor de contenidos, pero el contenido que se muestra en este es en su totalidad privado.
- Se tiene información sensible para algunas personas.
- El sitio solo estará disponible para un grupo pequeño de personas a través del enlace al mismo y no a través de búsquedas por internet.
- Tenemos páginas con contenidos exclusivos para suscriptores o suscritos a un boletín.
- Cortar el tráfico a una página obsoleta.
- Evitar que Google penalice por contenido duplicado de una web que tengamos clonada para realizar pruebas.
Hay otras mejores soluciones para algunas de estas razones que hemos visto, sin embargo, una de las más sencillas es realizar esta acción si queremos dejar de indexar nuestro sitio entero.
¿Cómo saber si nuestra web puede ser indexada en Google?
Si bien hay razones por las que hemos visto es necesario el desactivar esta indexación del sitio, si hemos activado esta opción sin querer y no sabemos si lo tenemos o no activo antes de que veamos que nuestro tráfico decaer, podemos confirmarlo tan solo con ingresar a nuestro dashboard de WordPress.
Al ingresar al sitio vemos en la pantalla un mensaje dentro de lo que sería el recuadro de Da un vistazo, este nos indicara Motores de búsqueda disuadidos en caso de tener esta opción activa o bien no nos indicara nada en caso de que estemos indexando correctamente nuestro sitio.
Otra de las maneras en las que podemos comprobar esto es por medio del archivo robots.txt ubicado en nuestros archivos de WordPress. La manera más sencilla de comprobar este archivo es escribirlo en nuestros navegadores o exploradores webs.
Para esto solo debemos escribir nuestro dominio seguido de /robots.txt en caso de tener el archivo creado nos va a mostrar el contenido que tiene este. En caso de que veamos que posee un Disallow, entonces nuestro sitio esta bloqueando los robots de todo internet haciendo que no se indexe de forma correcta.
Como podemos ver en caso de tener un Disallow y luego una URL como el ejemplo de:
Disallow: /wp-admin/
Como podemos ver en caso de tener un Disallow y luego una URL como el ejemplo de:
Esto quiere decir que la ruta en específico en este caso wp-admin se esta bloqueando para que no sea indexada, si hablamos de WordPress hay ciertas prácticas recomendadas que podemos seguir de nuestra guía de crear y optimizar Robots.txt en WordPress.
Así mismo también tenemos páginas permitidas, como serían archivos y multimedia que si queremos que Google indexe, son estas las que poseen el código de Allow seguido de la url, como el ejemplo anterior.
En algunos casos actualmente no se utiliza el archivo robots.txt sino que se hace una modificación al código del sitio, específicamente en la cabecera o header. Para verificar esto la mejor forma de hacerlo es ingresar a nuestro dashboard WordPress y luego Apariencias > Editor de temas verificamos que tengamos seleccionado nuestro tema o tema hijo WordPress y buscamos el archivo header.php.
El código que debemos buscar comienza con meta, y posee la información sobre si indexa o no el sitio, y normalmente viene acompañado en la misma ubicación de otro que también indica meta:
<meta charset="<?php bloginfo( 'charset' ); ?>" />
<meta name='robots' content='noindex,nofollow' />
De igual forma es posible comprobar en el archivo functions.php si tenemos alguna etiqueta noindex, no es usual, pero es posible que algún código de tercero esté afectando a nuestro sitio insertando de otra manera el meta que bloquea los buscadores. Sin embargo, siempre antes de pasar a métodos más complejos debemos verificar la forma manual de desactivar y activar esta función.
¿Cómo disuadir a los motores de búsqueda de inderxar WordPress?
Si lo que buscamos es ingresar a la opción directa en nuestro WordPress y poder activar o desactivar esta función de disuadir los motores de búsqueda en WordPress debemos ingresar a nuestro dashboard WordPress.
Una vez dentro debemos ir al menú lateral de Ajustes > Lectura una vez dentro buscamos la opción de Visibilidad en los motores de búsqueda, donde tendremos una casilla que seleccionamos para realizar el cambio.
Si tenemos este checkbox marcado es que nuestro sitio no esta siendo indexado, si queremos que se indexe debemos desactivar la marca del checkbox, y viceversa. Una vez seleccionemos lo que queremos debemos hacer clic en el botón inferior de Guardar Cambios y con esto tendremos listo el ajuste.
Recordando que puede tardar un tiempo en indexarse ya que debemos esperar a que el robot de Google pase por nuestro sitio y verifique que ya no tiene la etiqueta de noindex para llevarse toda la información y poder mostrarla en las búsquedas.
Plugins útiles para disuadir a los motores de búsqueda
Al buscar formas más sencillas de activar o desactivar esta opción, se crearon plugins que son ampliamente utilizados para gestionar el SEO de un sitio web. Estos plugins nos brindan un mayor control sobre la indexación de nuestras páginas. A continuación, mencionaremos algunos de ellos y cómo pueden ayudarnos a solucionar este problema o satisfacer esta necesidad.
Plugin Yoast SEO
Este es uno de los plugins para seo más populares y utilizados en general por usuarios en WordPress. Con este podemos configurar fácilmente las etiquetas específicas para cada página, publicaciones, categorías, etiquetas y más. Así mismo nos ofrece una amplia gama de opciones y funciones avanzadas para configurar.
Para ver las opciones de indexación debemos ingresar a la página en concreto y verificar el apartado de Yoast Seo > SEO > Avanzado, es aquí donde vemos la opción pertinente a si vamos a permitir o no la indexación de este contenido.
En caso de que queremos utilizar este plugin y no lo tengamos ya activo podemos hacerlo por medio del siguiente enlace:
Plugin Rank Math
Rank Math es otro plugin de SEO completo que nos permite controlar las etiquetas noindex en el sitio. Podemos configurar las etiquetas noindex en páginas, publicaciones y otras áreas según tus necesidades. Rank Math también nos ofrece características adicionales, como sugerencias de palabras clave y análisis de contenido.
Para lograr esto debemos ingresar dentro de nuestra página o sección que vamos a habilitar a Rank Math > avanzado, Es bastante más sencillo y con más opciones que el plugin anterior.
En caso de que queremos utilizar este plugin y no lo tengamos ya activo podemos hacerlo por medio del siguiente enlace:
Plugin noindex SEO
Este plugin a diferencia de los otros que hemos visto solo cumple una función y es la de activar o desactivar los códigos de index y noindex en nuestro sitio, logrando administrar de una forma más fácil y sencilla que páginas, publicaciones, categorías o cualquier otra sección de nuestro sitio es visualizada por el robot de Google.
Con este es posible tener el control de lo que los motores pueden ver del sitio sin tener que instalar otros plugins de SEO, que igualmente son válidos, pero en caso de que estemos aplicando el seo manual tenemos esta alternativa.
En caso de que queremos utilizar este plugin y no lo tengamos ya activo podemos hacerlo por medio del siguiente enlace:
Conclusiones
Para resumen, bloquear o disuadir a los motores de búsqueda de indexar nuestro sitio es una opción válida si deseamos mantener cierto contenido privado o limitar su visibilidad en los resultados de búsqueda de Google. Sin embargo, es importante tener en cuenta que esto no garantiza una privacidad total, ya que existen otras formas de acceder a nuestro sitio sin depender de los motores de búsqueda.
Se recomienda combinar esta opción con otras medidas para bloquear el contenido de WordPress. Al implementar estas medidas adicionales, podemos tener un mejor control para proteger nuestro sitio. Siempre es importante considerar nuestras necesidades específicas y elegir las medidas adecuadas para abordarlas de manera efectiva.
¿Te ha resultado útil este artículo?
Equipo de soporte WordPress y WooCommerce en Webempresa.
