Generalmente se busca hacer lo contrario, y en el blog de Webempresa se han publicado muchos artículos explicando cómo mejorar la indexación de contenidos de un sitio web, incluso tienes disponible un Curso de Optimización SEO para saber lo esencial acerca de cómo posicionar un sitio WordPress.
Pero entonces, ¿Por qué desactivar la web de los buscadores?, la respuesta es muy simple, esta opción se aplica cuando necesitas generar contenidos nuevos o realizar una nueva web, y necesitas hacerlo en un directorio o carpeta de prueba distinta de la que usa la web instalada en la raíz de tu Hosting para luego pasar esta web a producción, una vez la finalices.
Ocultar una web en Google, en términos sencillos, significa que estás haciendo todo lo posible para que esa página en particular no sea detectada ni indexada por el motor de búsqueda más famoso del mundo: ¡Google!.
Es como si pusieras una especie de cartel de “No molestar” en la puerta de tu sitio web para que Google no llame a tu puerta y no incluya esa página en sus resultados de búsqueda.
Al realizar una instalación de WordPress en un directorio o carpeta de prueba, este sitio automáticamente se indexará en los buscadores, y no siempre es lo que quieres, sobre todo en la fase de desarrollo del sitio.
Por eso en este artículo quiero mostrarte algunas formas que hay de “ocultar” una web en Google para que este, u otros motores de búsqueda, no la rastreen y de esta forma los contenidos no aparezcan en los resultados de búsquedas o SERP.
Tabla de contenidos
¿Por qué ocultar nuestra web en Google?
A veces, te encuentras con sitios web que parecen esconderse en las sombras, esquivando el rastreo de los motores de búsqueda como si fueran expertos en el arte del camuflaje digital. Pero, ¿por qué alguien querría ocultar una web en Google?, ¿No es acaso el objetivo de la mayoría de las páginas web ser encontradas por el gigante de las búsquedas en Internet? ¡Sí, normalmente lo es! Pero, agárrate bien, porque hay situaciones en las que esta estrategia puede tener sentido.
Imagina este escenario: un pequeño grupo de desarrolladores está trabajando en una nueva versión de su sitio web. Están probando, corrigiendo errores y ajustando detalles para que todo esté perfecto cuando finalmente lo hagan público. Pero aquí está el truco: aún no están listos para que todo el mundo vea los cambios en curso. Puede ser un proceso un tanto caótico, con cosas a medio hacer y algunos errores de diseño por pulir. Entonces, ocultar la web a Google puede ser como una especie de cortina detrás de la cual pueden trabajar tranquilos, sabiendo que los ojos curiosos de Google aún no están mirando.
Otra razón, un tanto desconcertante, para ocultar una página web es cuando estás preparando una especie de sorpresa digital. Imagina que tienes una nueva colección de productos que planeas lanzar en una fecha específica. Quieres que sea una gran revelación, una especie de “¡ta-dah!” digital.
Si permites que Google indexe y muestre tu contenido antes de tiempo, toda esa anticipación y sorpresa podría irse al traste. Ocultar la página temporalmente hasta el gran día puede ser como mantener un regalo envuelto en papel brillante justo fuera del alcance de los curiosos.
También es posible que estés trabajando en un sitio web que es solo para un grupo selecto de personas. Tal vez sea una intranet para empleados o una plataforma de membresía exclusiva. En estos casos, el acceso público a través de Google podría no ser bienvenido.
Así que, aunque te pueda parecer un poco extraño al principio, ocultar una página web a Google puede tener sus razones perfectamente válidas. Ya sea para pulir en privado todos los detalles del sitio web, para crear una sorpresa o proteger una comunidad exclusiva. ¿Cuál es tu razón? 😜
Formas de ocultar una web en Google
A medida que te he ido explicando las posibles causas que pueden desencadenar en la necesidad de “ocultar” una web a Google, seguramente ya se te habrán pasado por la cabeza algunas de ellas, unas porque son conocidas y obvias y otras porque seguramente en alguna ocasión anterior ya has pasado por este proceso.
Algunas de ellas son:
- Activar la disuasión de motores de búsqueda en WordPress.
- Proteger mediante contraseña el acceso a contenidos en el archivo .htaccess del Hosting.
- Utilizar plugins para bloquear el acceso a los bots de indexado.
- Bloquear a determinados bots de indexado en el archivo robots.txt de WordPress. (1)
- Añadir un “noindex” en la web para todo el sitio o determinadas páginas.
(1) – Este método no hará que la web no aparezca en los resultados de búsquedas de Google, ya que podrá aparecer, sino que hará es que Google no lea el HTML del contenido, pero podrá indexar la URL.
Pero mejor te argumento cada una de estas opciones de forma algo más desarrollada, por si alguna de ellas piensas ponerla en práctica en tu sitio web.
Disuasión de motores de búsqueda en WordPress
Por defecto, WordPress trae una funcionalidad ya integrada para que no se produzca la indexación de los contenidos de un sitio web, algo que se agradece porque evita el uso de un plugin más solo para esta cuestión.
La opción Visibilidad en los motores de búsqueda se comporta como una especie de interruptor que controla si quieres que tu sitio web sea visible para los motores de búsqueda como Google, Bing y otros, o si, por el contrario, prefieres ocultarlo.
Si marcas el “tickbox” Pedir a los motores de búsqueda que no indexen este sitio desde Ajustes ➜ Lectura, le dirás a los bots de indexado de los buscadores que no quieres que este sitio sea rastreado y sus contenidos indexados.
Al seleccionar dicha opción automáticamente genera el siguiente código en la cabecera del sitio web:
<meta name='robots' content='noindex,follow' />Y se modifica el archivo robots.txt de WordPress con las siguientes líneas:
User-agent: *
Disallow: /Ten en cuenta que aunque se añada un Disallow en el archivo robots.txt esto no quiere decir que los bots de Google le vayan a hacer caso y esto les exima de rastrear el sitio.
Proteger el acceso mediante directiva en .htaccess
Otra opción que puedes utilizar es la de proteger mediante contraseña el acceso a contenidos en el archivo .htaccess del Hosting de forma que si alguien trata de acceder a https://tu-dominio.com le muestre un formulario modal en el navegador para introducir un nombre de usuario y una contraseña que previamente habrás establecido para restringir el acceso al sitio web.
Este método, aunque es un poco farragoso, suele ser muy efectivo, pues limita de forma sistemática el acceso a cualquier usuario que trate de acceder a la URL donde se aplique esta limitación, y esto incluye los web crawlers o bots de indexado de los buscadores que no podrán acceder para rastrear la estructura del sitio.
Imagina que deseas proteger el acceso al sitio web con un usuario y contraseña. Primero debes asegurarte de que el archivo .htaccess esté ubicado en la carpeta que deseas proteger y que el archivo .htpasswd, donde se almacenan los datos de acceso, también esté ubicado en el mismo lugar o en una ubicación segura en tu servidor.
Tendrías que añadir el siguiente código en el archivo .htaccess:
AuthType Basic
AuthName "Acceso Restringido"
AuthUserFile /ruta/al/archivo/.htpasswd
Require valid-userReemplaza /ruta/al/archivo/.htpasswd con la ruta real donde se va a localizar el archivo .htpasswd en el servidor, ya que lo ideal es que dicho archivo no esté en la misma carpeta principal en la que esté la web a proteger.
En este archivo .htpasswd es donde se almacenan los nombres de usuario y las contraseñas en un formato encriptado MD5 o SHA1.
Además, necesitarás crear el archivo .htpasswd con los nombres de usuario y las contraseñas en el formato siguiente:
usuario:contraseña_encriptadaPuedes usar herramientas en línea para generar contraseñas encriptadas para el archivo .htpasswd. como por ejemplo HTPasswd Generator
Por ejemplo, si quisieras que el usuario “nombre-de-usuario” tenga la contraseña “contraseña-compleja-que-luego-se-va-a-encriptar”, podrías generar una línea en el archivo .htpasswd como esta:
nombre-de-usuario:$apr1$457ensi6$V6sfdbZqA5WHGveF4Dusw0El proceso es sumamente sencillo pero te lo muestro de forma más visual.
Recuerda que la seguridad es crucial, por lo que debes asegurarte de almacenar el archivo .htpasswd en una ubicación segura y de que las contraseñas estén bien encriptadas.
Una vez implementes este método de protección, tu sitio web pedirá un usuario y contraseña para acceder, esto impide que los bots de indexado puedan acceder para rastrearlo al no tener acceso a esas credenciales.
En el caso de que se introduzcan las credenciales erróneas, el navegador mostrará un aviso indicando que no está permitido el acceso.
No debes confundir el formulario de “prelogin” o acceso encriptado en .htpasswd que carga mediante .htaccess, con el acceso del formulario de WordPress al panel de administración del sitio web, ya que aunque se solapan, no son los mismos ni utilizan las mismas credenciales, a menos que las hayas puesto iguales, algo no recomendado, por razones de seguridad.
This server could not verify that you are authorized to access the document requested. Either you supplied the wrong credentials (e.g., bad password), or your browser doesn’t understand how to supply the credentials required.
Utilizar plugins para bloquear el acceso a los bots de indexado
Al final, de lo que se trata es de bloquear el que los bots de indexado de contenidos de un sitio web, accedan al mismo para rastrear su estructura y luego indexar las URL que permiten el acceso a todos los contenidos permitidos, independientemente de si son textos, imágenes, vídeos u otros elementos.
Un método común para bloquear el indexado de contenidos en un sitio WordPress es mediante el uso del plugin Yoast SEO, un clásico para el SEO en WordPress y otras tareas importantes del sitio en este aspecto.
¿Cómo puedes usar Yoast SEO para bloquear el acceso a los bots en tu web:
- Instala y activa el plugin Yoast SEO: Si aún no tienes instalado el plugin Yoast SEO, puedes buscarlo en el repositorio de plugins de WordPress, instalarlo y activarlo. Esto lo puedes hacer desde Plugins ➜ Añadir nuevo.
- Bloquea Páginas o Entradas: Una vez que tengas el plugin activo, dirígete a la página o entrada que deseas bloquear del indexado. En el editor de la página o entrada, desplázate hacia abajo hasta encontrar la sección Yoast SEO.
- Configura las funcionalidades de Yoast SEO: En la sección Yoast SEO, encontrarás una pestaña llamada Configuración avanzada. Haz clic en esta pestaña para expandir sus opciones.
- Habilita la opción Noindex: En la pestaña Configuración avanzada, encontrarás una opción llamada Noindex, la cual debes activar para bloquear el indexado de esta página específica en los motores de búsqueda.
- Guarda los cambios: Después de habilitar la opción Noindex, asegúrate de guardar los cambios en la página o entrada.
Repite este proceso para cada Página o Entrada que quieras que no sea indexada y toma nota, pues es posible que más adelante tengas que revertir este cambio si quieres que esas páginas o entradas puedan ser indexadas, una vez finalices su construcción.
El plugin Yoast SEO ofrece una serie de funcionalidades adicionales para mejorar el SEO de tu sitio web, como optimización de palabras clave, generación de sitemaps XML WordPress, administración de metaetiquetas y más.
Además, proporciona una vista previa de cómo aparecerá tu página en los resultados de búsqueda y ofrece recomendaciones para mejorar la optimización.
Este plugin es gratuito, pero ofrece actualizaciones o soporte comercial de pago
No está de más que tengas muy presente que bloquear el indexado de contenidos en WordPress puede afectar cómo aparecen estos en los resultados de búsqueda, por lo que debes utilizar esta funcionalidad con cuidado y asegurarte de entender sus implicaciones para tu sitio web y la estrategia de SEO que tengas pensada.
De hecho, si bloqueas el indexado de contenidos con Yoast SEO, este plugin se encargará de hacértelo saber, mientras dure ese bloqueo, con un aviso en pantalla al respecto.
Conclusiones
Apenas te he mostrado 3 técnicas de bloqueo de bots de indexado, y particularmente la forma de ocultar una web en Google para que no sea rastreado o indexado su contenido, pero hay más formas.
Por ejemplo, utilizar una VPN para acceder a un sitio web, muy útil para el acceso a una intranet en WordPress, en la que filtres que solo sea posible loguearse desde la IP de esa VPN y no del resto de IP. Muy útil para que muchas personas que utilicen determinada red privada virtual puedan acceder a contenidos sin tener que habilitar mecanismos adicionales.
Al final, de lo que se trata es de cerrar el acceso a los rastreadores de sitios web de los motores de búsqueda para que no puedan analizar la estructura de tu sitio web, normalmente de forma temporal, y luego saber levantar la restricción, sin que esto afecte a los contenidos del sitio ni al futuro indexado.
El SEO on-page es esencial para la supervivencia de una web en Internet hoy día, sin él es casi imposible obtener una buena posición en los resultados de búsquedas (SERP) y ser visible para las personas que buscan tus contenidos, productos o servicios.
También te puede interesar:
¿Te ha resultado útil este artículo?
Miembro del equipo de soporte técnico de Webempresa.
Coordinador de contenidos en el Blog y en Youtube.
Soporte técnico en CiberProtector. Teacher en Webempresa University
