[Resuelto] Optimización de ficheros sensibles: robots.txt y .htacess  

Hola Tulio, 

Para evitar errores primero comienza la optimización de tu archivo robots.txt, para ello lo primero es comprobar tienes instalado y activo el plugin de Yoast SEO, tienes todos los detalles para su instalación y configuración en el siguiente enlace → https://www.webempresa.com/university/curso-optimizacion-seo-wordpress/instalacion-configuracion-plugin-yoast-seo/  

Una vez tienes optimizado todas las opciones de SEO para tu sitio web puedes optimizar tu archivo robots.txt, para ello debes acceder a Yoast SEO → Herramientas → Editor de archivos y dentro de la sección de Robots.txt pegar el siguiente código:

# Bloquear o permitir acceso a contenido adjunto. (Si la instalación está en /public_html).

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins/ 
Disallow: /wp-content/themes/ 
Disallow: /wp-includes/ 
Disallow: /wp-admin/

#Impedir el acceso a los diferentes feed que genere la página

Allow: /feed/$
Disallow: /feed 
Disallow: /comments/feed 
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$

# Impedir URLs terminadas en /trackback/ que sirven como Trackback URL.

Disallow: /*/*/*/trackback/$

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$

#Bloquear todos los pdfs

Disallow: /*.pdf$

#Bloquear parámetros

Disallow: / *?

# Lista de bots que deberías permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /


# Lista de bots bloqueados

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: GurujiBot
Disallow: /
User-agent: hl_ftien_spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YodaoBot
Disallow: /

#Desautorizar a páginas innecesarias

Disallow: /gracias-por-suscribirte

# Añadimos una indicación de la localización del sitemap

Sitemap:  https://sitioweb/sitemap_index.xml 

Dentro de este código la línea que dice Sitemap: https://sitioweb/sitemap_index.xml debes sustituir el sitemap por la URL de tu sitio web 

Puedes ver más detalles sobre la optimización del archivo robots.txt y paso a paso en la siguiente guía que tenemos disponible → https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Verifica esto y luego podemos continuar con el siguiente punto.

PD: Te recomiendo abras un tema específico para la optimización del archivo .htaccess, de esta forma mantenemos un control sobre el hilo y podemos ayudarte con mayor detalle. 

Un Saludo 

@karen

Gracias Karen,

Tengo instalado The Seo Framework. En ese caso que hago?

Hola Tulio, 

Si utilizas este plugins no hay una opción sencilla de editar el archivo robots.txt, para poder editarlo necesitarías añadir un plugin adicional como el que mencionan en el siguiente hilo de soporte → Contenido solo visible a usuarios registrados

De manera personal no conozco mucho este plugins, ten en cuenta que los más utilizados actualmente y que brindan diferentes opciones de configuración son:

• Yoast SEO
• Rank Math

Te recomiendo utilicé un plguin que te permita tener mayor soporte y lograr configurar mejor todas las opciones que necesitas 

Un Saludo 

@karen

Hola Karen,

Cuál es el proceso para cambiar a Yoast Seo?

Se mantiene la configuración del antiguo plugin The Seo Framework, o hay que iniciar de cero con Yoast Seo?

Saludos,

Hola Tulio, 

Si cambiar el plugin necesitas realizar las configuraciones para este, ya que son plugins independiente no se mantiene. Si deseas conocer en profundidad Yoast SEO te recomiendo revises este curso gratuito que tenemos disponible donde explican su funcionalidad y como configurarlo → https://www.webempresa.com/university/curso-de-yoast-seo-en-wordpress/

Un Saludo 

@karen

Hola Karen,

Ya he configurado el robots.txt de mi sitio: https://abonofertil.es con las reglas que me compartiste.

Podemos continuar con la configuración de .htacess?

Saludos

Hola Tulio,

En el caso del archivo htaccess depende un poco más de que quieras, te comparto una guía:

https://www.webempresa.com/blog/codigos-utiles-htaccess-para-wordpress.html

De igual forma es bueno tener un respaldo de tu archivo que estás usando htaccess antes de hacerle cambios.

Un saludo 🖐️ 

@argenis

Hola Argenis,

Para la configuración de .htacces mi inquietud es por la recomendación del curso seo básico:   https://www.webempresa.com/university/curso-optimizacion-seo-wordpress/optimizacion-de-ficheros-sensibles/

Se recomienda estas configuraciones.

Gracias por la ayuda.

Saludos,

Hola Tulio,

Ya en ese archivo tienes las cosas separadas, puedes copiar a partir de la linea que indica:

### Cabeceras de Seguridad

El resto de allí para abajo son cabeceras para aumentar la seguridad de tu sitio, sin embargo como te indico y el mismo curso lo hace ten un respaldo a la mano por que algunas de estas son muy fuertes y en algunos casos pueden llegar a afectar a tu visibilidad del sitio.

Un saludo 🖐️ 

@argenis

Muchas gracias Argenis. Saludos.

Hola Tulio,

Entiendo podemos dar por resuelta la consulta

Cualquier otra duda que tengas estaremos atentos

Saludos!