Dudas con directrices en robots.txt  

Que tal luis,

Es raro que te marque dicha alerta pese a que la sintaxis en el archivo robots.txt es correcta

Te puedo sugerir colocar la expresión de una forma mas directa de la siguiente manera

# Evita bloqueos de CSS y JS.
Allow: /*.js$
Allow: /*.css$

Y esperar al reindexado de Google para validar si el error del análisis de esta herramienta externa persiste

Saludos!

@bruno-vichetti Gracias Bruno,

 

Por favor puedes leer todo el mensaje enviado hasta el final.

 

1) Si puedes observar detenidamente el archivo robots.txt enviado las primeras líneas están configuradas como se indica más abajo. Será que los mensajes de advertencias que no puede leer archivos .JS y .CC los está produciendo la línea que se marca en rojo más abajo? 

User-agent: *
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Disallow: /cgi-bin
# Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/    ----> esta linea puedes estar produciendo los errores. Que opinan?
# Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /page/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /?attachment_id*

2) No recibí respuesta de la siguiente consulta, por favor me podrían dar su opinión:

CURIOSIDAD

Lo curioso es que semrush me indica varios errores en el directorio: "app.online-tesis.com/", pero este está bloqueado por la directiva:

Disallow: /app.online-tesis.com/*

¿Cómo puede rastrear ese directorio si está desautorizado su rastreo?

Muchas gracias por sus comentarios y/o sugerencias

 

 

Saudos

Luis 

 

Hola Luis.

Tienes activados los archivos .js y .css de la carpeta wp-conten e incluidos pero estas bloqueando la de themes.

Para permitir todos los CSS y JS añade lo siguiente:

Allow: /*.js$
Allow: /*.css$

En esta entrada del blog de tienes un Robots.txt estándar que puedes adaptarlo:

-> robots txt en wordpress que problema tienes googlebot

semrush me indica varios errores en el directorio: "app.online-tesis.com/"

Puedes adjuntar un captura del aviso que te indica semrush para ver exactamente de qué se trata ?

 

Un saludo

Gracias por su respuesta Sr. @pepe

 

Anexo imagen solicitada de semrush donde aparecen las líneas, que se desea que no entre a rastrear que sería el caso de:

Disallow: /app.online-tesis.com/*

 

Será que debe ir como Disallow: //app.online-tesis.com/*

 

Gracias por su respuesta.

 

Saludos

Luis

 

Hola Luis.

Añade solo la carpeta admin:

Disallow: /admin/

 

Un Saludo

@pepesoler De acuerdo, pero en los ejemplos que he visto siempre indican colocar el toda la ruta, porque ahora me dices que solo coloque /admin/

¿Puedes por favor explicarme cual es la razón?

Y muchas gracias por tu amable respuesta

 

Saludos

Luis

 

Hola Luis, 

En este caso solo necesitas añadir /admin/ para indicarle a los buscadores no rastrear el administrador de tu sitio web, con ello evitas los errores que se estan produciendo en semrush

No hace falta añadir la ruta completa, al añadir Disallow: /admin/ le estás indicando que incluya todo lo que se encuentra en la ruta admin de tu sitio web.

Un Saludo 

@karen Gracias Karen,

Estuve revisando el directorio app.online-tesis.com y resulta que no veo ningún subdirectorio con la palabra "admin", lo que deseo es que no se rastree el directorio app.online-tesis.com enteramente 

Por ello había escrito Disallow: /app.online-tesis.com/*  pero no me funcionó. El semrush sigue rastreando el directorio y encuentra muchos errores. Lo que deseo es bloquear el rastreo de ese directorio. Todo su contenido.

 

La web online tesis se encuentra en el directorio public_html, y dentro de public_html se encuentra app.online-tesis.com

 

Gracias Karen por tu amable respuesta.

 

Saludos

Luis

 

Como pueden ver en esta imagen (y que incluyo para mayor claridad). La web está instalada en public_html directamente, y el directorio app.online-tesis.com es un subdominio. 

 Gracias

Luis

Hola Luis.

app.online-tesis.com es una instalacion independiente del dominio principal, es decir es un subdominio y se trata como un dominio más.

La carpeta admin la tienes dentro de la carpeta app.online-tesis.com -> controllers lo que no sé en qué aplicación está creada esa APP ní se si puede utilizar algún archivo robots.txt.

El Robots.txt del dominio principal solo tiene efecto en ese dominio no en el subdominio y en otros dominios que tengas

Puedes probar a crear un archivo robots.txt en la raíz del subdominio y bloquearlo desde ese robots.txt

 

Un saludo

 

@pepesoler Gracias Pepe....

Se me había ocurrido incluir un robots.txt con las directivas:

 

User-agent: *
Disallow: /

Por favor déjame saber si está bien de esa manera.

Gracias por su amable respuesta.
Luis

 

 

Hola Luis.

Si, estaria bien, de esa manera bloqueas todo el subdominio.

 

Un saludo