Borrar " Disallow: /libraries/ " del archivo txt de Joomla 3.4  

Hola,

No habría problema en que elimines estos disallows, aunque te recomendaría que dejares el Disallow: /administrator/, ya que no tiene sentido que Google trate de rastrear este directorio. Los otros los puedes eliminar.

De acuerdo,
Muchas gracias.
Atentamente,
Jaime

Gracias por tu confianza 🙂

Nos alegra que te guste nuestro servicio. 🙂

Nos sería de mucha utilidad que nos dejases tu testimonio, solicitamos testimonios para colocar en nuestra página y ayudar a otros posibles clientes a decidirse por nuestros servicios:

Puedes crear el testimonio aquí: https://www.webempresa.com/testimonios.html?view=form&layout=edit

Si nos quieres enviar tu experiencia con nuestro servicio, la publicaremos en nuestra página con un link hacia tu Web. Nuestro dominio webempresa.com tiene una autoridad alta, así que el link te será muy útil en la mejora del posicionamiento en Google de tu Web. Además la sección de testimonios es bastante consultada, por lo que algún interesado en tus servicios podría llegar por esta vía.

Si ya lo solicitamos anteriormente y nos lo facilitaste, puedes dejar otro testimonio si tienes otra página que quieras posicionar mejor al tener un link en la nuestra con tu testimonio.

Gracias por publicar tu testimonio y por tus palabras de agradecimiento.

Buenos días,
Como comentamos la semana pasada, Google Search Console me advierte de que tengo archivos bloqueados a los robots de Google.
Por este motivo borré todas las líneas "disallow" del archivo robots.txt, menos la línea "disallow:/ administrator".
No he hecho nada más en Search Console, esperando que fuera esta la solución, pero los avisos siguen apareciendo (no sé si tengo que esperar más tiempo para ver que desaparecen los avisos).

Mirando en el servidor veo que tengo otro archivo llamado "robotots.txt.dist" en la carpeta principal de la web y no sé si tengo que borrarlo también o modificarlo (ya que tiene todas las líneas "disallow".

¿Puede ser ese archivo "robots.txt.dist" el motivo de que sigan apareciendo los avisos?

También veo que en la carpeta "public HTML" tengo algunos archivos de anteriores instalaciones que quizá no deberían estar ahí (borré instalaciones manualmente en vez de utilizar el desinstalador del Cpanel).
Adjunto unas capturas de pantalla.

Muchas gracias de nuevo, espero discupéis mi ignorancia.
Atentamente,
Jaime

Hola Jaime,

El fichero robots.txt.dist es un fichero de distribución, por así decirlo, es un fichero de ejemplo.

El fichero que comprueba Google (bueno, todos los reastreadores, no sólo Google) para saber a qué tiene acceso y a qué no, es el de robots.txt

Si accedo a Contenido solo visible a usuarios registrados veo que está correcto.

Puedes probar a eliminar o renombrar el fichero robots.txt de public_html aunque no debería de afectarte, ya que el dominio de tu web apunta directamente a la carpeta.

Respecto a los ficheros y carpetas de instalaciones anteriores, puedes eliminarlos.

Un saludo.

Hola Lorena,
Gracias por tu rápida respuesta. Ya he borrado de la carpeta PublicHTML el archivo robots.txt.
Del resto de archivos que tengo, aparte de la "carpeta golfsitges.com" que es donde se aloja la web, ¿cuales puedo borrar?, ya que creo que hay algunos que ya vienen por defecto en la instalación.
O mejor dicho, dime cuales NO puedo borrar, si es que hay alguno.

Muchas gracias,
Atentamente,
Jaime

Hola Jaime,

Por lo que veo en la captura, las carpetas del public_html excepto la de golfsitges.com y la de wordpress son carpetas de instalación de prestashop. Imagino que la web que has borrado manualmente y estaba en public_html era un prestashop.

Si en tu cuenta sólo estás usando la web de golfsitges.com en principio podrías eliminar todo menos esa carpeta, pero no sé si tienes alguna web en la de wordpress.

Si tienes dudas, puedes consultar a los compañeros de soporte mediante ticket.

Nota: Siempre haz una copia de seguridad antes de eliminar ficheros o carpetas, por si acaso

Un saludo.

Hola Lorena,

Borré una instalación de Joomla que iba asociada al dominio principal "tecnologiascms.com". Esos archivos que quedan en PublicHTML son de esa instalación.
Luego hubo un wordpress, pero esta desinstalado el día de hoy mediante CPanel.
Y la instalación de Prestashop, efectivamente existe, pero está puesta dentro de la carpeta de "golfsitges.com".

Gracias por resolverme esta duda.

Volviendo al tema de las "advertencias de archivos bloqueados" para robots de Google, ¿Cual crees que puede ser el motivo de estas advertencias de Search Console, dado que ya borré las líneas "disallow" pertinentes en el archivo robots.txt?

Muchas gracias de nuevo,
Atentamente,
Jaime

Hola Jaime,

A título informativo, el robots.txt recomendado para Joomla 3.4 lo debes tener 'más o menos' así construido:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /images/
Disallow: /media/
Disallow: /templates/

Saludos

Hola Luis.

Yo tenía el archivo robots.txt así cono tú me muestras. Ocurre que hace unos meses que Google Search Console me indica que tengo recursos bloqueados a los robots de Google, por lo que he ido eliminando líneas "disallow" del archivo con la esperanza de que dejaran de aparecer estos avisos.

Desde hace una semana solo conserva "disallow: /administrator", pero Google Search Console me sigue mostrando los avisos, como puedes ver en una de las capturas de pantalla que están en este hilo de mensajes.

No he hecho nada más en Search Console, ya que no entiendo muy bien como funciona. No sé si debo esperar más tiempo para que desaparezcan los mensajes o simplemente es que no he dado con la solución para que dejen de aparecer.

Atentamente,
Jaime

Hola Jaime,

Quitar 'disallow' no es la solución.

¿Llegaste a leer el artículo que publiqué al respecto?

- https://www.webempresa.com/blog/item/1911-robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Saludos

Hola Luis,
Gracias por tu respuesta.
He leido tu artículo y creo que viene a decir que mediante el archivo robots.xt permitimos el acceso a los roborts de Google para que puedan indexar los contenidos de nuestra web debidamente.

Aunque pones como ejemplo el archivo robots.txt de una web de worpress, parece que tambien son muy importantes las líneas "disallow" (aunque tú me dices que "quitar disallow" no es la solución de mi problema).

Respecto a la última parte del artículo, donde haces referencia a la sección de Google Search Console "Errores de Rastreo" a mi me indica errores de unas páginas de una instalación de Prestashop que tengo alojada dentro de la web en cuestión.

Respecto al la sección de "Probador de robots txt", he probado mi web y el indicador de la derecha me sale siempre en verde y "PERMITIDO".
Adjunto unas capturas de pantalla.

Perdóname Luis, no acierto a ver todavía la solución de mi problema en tu artículo, aunque no por ello deje de ser muy útil.

Atentamente,
Jaime

Hola Luis,
También deduzco que debería hacer para mi web en Joomla 3.4 un archivo de robots.txt personalizado.
¿Es esa la idea?

Atentamente,
Jaime

Hola Jaime,

El artículo te lo había puesto como ejemplo para que veas porque Google se queja de los bloqueos a determinadas áreas que los bots de indexado tratan de analizar y no pueden que hay algún "disallow" en robotx.txt

En tu caso no veo que tengas un robots.txt confeccionado:

Contenido solo visible a usuarios registrados

Tendría que tener al menos lo que te indiqué en anterior respuesta:

User-agent: *

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /images/

Disallow: /media/

Disallow: /templates/

Saludos
                                                                                                	
                                                

                        ResponderCitar