URLs y robots.txt inaccesibles para Google  

Hola

Tu archivo robots si que es accesible

Contenido solo visible a usuarios registrados

El mensaje que envias es si hay una actualización en tu archivo, si has realizado algún cambio.
El mensaje de que no se ha podido realizar, es posible que sea algo temporal de google ya que como ves en la url de inicio el archivo si es accsible.

Saludos

OK, entonces el archivo robots.txt es accesible, tiene cero errores y cero advertencias, he de hacer modificaciones porque google dice que no puede acceder a los js y css cuando voy a avisar a google de los cambios no me permite enviarlo.... llevo varios días así.. sin embargo el robots.txt del Joomla que tengo, con un dominio adicional, en la carpeta /otras /public_html/otras/smartin/robots.txt sí que me permitió subirlo sin problemas...No entiendo a Google!! :ohmy:

Voy a consultar también en el foro de ayuda para webmasters de google

HOla

En realidad esteo que comentas es otra cosa, si que necesitarías hacer unos ajustes en tu robots como borrar el disallow de images

Revisa :
https://www.webempresa.com/blog/item/1799-actualiza-robots-txt-en-joomla-3-4-x-y-mejora-tu-karma-con-google-y-de-paso-tu-seo.html

Saludos.

Sí, en la última versión 3.4.3 no sé si estaba ya esto corregido, no tuve que borrar ninguna de estas líneas porque no estaban:
Disallow: /images/
Disallow: /media/
Disallow: /templates/

Llegué a añadir Allow: /images/ y Allow: /templates/ aunque según leí en este mismo foro no es necesario, bastaría con que no estén como Disallow..

Pero, insisto, el problema no es ese, el problema es que Google no lee nada de mi web.
Aunque suba un nuevo archivo robots.txt google no lo va a leer.
He de decir que hace dos semanas borré el Joomla 2.5 y subí un nuevo Joomla 3.4.3, no sé si eso podrá influir.
Importé del Joomla 2.5 anterior artículos con J2XML y ahora en google aparecen links rotos, pero por lo que leo tampoco es motivo para no poder enviar o avisar de la subida de un nuevo robots.txt desde Google Search Console (o webmaster tools).
Pero es que ya ni siquiera recoge la captura de pantalla.. aparece en blanco. :ohmy:

Hablando de SEO.. hay que hacer algo para que Google indexe el contenido de los módulos al igual que el de los artículos?

Hola,

Como manera de prueba podrías descargar la ultima versión de Joomla: http://www.joomla.org/download.html e insertar el fichero robots.txt que tiene por defecto y verifica si luego de unos minutos no te genera problemas en el rastreo.

Llegué a probar con un archivo robots.txt vacío y no funcionó.
El mismo probador de robots.txt de google aprobaba el archivo.
De todos modos, he hecho lo que me dices añadiendo Disallow: /pruebas/ ya que en esa carpeta tengo webs en desarrollo que no quiero que sean indexadas, siempre he bloqueado esa carpeta sin problemas.
Debe haber otro motivo, quizás que todo el contenido esté en módulos de fullwidth, es un portfolio onepage, los enlaces del menú principal eran marcadores, el enlace de inicio lo tenía en un menú oculto, ya lo he publicado por si acaso podía ser eso.
Tampoco puedo hacer test de seo, en http://seositecheckup.com/ aparece este mensaje:
"We cannot perform the analysis of your website due to an API error!
Please contact us and describe this problem!"
Me queda la duda sobre cómo indexar en google el html de los módulos, creo que no me los indexa cómo los artículos.
Sigue fallando, bueno esperemos a mañana

Hola,

Si tienes dudas de bloqueos puedes enviar un ticket a soporte indicando que no puedes realizar el escaneo de tu web sobre determinadas herramientas para que un administrador de sistemas lo revise.