deshabilitado el acceso con ' Disallow ' para robots  

Hola

Esto usualmente te lo brinda el archivo robots.txt, pero actualmente no veo que tengas ningún archivo robots.txt en los archivos de tu sitio.
Contenido solo visible a usuarios registrados

Saludos.

Hola Jhon lo tenía y le he quitado, pero tengo que subir uno a la fuerza? he leido que no, pero google me dice que si no tengo un robot me deja de rastrear.

Subo uno a public_html ?? y ya subí uno pero me dio problemas, voy a internalo otra vez

SAludos

Hola

Si, claro, tienes qeu subir un robots.txt, posiblemente te estas confundiente con sitemap en el caso de este archivo si que puede autogenerarse a través de una ruta.

Saludos.

Buenas,

Contestarme a esta pregunta porfavor:
Como puedo ver si tengo desabilitado el disalow del robots

gracias

Ya cree un robot y lo modifique aunque no lo veais lo tengo creado

Hola Gema, Buenos Días.

.- Desde tu cPanel Accede a administrador de archivos
.- En la carpeta public_html edita el archivo .httacces
.- Dentro de ese archivo, comprueba si encuentras alguno de estos códigos:

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /

Con la primera opcion impedimos el rastreo de cualquier robot y con el segundo impedimos el rastreo del robot de google.

Esto lo puede utilizar también para impedir el rastreo de una pagina determinada, por ejemplo:

User-agent: Googlebot
Disallow:  http://midominio.com/blog 

Un saludo

Muchas gracias Pepe,

Pero a mi no me interesa tenerlo deshabilitado, yo quiero que me rastren.

He visto el archivo .httacces y no tengo esos codigos, así me rastrean verdad.

Saludos

Hola

Lo que bloque a la´s máquinas de búsqueda es el robots.txt no el .htaccess
Actualmente veo lo siguiente en tu robots.txt
Contenido solo visible a usuarios registrados

Entiendo que has usado algún tipo de código o te lo ha generado un modulo?, lo veo correcto

Saludos.

Hola

Ahora me estoy liando, Lo que me ha dicho Pepe tiene sentido para una cosa y lo que me has dicho tu Jhon es para otra, creo. Porque lo que ha dicho Pepe creo que va relacionado con tener el robot bloqueado y cuando pones el codigo disalow en el robot es para que no te rastren algunos sitios de tu web. (decirme si me equivoco)
De lo poquisimo que sé, razono de esa manera.

Resolverme porfavor

Un saludo

Hola gema.

creo que va relacionado con tener el robot bloqueado y cuando pones el codigo disalow en el robot es para que no te rastren algunos sitios de tu web.
Sí, lo que te pase anteriormente es para indicarle si quieres que rastreen tu archivo robot.txt, esos codigos hacen que pueda rastrear Googlebot o impedir que rastree cualquier robot.

¿Para qué sirve el Robots.txt?
Este fichero sirve para dar instrucciones a los robots sobre qué contenidos deben rastrear y cuáles no y cómo deberían hacerlo.

El fichero robots.txt utiliza dos comandos:

1) User-Agent: para informar sobre a qué robot se le aplica la regla escrita a continuación.

.- Si ponemos User-agent: * estaremos aplicando la regla sobre cualquier robot.
.- Si por contrario, utilizamos por ejemplo User-agent: Googlebot le estaremos diciendo que la regla contenida a continuación es aplicable solo al robot de Google específico para Web.

2) Disallow: para informar sobre la URL que queremos bloquear
.- Si no queremos que sea indexado todo lo contenido del directorio imágenes pondríamos “disallow: /imágenes/”.

Funcionalidades del fichero robots.txt:

.- Evitar que algunas partes de tu sitio web sean rastreadas e indexadas por los buscadores. Ejemplo de ello podrían ser los pasos en una pasarela de pago, la intranet o los retornos de formulario con las páginas de ok/error.

.- Permite evitar que se indexe contenido duplicado. Por ejemplo, en el caso que tuviéramos una página de productos en nuestro sitio web y además aparte utilizáramos una Landing Page para atraer al usuario (replica del texto de la de productos) podríamos evitar ser penalizados por duplicidad de contenidos diciéndole al robot que no indexe la Landing Page.

.- Impedir el acceso a algunos robots a contenidos de tu sitio web.

Puedes conocer más sobre el fichero robots.txt visitando el centro de soporte de Google o la web oficial robotstxt.org

Un saludo