Avisos
Vaciar todo
Hola
Tengo definido este robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /*.php$/
Disallow: /*.php$
Disallow: /article-title/
Disallow: /blog*/
Disallow: /build-your-own-website-easily/
Disallow: /home-page*/
Disallow: /home-v*/
Disallow: /listings*/
Disallow: /shortcodes/dividers/
Disallow: /sitemap-tax-pointfinderltypes.xml
Disallow: /sitemap-pt-empresa-2016-12.xml
Disallow: /sitemap-pt-page-2016-10.xml
Disallow: /sitemap-pt-page-2016-11.xml
Sitemap: https://organics-directory.com/sitemap_index.xml
Desde Search console-> rastreo->probador de Robots.txt (adjunto pantalla)
Pongo para que me compruebe el robot de google esta dirección: https://organics-directory.com/shortcodes/dividers/
y me indica que si que está permitida. Sin embargo yo he definido en el fichero robots.txt que no acceda.
No se si es normal este comportamiento o he definido mal mi robots.txt
El motivo de querer hacer esto es que tengo instalado el plugging redirection y este pluging me da error 404 sobre https://organics-directory.com/shortcodes/dividers/ dado por robots. Por eso quería quitar esa pagina del acceso a los robots dado que no existe en mi WEB.
¿estoy haciendo algo mal?
URL del sitio: Contenido solo visible a usuarios registrados
Respondido : 22/12/2016 6:29 pm
Hola
Pero esta página no existe:
Contenido solo visible a usuarios registrados
Si no existe simplemente realiza una redirección 301 de esta página al home
Saludos.
Respondido : 22/12/2016 8:49 pm
Hola
Se que esa pagina no existe y no me parece correcto hacer una 301 para "engañar" a un robot.
Mi pregunta concreta era si mi configuración de robots.txt era correcta y no me la ha contestado.
Un saludo.
Respondido : 23/12/2016 1:15 pm
Hola,
El código del archivo robots.txt parece correcto y, en efecto, tendría que bloquear a los robots de los buscadores el acceso a la página que indicas. Es extraño que Google Search Console te diga que es accesible.
Si hago el test con otras herramienta de análisis del robots.txt sí me indica que está bloqueado. Por ejemplo, en esta:
http://tools.seobook.com/robots-txt/analyzer/
Tendrías que consultar el tema con el soporte de Search Console.
En todo caso, lo que te indicaba Jhon de la redirección 301 es recomendable. De esta forma, si Google vuelve a visitar esta página y se encuentra el 301 la dejará de indexar, ya que precisamente se le indica que hay una redirección permanente.
Respondido : 23/12/2016 2:15 pm
Hola
He vuelto a probar desde search console y ahora si que me aparece como bloqueado dicha URL...seguramente tarda un tiempo en hacerse efectiva los cambios sobre robots.txt
Gracias !!
Respondido : 23/12/2016 6:56 pm
