Hola, he creado este archivo robots para mi sitio web, el cual me gustaría que alguien del foro con experiencia pueda guiarme de si esta correcto.
Busco corregir algunos errores de contenido duplicado arrojado por Google Webmaster Tools, quería ver que me dicen de este archivo tobots , si esta bien o mal, o si ´puede afectarme en algún buscador.
User-Agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /wp-content/upgrade
Disallow: /static/
Disallow: /scripts/
Disallow: /tmp/
Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/
Disallow: /feed
Disallow: /comments
Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: */page/$
Disallow: */*/page/$
Disallow: */*/*/page/$
Disallow: /*?
Disallow: /search/
Disallow: /category/
Sitemap: https://www.arquitecturapura.com/sitemap_index.xml
URL del sitio: Contenido solo visible a usuarios registrados
Hola Juan Carlos,
Muchos temas y plugins incorporan archivos dentro de /wp-content que deben ser indexados por lo que deberías eliminar estas dos entradas de tu archivo robots.txt:
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Luego vete a Google Search Console, Rastreo, Probador de robots.txt y verifica si se muestran errores de rastreo.
Usa el campo inferior para completar la URL del probador de robots.txt y haz clic en "Probar".
Lectura recomendada:
- robots.txt en WordPress ¿que problema tienes googlebot? - https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
Saludos
Perfecto, entonces crees que ese archivo pueda corregirse lo de contenido duplicado ( paginación) o tengo que añadirle otros detalles?
Hola Juan Carlos,
¿Has probado tu archivo robots.txt en el probador de robots.txt de Google para ver si estás limitando el indexado?
Robots.txt no tiene como misión corregir o evitar el contenido duplicado.
¿Has leído el artículo que te recomendé donde lo explico? 🙂
Saludos