Buenas tardes, he actualizado el archivo robots.txt y me gustaría saber si para una tienda online de woocommerce tiene algo negativo de cara a la indexación. He seguido varios tutoriales y he creado este. Muchas gracias. Nadinne.
User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /*/attachment/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /?attachment_id*
# Mejora de indexacion
User-agent: *
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-content/*.ttf
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-includes/*.ttf
Allow: /wp-admin/admin-ajax.php
Allow: /*.css$
Allow: /*.js$
# Bloqueo de feeds para crawlers
User-agent: *
Allow: /feed/$
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
# Ralentizamos algunos bots que se suelen volver locos
User-agent: noxtrumbot
Crawl-delay: 20
User-agent: msnbot
Crawl-delay: 20
User-agent: Slurp
Crawl-delay: 20
Sitemap: https://retroboxes.de/sitemap_index.xml
Sitemap: https://retroboxes.de/product-sitemap.xml
Sitemap: https://retroboxes.de/page-sitemap.xml
Sitemap: https://retroboxes.de/product_cat-sitemap.xml
Contenido solo visible a usuarios registrados