Buenas tardes, he actualizado el archivo robots.txt y me gustaría saber si para una tienda online de woocommerce tiene algo negativo de cara a la indexación. He seguido varios tutoriales y he creado este. Muchas gracias. Nadinne.
User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /*/attachment/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /?attachment_id*
# Mejora de indexacion
User-agent: *
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-content/*.ttf
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-includes/*.ttf
Allow: /wp-admin/admin-ajax.php
Allow: /*.css$
Allow: /*.js$
# Bloqueo de feeds para crawlers
User-agent: *
Allow: /feed/$
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
# Ralentizamos algunos bots que se suelen volver locos
User-agent: noxtrumbot
Crawl-delay: 20
User-agent: msnbot
Crawl-delay: 20
User-agent: Slurp
Crawl-delay: 20
Sitemap: https://retroboxes.de/sitemap_index.xml
Sitemap: https://retroboxes.de/product-sitemap.xml
Sitemap: https://retroboxes.de/page-sitemap.xml
Sitemap: https://retroboxes.de/product_cat-sitemap.xml
Contenido solo visible a usuarios registrados
Que tal Nadinne,
Viendo la estructura global de tu archivo de robots.txt tiene buena pinta, de igual forma lo he testeado desde herramientas en linea populares como https://technicalseo.com/tools/robots-txt/ arrojando todo en orden
De igual forma aprovecho de compartirte un artículo que puede ser de interés si deseas optimizar y hacer algún ajuste sugerido
https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
Echale un vistazo
Saludos!
Muchas gracias, lo revisaré en un ratito y si veo algo extraño lo cambio y así lo implemento en mis 4 webs. Solucionado.
Os deseo Feliz Año.
Nadinne.
Hola Nadinne,
De acuerdo, coméntanos si con esto podemos dar el tema como solucionado.
Un Saludo
Si, cierra como solucionado.
Hola Nadinne,
Enhorabuena lograste solucionarlo, es un placer para nosotros siempre poder ayudarte.
No dudes en escribirnos si tienes cualquier otra consulta.
Un saludo 😊