Avisos
Vaciar todo

Archivo robots  

 
Juan carlos
 Juan carlos
Usuario experto

Hola, he creado este archivo robots para mi sitio web, el cual me gustaría que alguien del foro con experiencia pueda guiarme de si esta correcto.

Busco corregir algunos errores de contenido duplicado arrojado por Google Webmaster Tools, quería ver que me dicen de este archivo tobots , si esta bien o mal, o si ´puede afectarme en algún buscador.

User-Agent: *

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /wp-content/upgrade
Disallow: /static/
Disallow: /scripts/
Disallow: /tmp/
Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/
Disallow: /feed
Disallow: /comments
Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: */page/$
Disallow: */*/page/$
Disallow: */*/*/page/$
Disallow: /*?
Disallow: /search/
Disallow: /category/
Sitemap: https://www.arquitecturapura.com/sitemap_index.xml

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 23/07/2018 3:06 am
Luis Mendez Alejo
 Luis Mendez Alejo
Miembro Moderator

Hola Juan Carlos,

Muchos temas y plugins incorporan archivos dentro de /wp-content que deben ser indexados por lo que deberías eliminar estas dos entradas de tu archivo robots.txt:

Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Luego vete a Google Search Console, Rastreo, Probador de robots.txt y verifica si se muestran errores de rastreo.

Usa el campo inferior para completar la URL del probador de robots.txt y haz clic en "Probar".

Lectura recomendada:

- robots.txt en WordPress ¿que problema tienes googlebot? - https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Saludos

ResponderCitar
Respondido : 23/07/2018 3:20 am

Cursos Gratuitos WordPress

Juan carlos
 Juan carlos
Usuario experto

Perfecto, entonces crees que ese archivo pueda corregirse lo de contenido duplicado ( paginación) o tengo que añadirle otros detalles?

ResponderCitar
Respondido : 23/07/2018 3:25 am
Luis Mendez Alejo
 Luis Mendez Alejo
Miembro Moderator

Hola Juan Carlos,

¿Has probado tu archivo robots.txt en el probador de robots.txt de Google para ver si estás limitando el indexado?

Robots.txt no tiene como misión corregir o evitar el contenido duplicado.

¿Has leído el artículo que te recomendé donde lo explico? 🙂

Saludos

ResponderCitar
Respondido : 23/07/2018 3:40 am

wpdoctor-revisa-la-salud-de-tu-wordpress