Avisos
Vaciar todo
Hola buenos dias.
Hemos detectado que Googlebot realiza muchos rastreos a un formato de sitemap de productos que no reconocemos y que da error 404;
/wine/productoA/sitemap.xml
Hemos añadido en el robot.txt la siguiente linea
User-agent: *
Disallow: /sitemap.xml
Pero sigue realizando los mismos rastreos!!!!
Tambien realiza el mismo tipo de rastreo pero para;
/vino/productoA/sitemap.xml que da error 301
Como podemos prohibir el rastreo de cualquier prefijo /vino/
Por ultimo nos gustaria tener un control del Crawl-delay para WPRocket/Preload es posible realizarlo o controlarlo de alguna forma a traves del robots.txt?
Muchas gracias
Saludos
Jose Carlos
Contenido solo visible a usuarios registrados
Respondido : 02/10/2024 11:11 am
Por favor Iniciar Sesión o Registro to reply to this topic.
