robots.txt  

Hola buenos días,

Estoy intentando editar el archivo robots.txt y dado que es algo delicado, os quería preguntar por ello y saber si lo estoy haciendo bien y si tenéis alguna recomendación.

He utilizado un archivo robots.txt de ejemplo de una web que utiliza el mismo tema que estoy utilizando en wordpress y con una estructura parecida a la mía, pero no se qué es /cs-gen/ por ejemplo y porqué le deshabilita el rastreo. Tampoco sé si es recomendable deshabilitar ?nonamp , ?utm_source o ?platform. Tampoco sé porque deshabilita /ads.txt

Este es el sitemap que estoy editando:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: */?nonamp=*
Disallow: */?utm_source*
Disallow: */?platform=*
Disallow: */feed/*
Disallow: */cs-gen/
Disallow: /ads.txt
Disallow: */?replytocom=*
Disallow: */?p=*
Disallow: /wp-admin/

sitemap:  https://thedataschools.com/sitemap_index.xml 


¿Me podríais dar alguna recomendación o decirme si hay algo que no debería editar?

Muchas gracias de antemano.

Un saludo

Contenido solo visible a usuarios registrados