Avisos
Vaciar todo

[Resuelto] robots.txt  

Página 1 / 2
 
EDUARD
 EDUARD
Estimable Member

Hola de nuevo!
Ya he encontrado que era lo que me tenía bloqueada la edición del archivo robots.txt, era el codigo define( 'DISALLOW_FILE_EDIT', true ); que tenía puesto en code snippets...
puede ser que este codigo haya tambien estado bloqueando la configuración que necesita el plugin webp express para poder hacer conversion bulk? pq a mi se me quedaba paralizada la conversion...

Ahora voy a aplicar toda la optimizacion que pepe me ha comentado del archivo robots.txt y entonces me dedicaré a ver que plugins eliminar, porque puede que tenga varios que hagan lo mismo o similar, algunos nada aconsejados seguramente y otros necesarios, supongo que es la duda que tiene todo el mundo a la, hora de deshacerse de plugins

Contenido solo visible a usuarios registrados

Citar
Respondido : 30/01/2025 5:02 pm
Argenis
 Argenis
Soporte CMS Webempresa Moderator

Hola Eduardo,

Es posible, verífica de nuevo de igual forma, la intención de este ticket es comunicarnos que lo has logrado? ten en cuenta que el titulo es sobre robots.txt entonces si tienes alguna duda con respecto a este tema ya sería en una nueva consulta.

Un saludo 🖐️ 

ResponderCitar
Respondido : 30/01/2025 5:45 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

EDUARD
 EDUARD
Estimable Member

Buenos días!
Ya pude actualizar el archivo robots.txt a través de Rank Math SEO y visualizando la url de robots.txt ya aparece el que adjunté, pero en pagespeed sigue pasando que a veces encuentra bien el archivo robots.txt como a veces indica que no ha podido encontrarlo...

Si bloqueo la edición de nuevo de robots.txt como estaba antes a través del code snippets, la lectura en pagespeed se podrá seguir realizando igualmente, no? quiero decir que solo se evita su edición pero la lectura es posible por google...

Muchas gracias!

ResponderCitar
Respondido : 01/02/2025 8:46 am
Luis Méndez Alejo
 Luis Méndez Alejo
Moderador Moderator

Hola, Eduard

Ten en cuenta que el robot de Google, de Bing, Yandex o cualquier otro buscador, cuando rastrea una web, lo primero que hace es buscar el archivo “robots.txt”, si lo tienes creado, ya que por defecto no lo verás en tu instalación.

La mejor forma de saber si Google rastrea dicho archivo (si lo detecta) es desde Google Search Console > Inspección de URLs escribir la URL de tu web https://tu-dominio.com/robots.txt y ver si lo detecta. En caso de no detectarlo, te mostrará algo parecido a lo que te pongo en captura.

 

Inspección de URLs 2025 02 01 10 12 21

En este caso, o bien es que estás bloqueando la lectura de dicho archivo, con un plugin o con permisos incorrectos, o simplemente el archivo no existe.

En este artículo explico al detalle la importancia del archivo robots.txt y cómo generarlo con plugins o manualmente:

https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

También, en tu Google Search Console, puedes usar el validador de robots.txt https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/ para ver si Google detecta errores dentro de su contenido.

 

Quedo pendiente de tus indicaciones para seguir ayudándote. 😊 

 

ResponderCitar
Respondido : 01/02/2025 9:15 am

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

EDUARD
 EDUARD
Estimable Member

@alejo
Muchas gracias por tu rápida respuesta!

Respondido por: @alejo

Google Search Console > Inspección de URLs escribir la URL de tu web

lo he realizado y me aparece tal como tu comentabas que no existe

Captura de pantalla 2025 02 01 a las 10.27.58

por otro lado realizo tu otra indicación

Respondido por: @alejo

en tu Google Search Console, puedes usar el validador de robots.txt

y me aparece todo...

Captura de pantalla 2025 02 01 a las 10.29.07

Plugins uso wp cerber, rank math, wp optimizer, wp rocket, y no se si alguno más podría estar bloqueando el archivo...
También he visto que rank math me indica que mi mapa del sitio esta ubicado en la url https://aurocha.com/sitemap_index.xml

Captura de pantalla 2025 02 01 a las 10.32.12

pero intento acceder y no me deja visualizarlo, crea como una pagina 404 (eso supongo) por que me manda de nuevo a la home...

Gracias Alejo!

ResponderCitar
Respondido : 01/02/2025 9:33 am
Luis Méndez Alejo
 Luis Méndez Alejo
Moderador Moderator

Hola, Eduard

 

Efectivamente, si trato de acceder a Contenido solo visible a usuarios registrados cuando lo que debería hacer es mostrar un listado de los diferentes archivos de sitemap (páginas, entradas, etc), por lo que algún plugin te está aplicando una redirección.

Desde Soporte han revisado tu sitio y me dicen que tienes muchos plugins, de diversa índole y algunos que duplican funcionalidades (WP Rocket vs WP Optimize...) pero no voy a abrir ese melón en esta consulta para no desviar el tema y por qué daría para muchos post del Foro. 😌 

Prueba a desactivar (no eliminar) el plugin WP Cerber Security y luego limpia bien la caché de WP-Rocket y cualquier otro plugin de caché que uses y después comprueba de nuevo si Google Search Console ve el archivo robots.txt de tu sitio.

Quedo pendiente de tus indicaciones para seguir ayudándote. 😊 

 

ResponderCitar
Respondido : 01/02/2025 10:12 am

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

EDUARD
 EDUARD
Estimable Member

@alejo
Voy a ello Alejo!
Si, ya lo se que tengo muchos plugins, voy a intentar hacer limpieza estos días, pero también me preocupa que creo que tengo restos de versiones anteriores de la web, que usaba otro tema y otro maquetador web y han dejado muchos restos que no se como limpiar y dejar el hosting lo mas limpio posible...
El tema plugins Argenis y Pepe ya me lo han dicho y estos días limpiaré lo máximo.
Se que no es del tema pero solo una consulta.
Sabes si todos los archivos que Media Cleaner Pro del sistema y de la biblioteca (tanto fotos como otros tipos de archivos) indica que no son usados, es verdaderamente así? que no están usándose y los puedo borrar sin problemas?

Gracias!

ResponderCitar
Respondido : 01/02/2025 10:18 am
Luis Méndez Alejo
 Luis Méndez Alejo
Moderador Moderator

Hola, Eduard

Para:

Sabes si todos los archivos que Media Cleaner Pro del sistema y de la biblioteca (tanto fotos como otros tipos de archivos) indica que no son usados, es verdaderamente así? que no están usándose y los puedo borrar sin problemas?

Te propongo abrir un hilo nuevo y te comentamos: ¿vale? 😊 

ResponderCitar
Respondido : 01/02/2025 10:33 am

EDUARD
 EDUARD
Estimable Member

@alejo

Perdón, abro el otro hilo y podemos seguir con este así por separado 🙏🏻

En cuanto pruebe lo de desactivar Cerber y ver si lee ya Google el archivo robots.txt.

Gracias!

ResponderCitar
Respondido : 01/02/2025 4:44 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Eduard, 

De acuerdo, quedamos atentos al nuevo hilo para verificarlo.

Un Saludo 😊 

ResponderCitar
Respondido : 01/02/2025 5:11 pm

Cursos Gratuitos WordPress

EDUARD
 EDUARD
Estimable Member
Respondido por: @alejo

Prueba a desactivar (no eliminar) el plugin WP Cerber Security y luego limpia bien la caché de WP-Rocket

He desactivado wp cerber, he limpiado la cache con wp rocket que es el único plugin que uso para la cache ya que optimez solo lo uso para las bases de datos y me sigue poniendo que la url https://aurocha.com/robots.txt no existe en search console.
por otro lado el sitemap en el navegador, https://aurocha.com/sitemap_index.xml, tampoco deja visualizarlo, directamente redirije a la pagina de inicio (que normalmente eso es cuando da un error 404).

voy a seguir desactivando plugins...

Gracias!!

ResponderCitar
Respondido : 01/02/2025 7:07 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Eduard, 

Actualmente veo que aún tienes un número grande de plugins activos, puede ser que alguno de estos siga generando conflictos. De igual forma en tu plugin de RankMath revisa dentro de la sección Ajustes del mapa del sitio como se esté generando

image

Un Saludo 

ResponderCitar
Respondido : 02/02/2025 12:16 am

wpdoctor-revisa-la-salud-de-tu-wordpress

EDUARD
 EDUARD
Estimable Member
Respondido por: @karen

Actualmente veo que aún tienes un número grande de plugins activos

si, ahora me pongo a ir desactivando plugins y ver con cuales de ellos me quedo finalmente.

Respondido por: @karen

mapa del sitio como se esté generando

me esta generando así que no se puede visualizar

Captura de pantalla 2025 02 02 a las 9.38.12

el sitemap pero formato html si que se visualiza y actualizado

Captura de pantalla 2025 02 02 a las 9.42.35

pero cualquier mapa de sitio xml como de pagina, de productos, de entradas, etc... no se visualiza ninguno, redigrige directamente a la pagina de inicio de la web.

Gracias!

ResponderCitar
Respondido : 02/02/2025 8:45 am
EDUARD
 EDUARD
Estimable Member

acabo de realizar un nuevo test con pagespeed y es curioso... visualizando el informe para movil me aparece esto

Captura de pantalla 2025 02 02 a las 10.15.11

y cuando visualizo el informe de ordenador me aparece esto

Captura de pantalla 2025 02 02 a las 10.14.54

Que puede suceder para que para movil no lo de correcto y para ordenador si?
gracias!

ResponderCitar
Respondido : 02/02/2025 9:17 am

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Luis Méndez Alejo
 Luis Méndez Alejo
Moderador Moderator

Hola, Eduard

 

 

Creo que estás generando el archivo "robots.txt" desde el plugin Rank Math y eso está de alguna forma afectando.

Accede a Contenido solo visible a usuarios registrados desde WePanel > Archivos > Administrador de archivos, y navega hasta esa carpeta y verifica si existe físicamente el archivo.

 

En el artículo https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html#nbspnbspNecesitas_un_archivo_robotstxt explico cómo debe crearse y su importancia. No es recomendable delegar este tipo de archivos a plugins, es mejor gestionarlos manualmente.

Tu sitio web es grande y para sitios grandes es necesario tener físicamente creado el archivo y gestionar tú lo que debe incluirse o no en el mismo y no dejar que un plugin decida.

 

 

Quedo pendiente de tus indicaciones para seguir ayudándote. 😊 

ResponderCitar
Respondido : 02/02/2025 10:08 am
Página 1 / 2