Hola de nuevo!
Ya he encontrado que era lo que me tenía bloqueada la edición del archivo robots.txt, era el codigo define( 'DISALLOW_FILE_EDIT', true ); que tenía puesto en code snippets...
puede ser que este codigo haya tambien estado bloqueando la configuración que necesita el plugin webp express para poder hacer conversion bulk? pq a mi se me quedaba paralizada la conversion...
Ahora voy a aplicar toda la optimizacion que pepe me ha comentado del archivo robots.txt y entonces me dedicaré a ver que plugins eliminar, porque puede que tenga varios que hagan lo mismo o similar, algunos nada aconsejados seguramente y otros necesarios, supongo que es la duda que tiene todo el mundo a la, hora de deshacerse de plugins
Contenido solo visible a usuarios registrados
Hola Eduardo,
Es posible, verífica de nuevo de igual forma, la intención de este ticket es comunicarnos que lo has logrado? ten en cuenta que el titulo es sobre robots.txt entonces si tienes alguna duda con respecto a este tema ya sería en una nueva consulta.
Un saludo 🖐️
Buenos días!
Ya pude actualizar el archivo robots.txt a través de Rank Math SEO y visualizando la url de robots.txt ya aparece el que adjunté, pero en pagespeed sigue pasando que a veces encuentra bien el archivo robots.txt como a veces indica que no ha podido encontrarlo...
Si bloqueo la edición de nuevo de robots.txt como estaba antes a través del code snippets, la lectura en pagespeed se podrá seguir realizando igualmente, no? quiero decir que solo se evita su edición pero la lectura es posible por google...
Muchas gracias!
Hola, Eduard
Ten en cuenta que el robot de Google, de Bing, Yandex o cualquier otro buscador, cuando rastrea una web, lo primero que hace es buscar el archivo “robots.txt”, si lo tienes creado, ya que por defecto no lo verás en tu instalación.
La mejor forma de saber si Google rastrea dicho archivo (si lo detecta) es desde Google Search Console > Inspección de URLs escribir la URL de tu web https://tu-dominio.com/robots.txt y ver si lo detecta. En caso de no detectarlo, te mostrará algo parecido a lo que te pongo en captura.
En este caso, o bien es que estás bloqueando la lectura de dicho archivo, con un plugin o con permisos incorrectos, o simplemente el archivo no existe.
En este artículo explico al detalle la importancia del archivo robots.txt y cómo generarlo con plugins o manualmente:
https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
También, en tu Google Search Console, puedes usar el validador de robots.txt https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/ para ver si Google detecta errores dentro de su contenido.
Quedo pendiente de tus indicaciones para seguir ayudándote. 😊
@alejo
Muchas gracias por tu rápida respuesta!
Google Search Console > Inspección de URLs escribir la URL de tu web
lo he realizado y me aparece tal como tu comentabas que no existe
por otro lado realizo tu otra indicación
en tu Google Search Console, puedes usar el validador de robots.txt
y me aparece todo...
Plugins uso wp cerber, rank math, wp optimizer, wp rocket, y no se si alguno más podría estar bloqueando el archivo...
También he visto que rank math me indica que mi mapa del sitio esta ubicado en la url https://aurocha.com/sitemap_index.xml
pero intento acceder y no me deja visualizarlo, crea como una pagina 404 (eso supongo) por que me manda de nuevo a la home...
Gracias Alejo!
Hola, Eduard
Efectivamente, si trato de acceder a Contenido solo visible a usuarios registrados cuando lo que debería hacer es mostrar un listado de los diferentes archivos de sitemap (páginas, entradas, etc), por lo que algún plugin te está aplicando una redirección.
Desde Soporte han revisado tu sitio y me dicen que tienes muchos plugins, de diversa índole y algunos que duplican funcionalidades (WP Rocket vs WP Optimize...) pero no voy a abrir ese melón en esta consulta para no desviar el tema y por qué daría para muchos post del Foro. 😌
Prueba a desactivar (no eliminar) el plugin WP Cerber Security y luego limpia bien la caché de WP-Rocket y cualquier otro plugin de caché que uses y después comprueba de nuevo si Google Search Console ve el archivo robots.txt de tu sitio.
Quedo pendiente de tus indicaciones para seguir ayudándote. 😊
@alejo
Voy a ello Alejo!
Si, ya lo se que tengo muchos plugins, voy a intentar hacer limpieza estos días, pero también me preocupa que creo que tengo restos de versiones anteriores de la web, que usaba otro tema y otro maquetador web y han dejado muchos restos que no se como limpiar y dejar el hosting lo mas limpio posible...
El tema plugins Argenis y Pepe ya me lo han dicho y estos días limpiaré lo máximo.
Se que no es del tema pero solo una consulta.
Sabes si todos los archivos que Media Cleaner Pro del sistema y de la biblioteca (tanto fotos como otros tipos de archivos) indica que no son usados, es verdaderamente así? que no están usándose y los puedo borrar sin problemas?
Gracias!
Hola, Eduard
Para:
Sabes si todos los archivos que Media Cleaner Pro del sistema y de la biblioteca (tanto fotos como otros tipos de archivos) indica que no son usados, es verdaderamente así? que no están usándose y los puedo borrar sin problemas?
Te propongo abrir un hilo nuevo y te comentamos: ¿vale? 😊
Perdón, abro el otro hilo y podemos seguir con este así por separado 🙏🏻
En cuanto pruebe lo de desactivar Cerber y ver si lee ya Google el archivo robots.txt.
Gracias!
Hola Eduard,
De acuerdo, quedamos atentos al nuevo hilo para verificarlo.
Un Saludo 😊
Prueba a desactivar (no eliminar) el plugin WP Cerber Security y luego limpia bien la caché de WP-Rocket
He desactivado wp cerber, he limpiado la cache con wp rocket que es el único plugin que uso para la cache ya que optimez solo lo uso para las bases de datos y me sigue poniendo que la url https://aurocha.com/robots.txt no existe en search console.
por otro lado el sitemap en el navegador, https://aurocha.com/sitemap_index.xml, tampoco deja visualizarlo, directamente redirije a la pagina de inicio (que normalmente eso es cuando da un error 404).
voy a seguir desactivando plugins...
Gracias!!
Actualmente veo que aún tienes un número grande de plugins activos
si, ahora me pongo a ir desactivando plugins y ver con cuales de ellos me quedo finalmente.
mapa del sitio como se esté generando
me esta generando así que no se puede visualizar
el sitemap pero formato html si que se visualiza y actualizado
pero cualquier mapa de sitio xml como de pagina, de productos, de entradas, etc... no se visualiza ninguno, redigrige directamente a la pagina de inicio de la web.
Gracias!
Hola, Eduard
Creo que estás generando el archivo "robots.txt" desde el plugin Rank Math y eso está de alguna forma afectando.
Accede a Contenido solo visible a usuarios registrados desde WePanel > Archivos > Administrador de archivos, y navega hasta esa carpeta y verifica si existe físicamente el archivo.
En el artículo https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html#nbspnbspNecesitas_un_archivo_robotstxt explico cómo debe crearse y su importancia. No es recomendable delegar este tipo de archivos a plugins, es mejor gestionarlos manualmente.
Tu sitio web es grande y para sitios grandes es necesario tener físicamente creado el archivo y gestionar tú lo que debe incluirse o no en el mismo y no dejar que un plugin decida.
Quedo pendiente de tus indicaciones para seguir ayudándote. 😊