Avisos
Vaciar todo
Hola.
Me han dicho en el soporte del server que se producen muchos errores 404 y que para solucionarlo debería configurar el Robots.txt siguiendo lo que pone aquí.
https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html
El problema es que es muy genérico y no me termino de aclarar. ¿Podríais ser por aquí un poco más explícitos? Dejo abajo los errores que tengo.
40.77.167.112 - - [09/Oct/2020:03:04:28 +0200] "GET /administrar-subscripciones-comentarios/?srp=3596&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13714 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
207.46.13.133 - - [09/Oct/2020:03:54:56 +0200] "GET /administrar-subscripciones-comentarios/?srp=6762&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13714 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
66.249.70.75 - - [09/Oct/2020:04:15:06 +0200] "GET /wp-content/uploads/2016/03/DSCF2167-e1456997307883-367x550.jpg HTTP/1.1" 404 13736 "-" "Googlebot-Image/1.0"
209.97.177.21 - - [09/Oct/2020:04:50:33 +0200] "GET /blog/feed HTTP/1.1" 404 13700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36"
66.249.70.77 - - [09/Oct/2020:06:45:14 +0200] "GET /la-costa-de-cadiz-3-vejer-de-la-frontera-y-el-palmar HTTP/1.1" 404 13723 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.140 Mobile Safari/537.36 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"
66.249.70.77 - - [09/Oct/2020:07:02:02 +0200] "GET /la-costa-de-cadiz-3-vejer-de-la-frontera-y-el-palmar HTTP/1.1" 404 13723 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"
106.11.156.50 - - [09/Oct/2020:07:07:02 +0200] "GET /wp-content/cache/min/1/89904798178be3363754da2bc64be3ed.css HTTP/1.1" 404 13733 "https://elviajemehizoami.com/" "YisouSpider"
207.46.13.163 - - [09/Oct/2020:07:37:40 +0200] "GET /administrar-subscripciones-comentarios/?srp=7747&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
207.46.13.78 - - [09/Oct/2020:07:53:28 +0200] "GET /yangon-capital-myanmar?nonamp=1 HTTP/1.1" 404 13657 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
3.90.145.182 - - [09/Oct/2020:07:56:44 +0200] "GET /atardecer-ciudad-real/feed/ HTTP/1.1" 404 13654 "https://www.google.com/" "Mozilla/5.0 (X11; Linux x86_64; rv:73.0) Gecko/20100101 Firefox/73.0"
207.46.13.133 - - [09/Oct/2020:08:05:52 +0200] "GET /europa/espana/canarias-espana/ HTTP/1.1" 404 13704 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
31.4.223.110 - - [09/Oct/2020:08:17:35 +0200] "GET /wp-content/cache/min/1/b198f66e7c86d3a440e41baa299a5047.css HTTP/1.1" 404 13734 "https://www.google.com/" "Mozilla/5.0 (Linux; Android 7.1.1; Aquaris X5 Plus) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36"
39.101.67.145 - - [09/Oct/2020:08:46:21 +0200] "GET /data/admin/allowurl.txt HTTP/1.1" 404 13703 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0"
87.219.119.128 - - [09/Oct/2020:08:55:32 +0200] "GET /apple-touch-icon-precomposed.png HTTP/1.1" 404 13653 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0"
87.219.119.128 - - [09/Oct/2020:08:55:32 +0200] "GET /apple-touch-icon.png HTTP/1.1" 404 13646 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0"
47.60.44.229 - - [09/Oct/2020:08:58:27 +0200] "GET /apple-touch-icon-120x120-precomposed.png HTTP/1.1" 404 13719 "-" "MobileSafari/604.1 CFNetwork/1197 Darwin/20.0.0"
47.60.44.229 - - [09/Oct/2020:08:58:28 +0200] "GET /apple-touch-icon-120x120.png HTTP/1.1" 404 13711 "-" "MobileSafari/604.1 CFNetwork/1197 Darwin/20.0.0"
85.85.139.199 - - [09/Oct/2020:09:19:25 +0200] "GET /wp-content/cache/min/1/75dcfd226576c795635c45830de40c51.css HTTP/1.1" 404 13735 "https://www.google.es/" "Mozilla/5.0 (Linux; Android 9; Redmi 7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.127 Mobile Safari/537.36"
157.55.39.204 - - [09/Oct/2020:09:29:37 +0200] "GET /administrar-subscripciones-comentarios/?srp=8737&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
40.77.167.234 - - [09/Oct/2020:09:31:50 +0200] "GET /administrar-subscripciones-comentarios/?srp=680&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
Este debate ha sido modificado el hace 4 años por Gerard Martínez
Respondido : 15/10/2020 7:30 am
Hola.
El archivo robots.txt es el que proporciona información a los Robots de los buscadores sobre qué archivos pueden acceder y cuáles están bloqueados.
Básicamente lo que se pretende es no sobrecarga al servidor con solicitudes innecesarias.
Para un WordPress podría ser esto:
# Bloquear o permitir acceso a contenido adjunto. (Si la instalación está en /public_html). User-agent: * Disallow: /cgi-bin Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /wp-admin/ #Impedir el acceso a los diferentes feed que genere la página Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ # Impedir URLs terminadas en /trackback/ que sirven como Trackback URL. Disallow: /*/*/*/trackback/$ # Evita bloqueos de CSS y JS. Allow: /*.js$ Allow: /*.css$ #Bloquear todos los pdfs Disallow: /*.pdf$ #Bloquear parámetros Disallow: / *? # Lista de bots que deberías permitir. User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / # Lista de bots bloqueados User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / User-agent: Baiduspider Disallow: / User-agent: GurujiBot Disallow: / User-agent: hl_ftien_spider Disallow: / User-agent: sogou spider Disallow: / User-agent: Yeti Disallow: / User-agent: YodaoBot Disallow: / #Desautorizar a páginas innecesarias Disallow: /gracias-por-suscribirte # Añadimos una indicación de la localización del sitemap Sitemap: https://sitioweb/sitemap_index.xml
Con Disallow le indicamos las carpetas o los robots que están bloqueados, es decir por ejemplo no tiene sentido que puedan acceder a la carpeta plugins o a wp-admin, lo mismo que se bloquean algunos Bots que pueden ser perjudiciales, también se le indica la ruta del sitemap " Sitemap: https://sitioweb/sitemap_index.xml ", en tu caso tienes que sustituir esa URl por la de tu sutemap " https://elviajemehizoami.com/sitemap_index.xml "
Un saludo
Respondido : 15/10/2020 9:45 am
Por favor Iniciar Sesión o Registro to reply to this topic.
