Posible ataque a mi web  

Bueno, la pagina ya se ve en los buscadores cuando clicas, ha sido error mio al bloquear bots utilizando htaccess. Pero me gustaria saber que opinais sobre el archivo y si puedo incluir esto para bloquear bots:

Disallow: /
User-agent: Araneo
Disallow: /
User-agent: AraybOt
Disallow: /
User-agent: ArchitextSpider
Disallow: /

Por ejemplo. Gracias.

Hola,

Puedes revisar el articulo de blog:
https://www.webempresa.com/blog/item/1217-configurar-seo-en-wordpress-9-parte.html

Dentro de nuestros servicios no se incluye el de posicionamiento, seo, o marketing online, por lo que la información que podemos darle es de carácter orientativo respecto a la potencialidad de WordPress y Joomla en este aspecto.

Hola, que tal!! Bueno en realidad no quería hablar de seo, sino del archivo robots.txt que esta haciendo que en el índice de Google aparezca en apartado de información de la página :
No hay disponible una descripción de este resultado debido al archivo robots.txt de este sitio.
Me pregunto que estoy haciendo mal. Acabo de modificar el archivo por otro. Podéis verlo aquí mismo....

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /cgi-bin/
User-agent: *
Disallow: /*.php$
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.wmv$
Disallow: /*.xhtml$
Disallow: /*.gz$
User-agent: Googlebot-Image
Disallow:
Allow: /*
Sitemap: www.rgpmusica.com/sitemap.xml

Hola Ricardo,

Ahora mismo nosotros vemos el artículo que nos indicas indexado (efectivamente aparece en la primera página de resultados de búsqueda de Google).
¿Cómo tenías configurado robots.txt antes para que no te lo indexara? Tenías configurado lo siguiente, que está recomendado en nuestro artículo del blog ( https://www.webempresa.com/blog/como-bloquear-los-robots-indeseables-en-tu-wordpress.html) referente a fichero robots.txt:

¿Puedo poner a raya a determinados bots de indexado?

Es lo recomendado si has recibido avisos de tu proveedor de Hosting de que tu consumo de recursos está aumentando derivado de la masiva visita de bots o consideras que la mayoría de bots que visitan tu sitio web WordPress no guardan relación directa alguna con el público al que ofreces tus contenidos o son procedentes de países a los que no ofreces servicios.

User-agent: BadBot
Disallow: /

User-agent: msnbot
Disallow: /

User-agent: arachnophilia
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: webcopy
Disallow: /

Saludos.

Gracias por vuestra paciencia. Si, indexado siempre ha estado, pero creé el archivo robots.txt y si os fijáis bien en el índice de Google en el apartado de la descripción sobre mi web y el post sobre caribe mix 2014 esta denegada la información y es por el archivo robots.txt . A que puede ser debido. Un saludo

Hoal Ricardo

De donde sacaste ese código para tu robots.txt? veo por ejemplo sentencias repetidas y algunas que estan por demás como el evitar indexar archivo

Será mejor que evalúes algo simple y especial para wordpress, revisa por ejemplo :
http://www.ramonyago.com/robots-txt-optimizado-para-wordpress/

Si tienes más dudas sobre el bobots será mejor abrir un nuevo hilo de discusión

Saludos.

Hola Jhon!! Pues lo saqué de un tutorial de webempresa. lo he modificado haber que te parece esto:
User-Agent: *
Disallow: /wp-
Disallow: /ir/
Allow: /wp-content/uploads/
Sitemap: http://www.rgpmusica.com/sitemap.xml

Y ahí lo he dejado. Es que llevo un tiempo luchando con robots y no logro sacarmelos de encima y claro esta google analytics pues no me sirve para nada. Incluso bloqueando ips se siguen metiendo en la web. Muchas Gracias.

Hola Ricardo,

En principio parece correcto y no debería interferir si trabajas con WordPress.

Lo que no me queda claro es si estás posteando en una categoría del Foro de Joomla, ¿porque estamos hablando de WordPress?.

Saludos

Hola Luis, si efectivamente estamos hablando de WordPress, me equivoque y colé el tema donde no debía, culpa mía.

Hola Ricardo,

Ok entonces creo que queda bien explicado en el artículo:

- https://www.webempresa.com/blog/como-bloquear-los-robots-indeseables-en-tu-wordpress.html

Que me consta que ya has consultado, no obstante si tienes alguna particularidad más que añadir al respecto, con mucho gusto la atenderemos. 🙂

Muevo este post de Preguntas Sobre Joomla!, Seguridad a Preguntas sobre WordPress, Administración WordPress que es donde interpreto debería estar.

Saludos y gracias por tu colaboración

Hola que tal!! Soy ricardo, hace poco modifique el archivo robots.txt, pero he quedado con paginas sin indexar así que tambien estube modificando el plugin Yoast WordPress SEO con vuestras recomendaciones. Ahora quiero añadir el nuevo sitemap a herramientas de webmaster de google pero me da al probar ( http://www.rgpmusica.com/sitemap.xml ) el sitemap el siguiente error:
No se puede acceder a la red Error HTTP: 503
Se ha producido un error al intentar acceder al sitemap. Asegúrate de que cumpla nuestras directrices y de que se encuentre en la ubicación especificada y vuelve a enviarlo.
En la pagina de indice de sitemap de google webmaster me indica que hay URL restringida por robots.txt por ejemplo esta Sitemap: rgpmusica.com/post-sitemap.xml. La configuracion del archivo robots es la más simple, en este caso es así:
User-Agent: *
Disallow: /wp-
Disallow: /ir/
Allow: /wp-content/uploads/
Sitemap: http://www.rgpmusica.com/sitemap.xml

No se que hacer para añadirlo el nuevo sitemap y no de errores, tambien he de decir que en estos momentos se encuentra en estado pendiente. Alguien sabe que debo hacer? gracias de antemano.

Hola,

Verifica si el siguiente articulo de blog te es de utilidad:

Sitemap en WordPress
https://www.webempresa.com/blog/item/1186-sitemap-en-wordpress.html

No se si es o no correcto este hilo para lo que me ocurre. No hago mas que recibir avisos uno o dos al día de Ithemes Security de aviso de bloqueo.
Pueden ser reales o falsos positivos de es plugin.
Gracias

Hola Jose.

Son bloqueos de acceso, por defecto en todos los servidor de webempresa existen reglas creadas para evitar y bloquear todos esos accesos o ataques que puedan tener la web, bloqueando tanto los países de habla no hispana, como IP's detectadas como atacantes a mas de que se esta monitorizando continuamente todas las web's para que no sucedas ataques.

No tienes que preocuparte por esos avisos ya que para eso estamos nosotros 😉

Un saludo