robot.txt en una versión no canónica del sitio web.  

Hola

Prueba usar el siguiente código como parte de tu robots.txt y verifica nuevamente , ya que veo actualmente un Disallow que no hace referencia a nada.

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap:  https://ruthmontenegro.com/sitemap_index.xml 

Saludos.

@jmarreros

Buenas tardes, 

He comprobado que tengo un 301 desde el txt sin las www a con las www de Contenido solo visible a usuarios registrados en la imagen adjunta se puede ver con una extensión de redirecciones

no encuentro en que sitio puede estar realizado ese 301 ¿me pueden dar alguna idea? 

Gracias

Hola Domingo.

Revisa si tienes la dirección en el archivo htaccess.

De todas formas no hay ningún problema ya que siempre te cargara sin las WWW aunque se añada el dominio con las WWW

@pepesoler

Hola, he solucionado el problema del 301 pero sigo con el problema de que el dominio que tengo puesto como preferido (canónico) es el de Contenido solo visible a usuarios registrados

esta claro que google puede rastrear la web (por lo menos es lo que creo) pero no es normal este comportamiento y como me encuentro con una caida general en las busquedas (casi estan desapereciendo de las serps) para todos estos dominios y no tengo una accion manual de penalización marcada en la consola de google buscando la posible causa solo he detectado este problema.

Un poco de historia para que sirva de orientación para comprender mejor el problema que tengo:
La web hasta hace dos meses tenía como dominio canónico con las tres wwww y después de un cambio de plantilla se opto por dejar la url si las tres wwww y casi desde ese momento se ha producido la bajada en las búsquedas (se han dexindexado el 80% de las URls), cuando se ha tenido constancia de estos problemas ya han pasado dos meses y se ha considerado que volver de nuevo a poner todo con las tres www no es aconsejable porque las URLs que se están indexando estan ahora sin las tres www.

El problema es bastante serio y no encuentro una forma de solucionarlo espero que con vuestra ayuda sea capaz de identificar que estoy haciendo mal.

Gracias por la ayuda.

Hola Domingo.

Veo que la pagina se esta rastreando:

->Contenido solo visible a usuarios registrados

Si te das cuenta la fecha de rastreo es del 16/05

El tema de que cargue el archivo robot con www o sin ellas no tiene importancia ya que siempre cargara sin las www.

Lo que no se puede hacer es ir variando las estructuras de las URL ni redireccionar, eso si que afecta a el Seo. Lo mas importante es tener claro que estructura se quiere utilizar y seguir siempre con la misma estructura. Cada vez que cambias de estructura de URl estas empezando de nuevo.

Un saludo

@pepesoler

El tema de que cargue el archivo robot con www o sin ellas no tiene importancia ya que siempre cargara sin las www.

RESPUESTA:
No tengo tan claro que sea de esta forma

Varias herramientas me indican que el robot.txt esta cargando el dominio con las tres wwww. en la imagen (robot.txt-cargando con las tres www) se puede comprobar esto

Como el dominio canónico es sin las tres www y el robot.txt no esta cargando por el dominio canónico Contenido solo visible a usuarios registrados no es efectivo, por ejemplo en el robot.txt tengo puesta una regla para que permita el acceso Googlebot a los archivos JS y CSS
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
y creo que no funciona porque no es detectado por google.
He comprobado con diferentes herramientas que no detecta el TXT, como muestra puedes verlo en la imagen (1,2 y 3), ¿no existe la posibilidad de que sea posible esto?

Lo que no se puede hacer es ir variando las estructuras de las URL ni redireccionar, eso si que afecta a el Seo. Lo mas importante es tener claro que estructura se quiere utilizar y seguir siempre con la misma estructura. Cada vez que cambias de estructura de URl estas empezando de nuevo.

RESPUESTA: Se modifico la estructura de la URL porque tenia entendido que no afectaba, que solo era un aspecto visual que la web tuviera las tres www o no, pero esta claro que esa información no era correcta, lo que creo es que ahora tengo que aguantar el tiron y levantarla de nuevo, no creo que lo mas conveniente fuera modificar de nuevo la URL después de dos meses para poner el dominio de nuevo con ellas, es un fallo que no tiene remedio, si por lo menos el robot.txt fuera acseible para google todo seria mas rapido.

Gracias

Hola Domingo.

No tengo tan claro que sea de esta forma:

Puedes probarlo simplemente en el navegador intenta cargar el archivo robot.txt con las WWW o sin las WWW y veras que siempre carga el dominio sin www.

-> Contenido solo visible a usuarios registrados

Si te fijas puedes ver que el archivo robot.txt esta accesibles:

Un saludo

@pepesoler

Hola, correcto ya se ha realizado un 301 (desde el servidor) desde la URL con las tres www y la que no lo tiene, ahora si aparece correcto en todos los examenes

me comentas:

Eso no afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

Todavía no tengo claro porque motivo me ha perjudicado tanto la visibilidad se han perdido casi todas las posiciones en las busquedas, desesperante, le estaba echando la culpa al update del 5 mayo de google porque la bajada me empezó en ese momento aunque el cambio de la web de mostrarse con las www o sin ellas se realizo casi dos meses antes, por ese motivo no creía que esto fuera el problema.

Gracias por la ayuda que me prestan

Hola Domingo,

Puedo ver que ya tus sitemap carga sin problemas con las dos rutas tanto www o sin ella, nos puedes confirmar si con esto se ha solucionado lo que comentabas?

Todavía no tengo claro porque motivo me ha perjudicado tanto la visibilidad se han perdido casi todas las posiciones en las búsquedas, desesperante, le estaba echando la culpa al update del 5 mayo de google porque la bajada me empezó en ese momento aunque el cambio de la web de mostrarse con las www o sin ellas se realizo casi dos meses antes, por ese motivo no creía que esto fuera el problema.

Puede ser que en el momento de realizar el cambio no se realizo la re dirección, al no establecer un dominio preferido se estaría mostrando dos contenidos duplicados de tu sitio que lo que podría haberte perjudicarte en ese momento.

Un Saludo

@karen

Gracias por tu aporte Karen, pero no eran problemas de sitemap si no del robot.txt.

Si es posible @pepesoler me podría responder al punto este en concreto para dejar las dudas solventadas: 

No afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

Gracias

Hola Domingo,

Le he dejado asignado a Pepe en cuanto este de turno lo revisará.

Un Saludo

@pepesoler
Hola Pepe, espero a que te conectes para que me puedas aclarar un punto que me indicas:

no afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

Es importante tu respuesta porque intento saber que es lo que ha sucedido para la bajada en la busquedas de una forma tan brutal sin motivo aparente no tiene una penalizacion manual y la algoritmica del 5 de mayo no encuentro un motivo para que me afectara.

Gracias de antemano por tu respuesta

Hola Domingo.

Claro, lo que te quiero decir que es lo mismo que cargue el Dominio con WWW o Sin WWW, el resultado es el mismo, lo que interesa es que la URL Cargue, es decir da igual que tengas configurado el dominio para que cargue con www o sin ella, de cara al seo o posicionamiento es lo mismo.

Lo que te comentaba antes es porque se que sueles realizar muchas redirecciones ( O solías ), ahora quiero que cargue en esta URL ahora la cambio y redirecciono, etc... eso sí que afecta y mucho, tanto al rendimiento como al seo, lo mismo que ir cambiando tema ( Plantilla ).

El tema del posicionamiento es complicado, hay que trabajar mucho y no es inmediato, crear contenido nuevo diariamente, publicaciones constantes en redes sociales, intercambio de enlaces en Blogs que traten el mismo tema, ver qué están haciendo los competidores y si puedes aplicar lo mismo, etc...   no es fácil llegar a unas primeras posiciones.

Yo soy Valenciano y como Buen Valenciano Trabajó mucho el arroz y cuando estas preparando una Paella una vez pones el Arroz hay que dejarlo sin moverlo ni realizar cambios, este se asienta el solo, proque te digo esto, bueno con la Web pasa lo mismo, lo primero es tener clara la estructura que quiere tener y una vez lo tengas claro, crear el contenido y dejarlo estar, dejar que este siga su camino y poco a poco empiece a escalar posiciones.

Sobre el tema del Robot.txt esta cargando bien y no veo problemas ni bloqueos, con lo que eso está bien al igual que veo que Google está indexando las páginas.

Tengo un periódico y llevo ya 8 años con el, es un periódico comarcal y nos a costado mucho tiempo en llegar a las primeras posiciones, llevamos 8 años peleándonos para eso y al final el trabajo tiene sus frutos, lo que me di cuenta es que cuanto más cambios realizaba peor eran los resultados, la página hay que ir alimentandola todos los días con contenido nuevo y dejarla que siga su camino.

Un saludo

@pepesoler

Hola, gracias por tu respuesta, me aclaro algo lo que sucede y espero seguir por el camino que me indicas que es el correcto, gracias de verdad por tu tiempo.

Un saludo