Screaming Frog SEO Spider ¡análisis SEO y de logs a fondo!

Esta Navidad, regala sueños. Planes de hosting al 70% de descuento.

Contrata ilusión aquí

En los últimos tiempos son muchas las empresas de desarrollo que se han lanzado a liberar herramientas, la mayoría comerciales, para analizar sitios web de forma seria y profesional, permitiendo auditarlos, analizar el SEO y otros factores que afectan al posicionamiento y el desempeño del sitio.

Screaming Frog SEO Spider es una de esas herramientas ‘de escritorio’ orientada al análisis SEO, que haciéndose pasar por una araña (crawler) de Google, rastrea un sitio web colectando información útil como metaetiquetas de imágenes, títulos y meta descripciones de páginas, enlaces canónicos, códigos de respuesta, problemas y otros errores.

De la información obtenida con Screaming Frog SEO Spider es posible llevar a cabo estrategias orientadas a mejorar la optimización del SEO/SEO on-page de sitios web, sean WordPress, Joomla, PrestaShop u otro CMS.

Se trata de una potente herramienta desarrollada por Dan Sharp fundador y director de Screaming Frog Ltd, diseñada y orientada a analizar y auditar sitios web desde el punto de vista de SEO, pensada para sitios pequeños y principalmente orientada a sitios grandes, donde comprobar manualmente cada página se convertiría en una tarea pesada y que consumiría muchos recursos humanos.

¿Qué puedes hacer con Screaming Frog SEO Spider?

• Encontrar enlaces rotos y errores.
• Revisión de robots y directivas.
• Analizar los títulos de páginas y metadatos.
• Descubrir contenido duplicado.
• Generar sitemaps XML.
• Análisis de logs.
• Rastreo de bots, límites y configuraciones.
• Extraer datos con XPath.
• Analizar imágenes, CSS, javascript, archivos SWF.
• Auditoría de Redirecciones.

La versión “gratuita” de Screaming Frog SEO Spider permite analizar o rastrear 500 URIs; para sitios muy grandes tendrás que plantearte la licencia comercial de la herramienta.

Características destacadas de Screaming Frog SEO Spider:

• Errores: errores de cliente tales como enlaces rotos, errores del servidor (Sin respuesta, 4XX, 5XX).
• Redirecciones: redirecciones permanentes o temporales (respuestas 3XX).
• URLs bloqueadas: ver y auditar URLs no permitidas por el protocolo de robots.txt.
• Enlaces externos: todos los enlaces externos y sus códigos de estado.
• Protocolo: si las direcciones URL son seguras (HTTPS) o inseguras (HTTP).
• Problemas URI: caracteres no ASCII, guiones, caracteres en mayúsculas, parámetros o direcciones URL largas.
• Páginas duplicadas: valor Hash/ comprobación de suma MD5 para las páginas con contenidos duplicados.
• Títulos de página: títulos que faltan, están duplicados, tienen más de 65 caracteres, son cortos, ancho de píxel de truncamiento, mismo que H1, o múltiple.
• Meta Descripción: inexistente, duplicada, con más de 156 caracteres, corta, ancho de píxel de truncamiento o múltiple.
• Meta Keywords: principalmente para referencias, ya que no son utilizados por Google, Bing o Yahoo.
• Tamaño de archivos: tamaño de URLs y de imágenes.
• Tiempo de respuesta.
• Última modificación de la cabecera.
• Nivel de profundidad de las páginas.
• Recuento de palabras.
• H1: inexistente, duplicado, con más de 70 caracteres, múltiple.
• H2: inexistente, duplicado, con más de 70 caracteres, múltiple.
• Meta Robots: index, noindex, follow, nofollow, noarchive, sin fragmento de código, NOODP, NOYDIR, etc.
• Meta Refresh: incluyendo la página de destino y el tiempo de retardo.
• Elemento con enlace canónico y cabeceras HTTP canónicas.
• X-Robots-Tag.
• rel=“next” and rel=“prev”.
• AJAX – La araña SEO obedece al esquema AJAX de rastreo de Google.
• Inlinks: todas las páginas con enlaces a una determinada URL.
• Outlinks: todos los enlaces salientes a una URL concreta.
• Texto de anclaje: todo el texto del enlace. El texto alternativo (alt) de las imágenes con enlaces.
• Follow y Nofollow: en la página y a nivel de enlace (verdadero/falso).
• Imágenes: todas las URLs con el enlace de la imagen y todas las imágenes de una determinada página. Imágenes de más de 100kb, sin el texto alternativo (alt), o con texto de más de 100 caracteres.
• User-Agent Switcher: rastrear como si fuese Google Bot, Bing Bot, Yahoo! Slurp, agentes de usuario móviles o con tu código personalizado UA.
• Encabezado Accept-Language configurable: Suministra cabecera HTTP Accept-Language para rastrear el contenido de la configuración adaptada regional.
• Redirigir Cadenas: descubre cadenas y loops redirigidos.
• Búsqueda de código fuente personalizada: la araña SEO permite encontrar cualquier cosa que desees en el código fuente de una página web. Ya sea código de Google Analytics, un texto específico, o código, etc.
• Extracción personalizada: puedes recoger cualquier dato desde el código HTML de una URL utilizando XPath, selectores CSS Path o expresiones regulares.
• Integración con Google Analytics: puedes conectarte a la API de Google Analytics y tirar de los datos de usuario y conversión directa durante un rastreo.
• Integración con Google Search Console: puedes conectarte a la API de Google Search Analytics y recoger impresiones, clics y los datos de posición promedio de URLs.
• Generador XML de Sitemap: puedes crear un mapa del sitio XML y un mapa de imagen utilizando SEO Spider.

Descargar Screaming Frog SEO Spider

Screaming Frog SEO Spider está escrito para ser utilizado en diferentes sistemas operativos, Linux, Windows y OSX. Puedes descargarlo desde la web oficial del proyecto.

Descarga SEO Spider Tool

Códigos de respuesta de Screaming Frog SEO Spider

Cuando haces uso de la herramienta los resultados pueden devolver una serie de códigos de respuesta. Conocer y entender estos códigos te ayudarán a hacer un uso más eficiente de la misma.

La pestaña de códigos de respuesta de la herramienta incluye información de respuesta de URI interna y externa.

Estos códigos de respuesta HTTP habituales son:

• Sin Respuesta: Cuando no recibimos respuesta a nuestra solicitud. Normalmente, una URI con formato incorrecto o un tiempo de espera de conexión.
• Correcto (2XX): el URI solicitado fue recibido, entendido, aceptado y procesado con éxito.
• Redirección (3XX): Se ha detectado un cambio de dirección.
• Error de cliente (4xx): Indica que ha ocurrido un problema con la solicitud.
• Error del servidor (5XX): El servidor no pudo cumplir con una solicitud aparentemente válida (bloqueos, etc).

Algunos ejemplos:

• 200: OK.
• 301: Redireccionamiento Permanente.
• 302: Redireccionamiento Temporal.
• 404: Recursos no encontrado.
• 500: Error del servidor
• 503: Recurso no disponible.

En el RFC 2616/sec10 puedes encontrar la descripción completa de cada código de respuesta (en inglés).

Análisis de Logs con Screaming Frog SEO Spider

Recientemente el equipo de desarrollo de Screaming Frog SEO Spider ha liberado Log File Analyser, una herramienta separada de SEO Spider diseñada para analizar archivos de registro (logs) de actividad, etc. Básicamente esta herramienta permite ver exactamente lo que los motores de búsqueda han experimentado rastreando el sitio web, durante un período de tiempo.

El analizador de archivos de registro es ligero, pero muy potente, capaz de procesar, almacenar y analizar millones de líneas de datos de eventos del archivo de registro en una base de datos inteligente.

Actualmente Log File Analyser es comercial, pero puedes utilizar la versión con licencia gratuita para analizar 1 sitio web o 1000 líneas de logs, suficiente para determinar si esta herramienta es útil para tus proyectos web y ver si das el salto a la versión comercial.

Esta herramienta reúne datos clave del archivo de registro para permitir tomar decisiones informadas. Algunos de los usos comunes incluyen:

• Identificar rastreadores de URLs.
• Localizar enlaces rotos y errores.
• Analizar urls más y menos rastreadas.
• Detectar páginas no rastreadas y huérfanas.
• Analizar la frecuencia de los rastreadores (crawlers).
• Auditar redirecciones.
• Identificar páginas grandes y problemas de rendimiento.
• Combinar y comparar datos (GA y logs).

Descarga Log File Analyser

Gracias a la tecnología de “arrastrar y soltar” (drag & drop) puedes arrastrar uno o varios archivos de registro de gran tamaño directamente en la interfaz de Log File Analyser, y la herramienta detectará automáticamente el formato de archivo de registro y compilará los datos en una base de datos local, capaz de almacenar millones de eventos de registro.

Se pueden arrastrar varios archivos registros o carpetas al mismo tiempo, que pueden ser comprimidos con gzip y desde cualquier servidor, ya sea Apache, Nginx o ISS.

Por el momento la recogida de datos se centra en robots de Google, Bing Bot, Yandex y Baidu. En versiones posteriores esta funcionalidad será configurable. Se puede cambiar de agente de usuario para ver solamente los robots específicos, a través de la lista desplegable en la parte superior derecha junto al intervalo de fechas.

Conclusiones

No cabe duda que tanto Screaming Frog SEO Spider como Log File Analyser son dos herramientas muy importantes dentro del arsenal de trabajo de aquellos profesionales centrados en servicios SEO, pues las informaciones obtenidas con estas herramientas permiten no solo trazar estrategias para mejorar la carga y optimización de los sitios, además proveen de información valiosa sobre el comportamiento de los bots de rastreo de los buscadores habituales.

Screaming Frog SEO Spider es una de las varias herramientas de análisis de datos de sitios web que deberías tener siempre a mano para tus proyectos o los de tus clientes.

Otras herramientas recomendadas por Webempresa:

• Vikinguard para analizar Tiendas PrestaShop (ver artículo).
• Vikinguard para analizar Tienda con WooCommerce en WordPress (ver artículo).
• Metricool para analizar sitios web y redes sociales (ver artículo).
• wpDoctor para analizar sitios web con WordPress (ver artículo).

Luis Méndez Alejo

Miembro del equipo de soporte técnico de Webempresa.
Coordinador de contenidos en el Blog y en Youtube.
Soporte técnico en CiberProtector. Teacher en Webempresa University