Qué es y cómo funciona Screaming Frog

Qué es y cómo funciona Screaming Frog

Screaming Frog es un software de escritorio, una aplicación Java, que podemos instalar y usar en entornos windows, mac, linux, manejando el programa en local.

Funciona como un spider o araña, por ejemplo, como Googlebot, por lo que la herramienta tiene una doble funcionalidad:

  1. Simulación del comportamiento de un bot (googlebot, googlebot-mobile, etc.)
  2. Diagnóstico SEO de un proyecto, en múltiples vertientes que ya comentaremos.

La herramienta rastreará la url que le indiques, con la configuración marcada, in situ, es decir, el programa usará recursos de tu maquina para ir rastreando con los parámetros indicados, el proyecto elegido, y una vez haya terminado de recorrerlo, presentará la información en su interfaz de pestañas, que se puede consultar, o generar reports y excels descargables.

Es por ello que si queremos rastrear largas listas de urls, o proyectos muy grandes, es probable que la configuración por defecto, se quede corta en lo relativo a memoria, ya que el programa no tendrá suficiente espacio para ir guardando la información de tantas urls.

Normalmente el uso de Screaming Frog se recomienda para sitios medianos o grandes, y para estos últimos, más para rastrear por partes (subdirectorios, subdominios, patrones de urls, etc.), pero no para efectuar rastreos completos de sitios de millones de urls, en cualquier caso, en sitios muy grandes lo más probable es que aparezca un  mensaje que alerte sobre aumentar la memoria («You are running out of memory for this crawl. It is recommended you saved this crawl and continue…)

La diferencia principal con un servicio web, como pueden ser los ofrecidos por DeepCrawl, Optimizer de Sistrix, Site Audit de Semrush (entre otros), es que estos últimos tienen un interfaz que podemos consultar vía web, y los rastreos y análisis, se llevan a cabo según su programación y recursos, y la información se presenta posteriormente, sin que el usuario tenga que hacer prácticamente nada más, solo entrar a ver el report.

Sin embargo con Screaming Frog, una vez terminado un rastreo o análisis, si queremos mantener esa info, deberemos guardarla o almacenarla en nuestro equipo, por ejemplo, si la queremos consultar más tarde, o si en un futuro, queremos compararla con una situación posterior del proyecto en si.

Por tanto, la enorme utilidad de Screaming y su precio tan razonable, tiene esos handicaps añadidos, como es que:

  • hay que procesar datos
  • guardar info
  • tener claro que los rastreos no se almacenan automáticamente ni están disponibles para comparar históricos (como si ocurre en Deepcrawl, que tiene un coste muy superior).

Si vas a empezar a usarla ten en cuenta:

  1. Versión gratuita: hasta 500 urls y opciones de configuración y exportación limitadas
  2. Versión de pago: 99 dólares al año

Emulando a Googlebot

 

Con Screaming Frog, podemos simular un crawleo de Googlebot, para ver cómo rastrearía el bot nuestro site, eligiendo la configuración apropiada

Googlebot crawls

Fuente: http://searchengineland.com/

Con esa configuración, tendremos un análisis de cómo recorre googlebot nuestro sitio, en función de aspectos como:

  • Cómo están enlazadas las páginas entre si
  • Cómo están compuestas las principales etiquetas (encabezados, titulos, descripciones)
  • Cómo están implementados los metas rel nofollow
  • Cómo están implementados los meta robots noindex
  • Cómo están implementados los rel canonical
  • Cómo está configurado el fichero robots.txt para restringir o permitir el acceso a bots

Podemos detectar:

  1. Problemas de indexación, por ejemplo: páginas con interés SEO no se están indexando
  2. Problemas de rastreo, por ejemplo: estamos bloqueando el acceso al bot a secciones que si debería rastrear
  3. Problemas de canonización: por ejemplo las etiquetas canonical están mal implementadas y nos reduce visibilidad e indexación
  4. Problemas de Errores 404 y enlazado interno, por ejemplo: se han modificado urls y no se han redirigido ni cambiado las rutas de los enlaces internos
  5. Problemas de redirecciones, por ejemplo: hemos hecho una migración y no se han implementado correctamente las redirecciones.

Diagnóstico SEO

La herramienta también la podemos utilizar para conocer el status general SEO de un proyecto concreto, en muchas vertientes.

  • Obtener la lista de urls que carecen de descripciones
  • Obtener la lista de urls que tienen titles duplicados
  • Obtener la lista de urls que no reciben enlaces internos
  • Obtener la lista de urls con muy pocos contenidos

En general, es una forma muy completa de revisar el SEO On Page de una web, y da pie a otras situaciones en las que es  muy útil hacer uso de Screaming Frog:

  1. Migraciones. Podemos rastrear el sitio antes de la migración y después, y luego comparar. También se puede realizar un rastreo del entorno en pruebas o pre-producción.
  2. Etiquetado SEO Mobile. Podemos usar la herramienta para hacer un seguimiento de las anotaciones moviles, cuando el proyecto tiene un sitio paralelo tipo «m.»
  3. SEO On Page, general: velocidad de carga, estado de las principales etiquetas y sus dimensiones, niveles de navegación, códigos de respuesta…
  4. Cruzar el rastreo con Google Analytics, para tener los datos de visitas. Una opción muy clarificadora.

Para ver los usos concretos estratégicos y tácticos, puedes leer este post

Curso de Screaming Frog

Si te quieres lanzar a profundizar en todas las posibilidades de la herramienta, ponemos a tu disposición el primer curso presencial orientado a la inmersión total de Screaming Frog.
Más info: http://www.granvia69.com/herramientas/screaming-frog/
¡Os esperamos!

Más info sobre Screaming Frog:

Cómo hacer una auditoría SEO con Screaming Frog
Cómo hacer scraping con Screaming Frog