Programar crawleos en Screaming Frog paso a paso

Programar crawleos en Screaming Frog paso a paso

Que ganas tenía de volver a escribir de «la rana», vamos allá con una de las funcionalidades «canelita» que hemos visto a partir de la versión 10
¡Pues vamos allá que esto tiene mucho potencial!

Guardar una configuración para usar después

Antes de explicar como se programa un crawleo, merece la pena explorar en esta opción, que creo que es poco conocida o poco usada y puede resultar de mucha utilidad.
Fijaros, tenemos una opción llamada Configuration > Save As

guardar config sf interfaz

¿Para qué sirve esto?

Pues como cada proyecto, puede tener unas necesidades diferentes, o puede tener momentos de análisis dispares, podemos ir configurando Screaming Frog de distintas formas, en función de lo que queramos obtener.
Si tenemos proyectos «fijos» que analizamos y hacemos seguimiento de ellos, habitualmente, esto nos puede ayudar a ir más rápido para lanzar «la rana» con la configuración correcta.

Por ejemplo, puedo querer hacer un análisis en bruto, para conocer el estatus completo del sitio (responde codes, enlaces internos, etiquetas…) e identificar si está bien o no, de cara a establecer medidas correctoras.
Configuramos para que podamos ver el contenido de las etiquetas «meta robots» y «canonical», para detectar si tenemos errores en ellas que puedan afectar a indexación.

opciones config sf

Otro caso puede ser tratar de emular cómo se va a comportar Googlebot, por lo que añadiremos ciertas opciones para «respetar» lo que supuestamente respetaría Googlebot (aunque los canonical no siempre….).

opciones configuracion sf

Estas configuraciones y otras más, se pueden guardar desde File > Configuration > Save As, elegimos un nombre y se nos guarda en nuestro ordenador

guardar config sf
A la hora de volver a recuperar esa configuración, tenemos varias formas:

load configuration

  • Save Current Configuration As Default: usaremos esta opción para poner «por defecto» una configuración concreta.
  • Load: usaremos esta opción para «abrir» una configuración previamente guardada.
  • Load Recent: si estamos un poco más vagos, pues aquí nos aparecerán las últimas configuraciones guardadas que hemos usado (con el nombre que le pusimos al guardar)

Útil y fácil, ¿no?

Ahora te animo a que observes cuál es la configuración que viene definida por defecto cuando tu como usuario no has configurado nada…. Dice la gente que sabe de crear productos digitales, que esto es un aspecto muy relevante de cara a garantizar una buena experiencia de uso de las funciones clave de la herramienta y en suma, ponérselo fácil desde el primer momento.

Programar crawleos y descargas de informes

Sabiendo que podemos guardar y cargar configuraciones específicas para nuestros proyectos y darle el nombre que queramos, ¿ahora cómo podemos aprovechar el power de programar crawleos y tareas en Screaming Frog?
Vamos al turrón:

Paso 1: Vamos a File > Scheduling

scheduling screaming frog

Si no lo has usado nunca, verás una pantalla vacía, y te permite crear tu primera Task, para que Screaming Frog lance el crawleo cuando tu le digas

tareas scheduling sf

Paso 2: Crear la tarea pulsando en «Add» y configurar las necesidades generales

De primeras ya podemos darle un nombre, marcar la fecha, hora y la prioridad (diaria, semanal o mensual)

crear tarea programar sf

Paso 3: Url de partida, configuración, tipo de crawleo y conexiones

Desde la pestaña «Start Options», podemos elegir si queremos que el crawleo sea en modo spider o list, añadir la url de partida (o lista de urls) y ya elegir si conectamos Analytics u otras APIs, así como la opción que dijimos  al principio del post: cargar una configuración específica que nos cuadre para el análisis

start options screamingstart config

Paso 4: Opciones de Export para automatizar la descarga de datos automáticamente

Podemos elegir la carpeta de nuestro ordenador donde se ubiquen los ficheros, tanto el del propio Crawling como el de los informes que indiquemos, incluso podríamos crear los sitemaps al vuelo también 😀

export sf

La opción de los Export Tabs, son los datos que solemos encontrar en las columnas del panel central de Screaming Frog y que nos ofrece la opción de descargar en Excel o CSV, lo que queramos. Tanto solo elegimos el que queramos y le damos a la flecha para añadirlo a la pantalla derecha. En el ejemplo podéis observar los titles o descriptions, por si queréis descargar automáticamente los cortos o los que  no existan

export tabs

Lo mismo con los Bulk Export, aquí el piloto automático se hace más latente, ¿optimizar enlaces internos que van a 4o4 o a 301 o a urls canonicalizadas? Pues más fácil imposible 🙂

bulk exports

Y para ir acabando, pues los Reports que también podremos seleccionar del mismo modo que los anteriores, al gusto del consumidor 😀

exports reports

Accediendo a la carpeta creada

Pues si le damos al coco y nos montamos un buen plan organizado y con sentido, esta funcionalidad es para que se nos caigan las lágrimas a muchos de nosotros, con todo bien ordenado por fechas y carpetas

carpeta sf
¿Cómo lo veis? ¿Práctico?

Pues próximamente, más rana y más tools

Otros enlaces interesantes sobre Screaming Frog:

Cómo usar Screaming Frog para «broken link building Cómo scrapear las SERPs de Google con Screaming Frog
Artículos Relaccionados

6 comentarios sobre “Programar crawleos en Screaming Frog paso a paso

  1. Que buen artículo, muchas gracias!
    PAra que funcione la programación, Screaming no debe cerrarse imagino cierto?

  2. Hay una forma de mover la columna en un position x, ejemplo si tienes una columna al final del todo y la quieres en la posición 2, yo lo haga poco a poco moviendo la barra lateral, es un…. no hay otra forma de posicionar las columans como quieres ¿?.

  3. Hola MJ
    Muy interesante el artículo. Entiendo que el crawleo lo programas para que se realice cuando estés utilizando el PC, para que se haga en segundo plano ¿no? Lo mejor es la integración con otras API, por ejemplo con Analytics puedes saber qué páginas tienen Thin Content porque son URLs que se rastrean pero no reciben tráfico. ¿Qué tal de fácil es configurar esta conexión?
    Gracias!

  4. Hola! A mi la verdad que el screaming frog me queda algo grande siempre noto que no le saco todo el partido que podría ¿Es recomendable también su uso en nichos o blogs o está más orientado a webs grandes o ecommerce? Saludos desde Asturias.

Los comentarios están cerrados.