Como analizar errores con Screaming Frog Log File Analyser y Excel

Hace unos días os presentábamos la nueva herramienta de Screaming para analizar logs. En esta ocasión vamos a usarla para obtener las URLs que han seguido los bots de los buscadores y devuelven un código de error, además luego analizaremos esos datos en Excel para saber por dónde empezamos a arreglar los errores. ¿Preparados?

Extraer errores 404 con Screaming Frog Log File Analyser

El primer paso es extraer los errores que han sido rastreados por los buscadores, para ello necesitamos el archivo de logs (cuanto mayor sea el horizonte temporal mejor) y la herramienta de análisis de logs, en nuestro caso Screaming Frog Log Analyser.
Como ya vimos en el post anterior sobre esta herramienta lo primero que debemos hacer es crear el proyecto, darle un nombre y establecer el huso horario:

Después tendremos que importar los logs, para ello sólo tenemos que arrastrar el archivo de logs a la pantalla principal:

Ahora ya podemos ver en la pantalla principal cuántos errores ha detectado GoogleBot en el período de análisis:

El siguiente paso será exportar los datos de errores 404, para ello vamos a la pestaña response codes y seleccionamos la casilla last response, seleccionando esta casilla nos aseguramos que en la exportación sólo tendremos el último código de respuesta de cada URL:

Al haber seleccionado exportar en formato de Excel, el formato del archivo exportado tendrá el siguiente aspecto:

 

Analizar errores 404 con Excel

Para comenzar con el análisis lo que debemos hacer es preparar los datos. Eliminaremos el resumen de los datos (8 primeras filas del documento) y copiaremos la primera columna (que contiene las urls) y la pegaremos justo después de la última columna de datos.

Para poder hacer un análisis de los errores necesitaremos agrupar los datos, una de las formas más eficaces es agruparla por directorios, para ello necesitamos identificar cada uno de los directorios de las URLs, entendiendo que los directorios están definidos por una barra diagonal «/».
Una vez tenemos duplicadas las URLs en la última columna, seleccionamos esta columna y vamos a datos > texto en columnas, nos aparecerán las siguientes opciones:

Esta función de Excel nos permite separar cada columna de datos en columnas definidas por el patrón que le indiquemos, en nuestro caso al querer obtener los directorios el símbolo que representa los directorios es la barra diagonal “/”, por lo tanto, dejaremos seleccionada la casilla Delimitados y pincharemos en siguiente.
Ahora tenemos que indicarle el separador que va a definir cuando empieza una nueva columna, como hemos dicho en este caso es la barra diagonal (/), para ello dejaremos la opciones como vemos la imagen y pinchamos en finalizar.

Ahora ya tenemos nuestras URLs divididas en directorios:

Sólo tenemos que eliminar las columnas que no sean de interés: columna de http, columnas vacías y columna del nombre de dominio y ponerle títulos a las columnas, este paso es importante ya que si no le ponemos título a las columnas no podremos hacer la tabla dinámica que necesitaremos para continuar.

Tabla dinámica de Excel para analizar errores 404

En el siguiente paso nos situaremos en la celda A1 y seleccionaremos Datos > Tabla dinámica, en algunas versiones de Excel (como es nuestro caso) aparecerá la tabla dinámica con algunas opciones por defecto seleccionadas:

Para quitar las opciones por defecto podéis deseleccionar las casillas que vienen marcadas en nombre del campo o arrastrar los campos como os muestro en este gif:

A continuación arrastraremos el bloque de 4xx y lo colocaremos en valores, el directorio1 lo pondremos en rótulos de fila y el directorio2 lo añadiremos a continuación a rótulos de fila. De esta forma:

Así pues, sólo nos queda ordenar los datos de mayor a menor y ocultar los detalles (botón derecho sobre la tabla Agrupar y esquema > Ocultar detalle) para visualizar la carpeta de primer nivel que más errores contiene y si pinchamos en cualquiera de primer nivel se desplegarán los segundos niveles que contiene esa carpeta.
En nuestro caso la carpeta que más errores contiene es ofertas-2:

Con este análisis podremos priorizar que errores abordar primero. Al obtener los datos directamente de los logs estaremos viendo los errores que son rastreados por los buscadores, si queremos profundizar más podríamos añadir a estos el número de hits que reciben y así afinaríamos aún más el análisis.
La resolución de esos errores puede venir de hacernos preguntas como:

• ¿En realidad esas urls debería estar respondiendo 200 OK?
• ¿Provienen de una migración y se han quedado sin redirigir?
• ¿Están siendo usadas en el enlazado interno?
• ¿Tenemos enlaces externos que apuntan a 404?

Este mismo análisis se puede hacer con los errores que tenemos en Google Search Console o con los errores que detecte Screaming Frog si crawleamos el sitio.
Si quieres que hagamos un post de esas formas de analizar errores, ¡déjanos un comentario!

Otros contenidos de Screaming Frog: 

---

Artículos Relaccionados

Twitter Analytics o cómo medir cada tweet

Oportunidades con Clique Hunter de Majestic SEO

Sistrix integra Analytics y Search Console