Cuando verificas un pronóstico, la tentación es escoger “la métrica que suena seria” y ya. Y ahí empiezan los líos: usas RMSE para un fenómeno con picos raros y concluyes que todo es horrible; usas correlación y crees que hay habilidad aunque el pronóstico esté sistemáticamente desplazado; usas un score probabilístico sin mirar fiabilidad y acabas calibrando contra un observado ruidoso. Este artículo compara métricas con enfoque de uso: cuándo elegir MAE, cuándo RMSE, cuándo necesitas algo probabilístico (CRPS/fiabilidad), y cuándo conviene parar porque el dato de referencia o el operador están mal. Incluye una plantilla semanal con baseline y un gráfico simple para ver de un vistazo si estás mejorando de verdad.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Una métrica es una forma de medir error o habilidad. La clave es que cada métrica responde a una pregunta distinta. Si no defines la pregunta, la métrica manda… y puede mandarte al lugar equivocado. Además, si el observado o el operador (ventanas, umbrales, punto vs área) están mal, la métrica puede ser precisa pero inútil.

2. Idea clave en 30 segundos

• En una frase: elige la métrica según la decisión que vas a tomar, no según lo popular que sea
• Señal típica: una métrica mejora y otra empeora (te está diciendo que miden cosas distintas)
• Confusión común: pensar que “RMSE menor” siempre significa “mejor pronóstico”

3. Primer filtro: qué tipo de salida estás verificando

• Variable continua: temperatura, viento medio, presión, altura geopotencial
• Evento (sí/no): lluvia > X, racha > Y, niebla sí/no
• Probabilidad: P(lluvia > X), P(vis<1000 m)
• Espacial/campo: precipitación convectiva en un área, estructura de un sistema

4. MAE vs RMSE (variables continuas)

4.1 MAE: el “error típico” (robusto)

• Úsala cuando: quieres medir el error medio sin que unos pocos picos dominen
• Ventaja práctica: estable y fácil de explicar
• Limitación: no penaliza tanto los grandes errores (si te importan mucho, mira también otra cosa)

4.2 RMSE: castiga outliers (ojo con interpretarlo)

• Úsala cuando: los errores grandes son especialmente costosos (p. ej., picos de viento o temperatura extrema)
• Señal útil: si RMSE sube mucho y MAE no, tienes “colas”: pocos casos muy malos
• Trampa: puedes “mejorar” RMSE recortando extremos y empeorar utilidad en riesgos

5. Métricas de “parecido” (correlación) y por qué engañan

• Correlación alta puede coexistir con bias fuerte (siempre te equivocas por +2 ºC, correlación puede seguir alta)
• Correlación no te dice si aciertas umbrales operativos
• Uso razonable: como complemento, nunca como única métrica para decidir cambios

6. Fiabilidad: cuando lo probabilístico importa

Si publicas probabilidades (o trabajas con ensembles), necesitas saber si “cuando dices 70% ocurre ~70%”. Eso es fiabilidad. Si no hay fiabilidad, la probabilidad es un número bonito pero engañoso.

• Úsala cuando: emites probabilidades o decisiones umbralizadas por probabilidad
• Señal típica: sistema sobreconfiado (probabilidades altas que no se cumplen) o infraconfiado
• Trampa: calibrar fiabilidad sobre observado ruidoso sin validación (overfitting)

7. CRPS: el comodín serio para probabilístico

• Qué mide: calidad global de una distribución probabilística (no solo un umbral)
• Úsala cuando: comparas ensembles o predicciones probabilísticas continuas (temperatura, viento, QPF probabilística)
• Ventaja: no depende de elegir un umbral concreto
• Limitación: menos intuitiva; conviene acompañarla de fiabilidad y un par de gráficos simples

8. Persistencia (baseline) y por qué es obligatoria

• Persistencia: “mañana como ahora” (muy fuerte a corto plazo en viento/niebla y en nowcasting)
• Climatología: frecuencia típica (clave en eventos raros)
• Regla operativa: si no mejoras el baseline fuera de muestra, no hay mejora útil, hay ruido o mala verificación

9. Validación cruzada (para no engañarte al ajustar)

Si ajustas un umbral, calibra probabilidades o eliges el “mejor” postproceso mirando el mismo periodo con el que lo entrenaste, te estás midiendo a ti mismo. La validación cruzada (o al menos un split train/test) evita victorias falsas.

• Cuándo usarla: siempre que optimices parámetros (umbrales, calibración, blending)
• Señal de overfitting: mejora enorme en entrenamiento y mejora pequeña o nula fuera de muestra

10. Casos prácticos rápidos (qué métrica elegir)

• Temperatura 2 m: MAE + RMSE; mirar bias; baseline climatológico
• Rachas de viento: MAE/RMSE y además evento por umbral (racha>70 km/h) si hay avisos
• Niebla (evento raro): probabilístico: fiabilidad + baseline climatológico; evitar enamorarse de “muchos aciertos” por correct negatives
• Lluvia convectiva intensa: no solo punto a punto; usar operador espacial (vecindario) y separar intensidad vs desplazamiento

11. Plantilla semanal (baseline + gráfico simple)

Objetivo: en 10 minutos ver si vas mejor o peor y por qué. Mantén siempre el mismo formato, así detectas cambios de régimen o errores de datos.

• Paso 1: define 1–2 targets (p. ej., viento y QPF)
• Paso 2: calcula baseline (persistencia y/o climatología)
• Paso 3: calcula 2 métricas por target (p. ej., MAE+RMSE o CRPS+fiabilidad)
• Paso 4: gráfico simple: una línea semanal por sistema vs baseline (o barras por semana)
• Paso 5: nota de QC: huecos, ceros raros, cambios de estación/pipeline
• Paso 6: si has ajustado algo, valida fuera de muestra (split o cross-val simple)

8. Errores comunes

• Usar solo correlación y concluir “hay habilidad”
• Optimizar RMSE y perder extremos útiles
• No comparar contra baseline
• Calibrar sin validación cruzada
• Elegir métrica sin alinear ventana/operador (punto vs área, 1h vs 3h)

9. Buenas prácticas

• Define primero la decisión (qué duele más: miss o false alarm)
• Siempre baseline y fuera de muestra al ajustar
• MAE y RMSE juntas cuentan una historia (colas vs error típico)
• Probabilístico: fiabilidad + un score global (CRPS) como brújula
• Documenta QC y cambios del observado

10. Resumen y claves finales

• La métrica correcta depende de la pregunta
• MAE = error típico; RMSE = castiga colas
• Correlación sola engaña
• Fiabilidad y CRPS son centrales en probabilístico
• Baseline + validación cruzada evitan autoengaños

11. Mini-glosario

• MAE: error absoluto medio
• RMSE: raíz del error cuadrático medio
• Fiabilidad: consistencia entre probabilidad y frecuencia observada
• CRPS: score para distribuciones probabilísticas
• Baseline: referencia simple (persistencia/climatología)
• Validación cruzada: evaluar fuera de muestra para evitar overfitting

12. Referencias y lecturas recomendadas

• WMO: guías y glosarios de verificación
• ECMWF: documentación y notas sobre evaluación de forecasts y ensembles
• NOAA: recursos educativos y prácticos de verificación