Si alguna vez has mirado una tabla de métricas y has pensado “vale… ¿y ahora qué?”, este artículo es para eso: convertir siglas (RMSE, bias, CSI, Brier, CRPS, ROC…) en decisiones. Porque una métrica que no cambia ninguna decisión es como un paraguas sin tela: muy técnico, pero te mojas igual.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Por qué hay tantas métricas (y por qué no necesitas todas)

Hay muchas métricas porque hay muchos tipos de error. Tres familias mandan:

• Intensidad: ¿cuánto? (temperatura, viento, lluvia)
• Evento por umbral: ¿sí/no? (lluvia >20 mm/1h, racha >70 km/h, visibilidad <200 m)
• Probabilístico: ¿qué probabilidad diste y cuán honesta fue? (ensembles, mapas de excedencia)

Si eliges la métrica equivocada para el problema, lo normal es que acabes con conclusiones raras y discusiones eternas de bar meteorológico (que también tienen su encanto, pero no mejoran pronósticos).

2. La regla de oro

Primero objetivo, luego métrica. Ejemplos:

• Si tu objetivo es avisar, la pregunta es misses vs falsas alarmas (no “RMSE”).
• Si tu objetivo es comparar probabilidades, la pregunta es fiabilidad y resolución (no “correlación”).
• Si tu objetivo es picos peligrosos, la pregunta es cola alta (no “error medio”).

3. Baseline: la vacuna contra el autoengaño

Antes de comparar métricas entre modelos, compárate con algo simple:

• Persistencia: mañana como hoy
• Climatología: lo típico por estación
• Referencia robusta: un producto estable (por ejemplo, un modelo más grueso)

Si no mejoras el baseline de forma consistente, la mejora no es operativa o depende de casos muy concretos.

4. Qué te responde cada familia de métricas

• Errores continuos (MAE/RMSE): cuánta diferencia numérica hay, de media (penalizan distinto los picos)
• Bias: si tu sistema se pasa o se queda corto sistemáticamente
• Eventos (CSI/ETS/POD/FAR): si detectas eventos por umbral y cuál es el trade-off
• Probabilístico (Brier/fiabilidad/ROC): si tus probabilidades tienen sentido y si discriminan
• Distribución completa (CRPS): si el ensemble “clava” la distribución y no solo un punto

5. MAE vs RMSE en una frase (y por qué importa)

• MAE: “error típico” (más robusto, no se obsesiona con outliers)
• RMSE: castiga mucho los errores grandes (si te importan picos, te lo señala fuerte)

Trampa común: usar RMSE para un sistema con pocos episodios extremos y creer que es “peor” en general, cuando solo está sufriendo por 3 días brutales (que quizá sí son precisamente los que importan, ojo).

6. Tabla rápida: métrica → cuándo usar (sin liarla)

• Bias: cuando sospechas “siempre nos quedamos cortos” o “siempre inflamos”
• MAE: cuando quieres una medida estable del error típico
• RMSE: cuando los errores grandes son críticos (rachas peligrosas, picos de precipitación)
• CSI/ETS: cuando el objetivo es acertar eventos por umbral (avisos)
• POD (recall): cuando te duele perder eventos (misses)
• FAR: cuando te duelen falsas alarmas (erosionan confianza)
• Brier: cuando comparas probabilidades de un evento (llueva/no llueva, exceda umbral)
• Fiabilidad: cuando quieres que “70%” signifique ~70%
• ROC/AUC: cuando quieres medir discriminación (separar días con y sin evento), no honestidad
• CRPS: cuando comparas ensembles y te importa la distribución completa
• Neighborhood: cuando el problema es espacial (convección desplazada)

7. Métricas de eventos por umbral (avisos): qué mirar de verdad

Cuando defines un evento (p. ej., lluvia >20 mm/1h), el mundo se vuelve “sí/no”. Aquí mandan:

• POD: ¿cuántos eventos detectas? (alto POD = menos misses)
• FAR: ¿cuántas falsas alarmas generas?
• CSI/ETS: resumen del equilibrio entre aciertos, misses y falsas alarmas

Operativo: mover el umbral de acción cambia el trade-off. No hay “mejor” universal, hay “mejor para el coste del error”.

8. Ejemplo mediterráneo: lluvia intensa convectiva (el clásico drama espacial)

Situación típica: el sistema detecta convección fuerte, pero la coloca 30 km al norte.

• Con verificación punto-a-punto, parece un desastre.
• Con neighborhood (acierto dentro de radio), puedes medir lo útil: riesgo por área.

Decisión: para avisos por comarca/zona, neighborhood tiene sentido; para una estación concreta, necesitas otro enfoque (y asumir limitaciones).

9. Probabilístico: Brier, fiabilidad y la trampa de ROC

Para probabilidades de evento, la pareja clave es:

• Brier score: error global de probabilidades (más bajo, mejor)
• Fiabilidad: si tus porcentajes son honestos (calibración)

Trampa muy común: una AUC alta (ROC) puede convivir con probabilidades mal calibradas. Es decir, discriminas bien (ordenas días “más” y “menos” propensos), pero dices 80% cuando toca 50%. Operativamente eso rompe decisiones basadas en umbrales probabilísticos.

10. Ensembles: por qué CRPS suele ser el score “más justo”

Si trabajas con ensembles, reducirlo todo a media o P50 es perder información. CRPS evalúa la distribución completa: penaliza sesgo, falta de dispersión y fallos de la cola.

Úsalo cuando compares sistemas probabilísticos o postprocesos (calibración, ponderación, multi-model). Acompáñalo siempre de:

• Cobertura: ¿observado cae en P10–P90 con frecuencia razonable?
• Señal de sobreconfianza: spread pequeño y errores grandes repetidos

11. Conectar verificación con calibración probabilística (sin magia)

La calibración busca que la probabilidad emitida coincida con frecuencia observada. Verificación te dice dónde falla:

• Fiabilidad mala: recalibrar (postproceso) o cambiar umbral de acción
• Dispersión mala (ensembles): revisar spread, mezcla de regímenes o bias dependiente de situación
• Skill vs baseline: si no mejoras, calibrar puede maquillar, pero no crear skill

12. Validación cruzada: cuándo te salva de creer cosas bonitas

Si ajustas un postproceso con datos, evalúalo en datos independientes (o validación cruzada). Señal de sobreajuste: mejoras enormes “en casa” y cero en periodos nuevos. Operativamente, eso es peligroso porque te da confianza falsa justo cuando no toca.

13. Errores comunes

• Comparar modelos sin baseline
• Elegir métrica por moda y no por objetivo
• Usar ROC para afirmar que “las probabilidades están bien”
• Penalizar punto-a-punto convección y concluir que “no sirve”
• Mirar medias y olvidar colas (picos de lluvia/viento)

14. Buenas prácticas

• Define objetivo y coste del error
• Usa 2 métricas máximo por objetivo + 1 gráfico simple
• Estratifica por régimen (frontal vs convectivo, brisa vs sinóptico)
• En probabilístico: fiabilidad + CRPS/cobertura, no solo AUC
• Termina en una acción (umbral, producto, postproceso, comunicación)

15. Resumen y claves finales

• No hay “la métrica buena”: hay la métrica adecuada para tu pregunta
• Baseline primero, siempre
• Avisos: confusión/CSI/ETS; probabilidades: Brier + fiabilidad; ensembles: CRPS + cobertura
• Convección: verificación espacial (neighborhood) si tu objetivo es por área
• Si una métrica no cambia una acción, no es operativa

16. Mini-glosario

• Baseline: referencia simple para medir skill real
• Fiabilidad: honestidad de probabilidades emitidas
• ROC/AUC: discriminación (ordenar casos), no calibración
• CRPS: score probabilístico para distribuciones/ensembles
• Neighborhood: verificación que acepta acierto “cerca”

17. Referencias y lecturas recomendadas

• AEMET: materiales y documentación asociada a predicción y evaluación
• NOAA: recursos de verificación y pronóstico probabilístico
• WMO: glosarios, definiciones y buenas prácticas