En verificación, el lío típico no es “no saber calcular métricas”, sino usar la métrica equivocada para la pregunta equivocada… y sacar conclusiones peligrosas. La forma sana de empezar es: (1) define la decisión (qué quieres mejorar), (2) elige el tipo de salida (continuo, evento, probabilidad), (3) compara siempre contra un baseline (climatología y, si toca, persistencia), y (4) escoge la métrica que realmente mide eso. Aquí tienes una guía práctica para saber cuándo usar bias, MAE/RMSE, ROC/AUC, Brier, skill scores y lo que NO significan. Con ejemplos reales de lluvia intensa, viento y niebla para aterrizarlo.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Una métrica es un “termómetro”: sirve para una cosa concreta y puede engañarte si la usas para otra. Verificación útil = métricas alineadas con decisiones y comparadas contra baseline. Si no, puedes “mejorar” la métrica y empeorar la utilidad (más falsas alarmas, peor timing, peor comunicación de incertidumbre).

2. Idea clave en 30 segundos

• En una frase: primero decide qué pregunta quieres responder, luego eliges la métrica
• Señal típica: correlación buena pero sesgo grande (te crees que va bien y no)
• Confusión común: AUC alta = “buen pronóstico” (no necesariamente)

3. Baselines: climatología y persistencia

• Climatología: frecuencia/percentiles esperables por época y zona.
• Persistencia: baseline duro en nowcasting (0–6 h) y fenómenos persistentes.
• Regla: si no comparas vs baseline, no sabes si hay valor añadido.

4. Qué pregunta estás haciendo (y qué métrica toca)

4.1 “¿Me equivoco mucho en el valor?” (continuo)

• Usa: MAE (error medio absoluto), RMSE (penaliza grandes fallos), y siempre bias.
• Evita: correlación como única evidencia.

4.2 “¿Acerté si ocurrió/no ocurrió?” (evento con umbral)

• Usa: POD (detección), FAR (falsas), CSI/ETS (balancean hits y falsos), y curvas por umbral.
• Evita: accuracy cuando el evento es raro.

4.3 “¿Ordena bien los casos (riesgo alto vs bajo)?” (discriminación)

• Usa: ROC/AUC.
• Pero: acompáñalo con fiabilidad y FAR/POD; AUC no te dice si tus probabilidades están calibradas.

4.4 “¿Mis probabilidades son honestas?” (calibración)

• Usa: diagrama de fiabilidad, Brier (para evento) y/o CRPS (ensembles continuo).
• Evita: mirar solo AUC y olvidarte de la calibración.

4.5 “¿Soy mejor que el baseline?” (skill)

• Usa: skill scores frente a climatología/persistencia (según métrica base).
• Clave: reporta el delta vs baseline, no solo el número absoluto.

5. Tabla rápida (qué usar sin liarla)

• Bias: siempre (te dice hacia dónde te equivocas)
• MAE: error típico (robusto)
• RMSE: castiga grandes errores (extremos)
• POD/FAR: utilidad de alertas (trade-off)
• CSI/ETS: resumen para eventos (mejor que accuracy en raros)
• ROC/AUC: discriminación (ordenar riesgo)
• Brier: calidad de probabilidades en evento
• CRPS: probabilístico continuo/ensembles

6. Errores comunes

• Usar correlación para decidir si un pronóstico “es bueno”.
• Celebrar AUC alta sin mirar fiabilidad (sobreconfianza).
• Comparar sistemas sin baseline (no sabes si ambos son mediocres o buenos).
• Mezclar regímenes (estratiforme y convectivo) y sacar un promedio engañoso.

7. Ejemplos que aterrizan (lluvia intensa, viento y niebla)

7.1 Lluvia intensa convectiva

• Problema típico: fallo de localización → punto a punto sale fatal.
• Métrica que sí ayuda: CSI/ETS por umbral + verificación con tolerancia (neighborhood) para separar “desplazamiento” de “no episodio”.
• Qué mirar: si el skill mejora mucho con neighborhood, el problema principal es desplazamiento/timing.

7.2 Viento (rachas)

• Problema típico: sesgo por exposición/orografía.
• Métrica que sí ayuda: bias + RMSE por percentiles (p. ej., P90/P95), y segmentar por estaciones expuestas vs protegidas.
• Qué mirar: RMSE puede ocultar que sistemáticamente infravaloras extremos si no miras percentiles.

7.3 Niebla

• Problema típico: evento raro y persistente; accuracy engaña.
• Métrica que sí ayuda: POD/FAR + ETS/CSI, y comparar explícitamente con persistencia (baseline fuerte).
• Qué mirar: si persistencia te gana, tu sistema quizá no aporta en 0–6 h.

8. Resumen y claves finales

• La métrica depende de la pregunta
• Sin baseline no hay “skill” de verdad
• Correlación y AUC son parciales: siempre contexto
• Para eventos raros, evita accuracy
• Para convectiva, separa “desplazamiento” de “no episodio”

9. Mini-glosario

• Bias: sesgo medio (signo del error)
• Skill: mejora relativa vs baseline
• AUC: área bajo ROC (discriminación)
• Brier: score de probabilidad para evento

10. Referencias y lecturas recomendadas

• Copernicus/ECMWF: guías de verificación y ensembles
• WMO: definiciones y recomendaciones de verificación
• Documentación técnica/educativa sobre ROC, fiabilidad y skill