Verificar no es “sacar números” para quedar bien: es usar métricas (y compararlas con un baseline) para decidir mejoras. La clave operativa es simple: si tu sistema no supera de forma consistente a la climatología (y a la persistencia cuando toca), entonces estás pagando complejidad por un resultado que quizá no existe. Este artículo te enseña un flujo práctico para tomar decisiones: qué mirar cada semana, cómo traducir métricas a acciones (ajustar umbrales, cambiar productos, calibrar probas, mejorar QC), y cómo evitar autoengaños típicos como “AUC alta” o “correlación bonita”.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

El objetivo de la verificación operativa es responder a tres preguntas: (1) ¿tenemos valor añadido frente al baseline?, (2) ¿en qué condiciones fallamos y por qué?, (3) ¿qué cambio concreto haría que el sistema sea más útil? Si no conectas métricas con decisiones, la verificación se vuelve decoración.

2. Idea clave en 30 segundos

• En una frase: una métrica solo sirve si te ayuda a decidir qué cambiar mañana
• Señal típica: RMSE baja pero el baseline baja igual → no hay mejora real
• Confusión común: creer que AUC alta o correlación buena significan “buen pronóstico”

3. Baselines: el rival que te pone en tu sitio

• Climatología: baseline por época/zona (frecuencia y percentiles).
• Persistencia: baseline competitivo en nowcasting y fenómenos persistentes.
• Regla: cualquier decisión de “mejora” debe medir el cambio vs baseline, no solo vs ayer.

4. Flujo operativo semanal (simple y repetible)

• 1) Define el objetivo: variable (lluvia, viento, niebla), ventana (0–24 h), umbral (p. ej., >20 mm/24h).
• 2) Elige observación de referencia: estaciones/radar/satélite (y anota sesgos/QC).
• 3) Compara contra baseline: climatología y persistencia si aplica.
• 4) Calcula un set mínimo: continuo (RMSE/MAE + bias), evento (POD/FAR/CSI o ETS), probas (Brier/fiabilidad o CRPS).
• 5) Mira 2–3 gráficos: serie de error, dispersión, fiabilidad (si probas).
• 6) Escribe una conclusión operativa: “qué mejora”, “qué empeora”, “acción propuesta”.

5. Qué métricas usar según decisión (reglas rápidas)

• Si te importa el valor numérico: MAE/RMSE + bias (y siempre baseline).
• Si te importa un umbral (evento): POD/FAR/CSI/ETS (y curva por umbral si hay extremos).
• Si comunicas probabilidad: fiabilidad + Brier/CRPS (no solo ROC).

6. De métricas a acciones: “si pasa esto, hago esto”

6.1 Bias estable (siempre + o siempre -)

• Qué significa: error sistemático.
• Acción típica: corrección de sesgo, revisión de exposición de estaciones, revisión de parametrización/inputs o postproceso.

6.2 FAR alto con POD razonable

• Qué significa: alertas “demasiado valientes”.
• Acción típica: subir umbral, introducir condiciones extra (p. ej., CAPE+shear o señal radar), o calibrar probas.

6.3 POD bajo pero FAR bajo

• Qué significa: sistema conservador, se pierde eventos.
• Acción típica: bajar umbral o ampliar tolerancia (neighborhood) si el fallo es de localización.

6.4 RMSE mejora pero no ganas al baseline

• Qué significa: mejora aparente por cambio de régimen o muestra.
• Acción típica: separar por época/régimen; comparar skill (deltas) vs baseline; no celebrar todavía.

6.5 Fiabilidad mala (probabilístico)

• Qué significa: probabilidades mal calibradas (sobre/infra confianza).
• Acción típica: calibración probabilística, revisión del spread del ensemble y del baseline probabilístico.

7. Ejemplos rápidos (convectiva y observación)

7.1 Tormentas convectivas

• Patrón típico: CSI/ETS pobre punto a punto, mejora con neighborhood → desplazamiento.
• Acción: usar operador spatial para diagnóstico y ajustar comunicación (“zona probable” vs punto).

7.2 Observación como referencia (cuando el dato también falla)

• Patrón típico: “fallos” concentrados en estaciones con problemas de QC o representatividad.
• Acción: control de calidad y selección de referencia; no culpar al modelo sin mirar el dato.

8. Checklist de decisión (plantilla lista)

• Objetivo: variable/umbral/ventana
• Referencia: qué dato y sesgos conocidos
• Baselines: climatología / persistencia
• Resultado: ¿gana al baseline?
• Fallo dominante: sesgo / fase / localización / extremos / calibración
• Acción: 1 cambio concreto y medible
• Revisión: volver a medir la semana siguiente

9. Apartado de honestidad: qué NO significa una AUC alta o una correlación buena

• AUC alta: puede discriminar evento/no evento, pero no garantiza pocas falsas alarmas ni buena calibración; puedes tener AUC buena y fiabilidad mala.
• Correlación alta: puede subir aunque tengas sesgo grande o RMSE malo; no mide magnitud de error ni utilidad operativa.
• Moraleja: siempre acompaña AUC con fiabilidad/FAR, y correlación con RMSE/bias, comparando vs baseline.

10. Errores comunes

• Verificar sin baseline.
• Mezclar estaciones/regímenes y sacar un promedio engañoso.
• Quedarte con una sola métrica.
• No documentar cambios del sistema (no sabes qué causó qué).

11. Buenas prácticas

• Rutina semanal fija (mismo set mínimo).
• Conclusión operativa breve + acción concreta.
• Separar por régimen (convectivo/estratiforme; estaciones del año).
• Auditar la observación (QC) antes de culpar al pronóstico.

12. Resumen y claves finales

• Verificación operativa = decisiones, no números
• Baseline siempre: climatología y persistencia
• RMSE/bias para magnitudes; POD/FAR/ETS para eventos; fiabilidad/CRPS para probas
• AUC y correlación no bastan
• Un cambio por semana, medido vs baseline

13. Mini-glosario

• Baseline: referencia mínima (clima/persistencia)
• FAR: falsas alarmas sobre alertas
• Fiabilidad: calibración probabilística
• Brier: error cuadrático de probabilidad para evento
• RMSE: error cuadrático medio

14. Referencias y lecturas recomendadas

• AEMET: documentación y guías operativas (cuando aplique)
• NOAA: recursos educativos y verificación
• WMO: recomendaciones, definiciones y buenas prácticas