Verificar no es “sacar numeritos”: es convertir la experiencia (y los fallos) en decisiones mejores. Este artículo explica cómo usar métricas y gráficos sencillos para mejorar un pronóstico paso a paso, sin caer en mitos típicos (correlación alta = bueno, “acerté el episodio” = ya está, o “si subo POD da igual el FAR”).
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si solo quieres aplicarlo ya: “Plantilla semanal” + “Decisiones típicas”.
- Si trabajas con eventos/umbrales: “Matriz de confusión” y “Skill vs climatología”.
- Si usas probabilidades: “Brier y fiabilidad”.
- Relacionado:
lluvias_intensas,observacion - Tags:
biasbrierskill - Keywords:
climatologíamatriz de confusiónobject-basedverificación
1. Qué es y por qué importa
El uso operativo de la verificación significa: medir → entender el patrón de error → cambiar una cosa → volver a medir. Si no hay decisión concreta, la verificación se convierte en burocracia. Si hay decisión, se convierte en mejora acumulativa.
2. Idea clave en 30 segundos
- En una frase: una métrica útil es la que cambia una decisión sin romper lo que ya funciona
- Señal típica: un sesgo pequeño pero constante que, ajustado, reduce falsas alarmas
- Confusión común: perseguir un número global y empeorar el rendimiento en umbrales de impacto
3. Baseline: el antídoto contra el autoengaño
Antes de celebrar cualquier mejora, compárala con un baseline:
- Climatología: lo que pasa “normalmente” para ese mes/zona.
- Persistencia: “mañana como hoy” (muy útil en niebla/temperatura).
Si no mejoras al baseline, no hay habilidad (o no la hay donde importa).
4. Dos mundos: continuo vs evento
- Continuo (temperatura, viento, presión): usa MAE/RMSE y bias.
- Evento (llueve > u mm, racha > u): usa matriz de confusión y métricas por umbral.
5. Métricas mínimas que sí sirven (sin liarse)
- Bias: si vas sistemáticamente alto/bajo.
- MAE: error típico.
- RMSE: castiga errores grandes (outliers).
- Brier (probabilidades): cuánto te equivocas al dar porcentajes.
- Skill vs baseline: “¿mejor que climatología/persistencia?”
6. Matriz de confusión (la tabla que manda en impacto)
Para un umbral u (por ejemplo 20 mm/24h):
- Acierto (hit): avisaste y ocurrió.
- Fallo (miss): no avisaste y ocurrió.
- Falsa alarma: avisaste y no ocurrió.
- Correcto negativo: no avisaste y no ocurrió.
Con esto puedes decidir si estás sobrealertando (muchas falsas alarmas) o infradetectando (muchos misses).
7. Plantilla de verificación semanal (simple y útil)
Una rutina corta, siempre igual, cada semana:
- 1) Define el foco: 1–2 variables o 1 evento (p. ej., lluvia intensa).
- 2) Separa por régimen: convectivo vs estratiforme si aplica.
- 3) Calcula: bias + MAE (y RMSE si hay extremos).
- 4) Para eventos: matriz de confusión en 2–3 umbrales.
- 5) Compara con baseline: skill vs climatología/persistencia.
- 6) Haz un gráfico simple: una línea semanal del score (o barras por umbral).
- 7) Decide una intervención: ajustar umbral, calibrar probabilidades, cambiar comunicación.
- 8) Anota fecha del cambio: para ver si mejora de verdad.
8. Gráfico simple recomendado (para no perderse)
- Opción A: barra semanal de MAE y línea del baseline.
- Opción B (eventos): POD y FAR por umbral en barras.
- Opción C (prob): Brier semanal + un bin alto (80–100%) de fiabilidad.
9. Ejemplos operativos (muy comunes)
- Niebla: persistencia suele ser baseline duro; si no mejoras, revisa operador y estratificación.
- Lluvia intensa: un MAE “bueno” puede coexistir con misses en umbrales altos; manda la matriz por umbral.
- Viento: RMSE alto en temporales indica que los extremos dominan; revisar exposición y postproceso.
10. Errores comunes
- Medir solo “cuando sale mal” o solo “cuando sale bien”.
- Usar una métrica global sin umbrales cuando el objetivo es impacto.
- Comparar semanas con regímenes distintos sin separarlas.
- Confundir discriminación (ROC) con fiabilidad (calibración).
11. Buenas prácticas
- Panel fijo: pocas métricas, siempre las mismas.
- Baseline siempre: climatología/persistencia.
- Acción pequeña: un cambio cada vez, re-medido.
- Observación cuidada: QC y representatividad; sin eso, verificas ruido.
12. Resumen y claves finales
- Verificación operativa = medir, decidir y re-medir
- Sin baseline no hay honestidad
- Continuo: MAE/RMSE/bias; evento: matriz por umbral
- Probabilístico: Brier y fiabilidad
- Una rutina semanal corta genera mejoras acumulativas
13. Mini-glosario
- Baseline: referencia (climatología/persistencia)
- Skill: mejora relativa frente a baseline
- Matriz de confusión: tabla de aciertos/errores por umbral
- Brier: score de probabilidades
14. Referencias y lecturas recomendadas
- WMO: guías de verificación y pronóstico probabilístico
- NOAA: materiales y ejemplos de verificación
- AEMET: documentación y recursos de predicción/verificación