Verificar no tiene por qué ser un drama de hojas de cálculo. Con un checklist simple puedes responder lo importante: ¿aportamos valor? y ¿dónde fallamos de forma repetible?. Esta guía te da un flujo corto, repetible y sin caos, con baseline obligatorio y un mini-gráfico sencillo para no autoengañarte.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si solo quieres el método: “Checklist en 10 pasos”.
- Si verificas eventos: “Umbrales y matriz”.
- Si usas probabilidades: “Brier y fiabilidad”.
- Relacionado:
viento,niebla - Tags:
brierrocverificacion - Keywords:
AUCETSPODbaseline
1. Qué es y por qué importa
Un checklist de verificación sirve para evitar dos trampas: medir lo que no importa y sacar conclusiones sin baseline. Verificar bien te ayuda a mejorar el pronóstico, comunicar incertidumbre y detectar sesgos antes de que te exploten en un episodio serio.
2. Idea clave en 30 segundos
- En una frase: define pregunta + baseline + 2–5 métricas, y repite igual cada semana
- Señal típica: “mejoramos” un score global, pero en niebla o viento seguimos fallando igual
- Confusión común: AUC alta = probabilidades correctas (no: AUC es discriminación)
3. Checklist práctico en 10 pasos (sin caos)
- 1) Define la pregunta: error típico, detección de evento, o probabilidades.
- 2) Define el operador: ventana temporal (1h/24h), punto o área, y umbral si hay evento.
- 3) Elige la verdad: observación con QC (estación, radar, reanálisis) y documenta cambios.
- 4) Fija el baseline: climatología y/o persistencia (obligatorio).
- 5) Elige 2–5 métricas: (a) continuo: MAE/RMSE/bias; (b) evento: POD/FAR/ETS o CSI; (c) probabilístico: Brier + fiabilidad.
- 6) Estratifica mínimo: por régimen relevante (niebla/no niebla, convectivo/estratiforme, viento fuerte vs normal).
- 7) Calcula N y base rate: sin esto, los extremos engañan.
- 8) Mira el gráfico simple: una línea semanal por métrica + baseline (ver plantilla).
- 9) Decide 1 acción pequeña: ajuste único (umbral, calibración, sesgo).
- 10) Repite igual: misma receta, para ver tendencia real.
4. Umbrales y matriz (para eventos)
Si la pregunta es “¿detectamos viento fuerte?” o “¿acertamos niebla?”, trabaja con umbrales y matriz de confusión:
- Hits: lo detectaste y ocurrió.
- Misses: ocurrió y no lo viste.
- Falsas alarmas: avisaste y no ocurrió.
Luego resume con POD y FAR; usa 2–3 umbrales si el impacto cambia (p. ej. rachas 50/70/90 km/h).
5. Probabilidades (Brier y fiabilidad)
Para probabilidades, no basta con “separa bien”: necesitas que la probabilidad se cumpla. Usa Brier y un diagrama de fiabilidad por bins. En bins altos (80–100%) se suele esconder la sobreconfianza.
6. Plantilla de verificación semanal (muy simple)
- Qué guardas: semana, N, base rate, baseline, 2–5 métricas.
- Qué dibujas: una línea por métrica y una línea del baseline (o barra de referencia).
- Qué decides: una sola intervención pequeña para la semana siguiente.
7. Ejemplos rápidos (viento y niebla)
- Viento: MAE aceptable, pero POD bajo en rachas > 80 km/h → el problema es detección por umbral, no promedio.
- Niebla: buena AUC pero fiabilidad mala en bin alto → probabilidades demasiado agresivas; calibrar.
8. Errores comunes
- No usar baseline
- Cambiar métricas cada semana
- Concluir con pocos casos
- Confundir AUC con fiabilidad
9. Buenas prácticas
- Panel corto (2–5 métricas) y fijo
- Baseline siempre
- Estratificación mínima por régimen
- Una intervención cada vez
10. Resumen y claves finales
- Checklist = orden + repetición
- Baseline es obligatorio
- Eventos se verifican con umbrales
- Probabilidades exigen fiabilidad
- Una mejora pequeña por ciclo
11. Mini-glosario
- Baseline: climatología/persistencia
- POD: detección (recall)
- ETS: score de amenaza ajustado por azar
- AUC: discriminación ROC, no fiabilidad
- Brier: score probabilístico
12. Referencias y lecturas recomendadas
- WMO: verificación y probabilístico
- ECMWF/Copernicus: documentación y recursos
- Lecturas de verificación operativa