Verificar bien no es “sacar métricas”: es seguir un orden que evita trampas. Este checklist es una receta práctica para escoger datos de referencia (pluvios, radar, satélite, estaciones, reanálisis), aplicar un mínimo de QC, elegir el operador correcto (punto/área/ventana/umbral) y solo entonces calcular métricas (MAE, ROC/AUC, skill, FSS…). Incluye un apartado de honestidad: qué NO significa una AUC alta o una correlación buena, porque ahí se cuela el autoengaño con una sonrisa.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Checklist 10 pasos: de objetivo a informe.
- Radar/Pluvio: QC mínimo antes de confiar.
- Probabilístico: fiabilidad + ROC + skill.
- Convectiva/QPF: operador espacial (FSS).
- Honestidad: AUC y correlación no son medallas.
- Relacionado:
ensembles_probabilidad,radares_satelites - Tags:
calibracionmaeqpf - Keywords:
FSSROCclimatologíaskill score
1. Qué es y por qué importa
Una verificación “sin caos” significa que cada número que saques responde a una pregunta clara. Si mezclas referencias, ventanas y operadores al tuntún, obtendrás métricas bonitas pero decisiones malas. Este flujo te fuerza a hacer lo que realmente importa: definir objetivo, asegurar referencia razonable y usar métricas coherentes.
2. Idea clave en 30 segundos
- En una frase: objetivo → referencia + QC → operador → métricas → comparación con baseline
- Señal típica: RMSE/ROC estupendos pero en operación fallas eventos clave
- Confusión común: AUC alta = pronóstico útil (puede no serlo)
3. Checklist práctico (10 pasos)
3.1 Define el objetivo
- Qué decisión alimenta: aviso sí/no, umbral, ranking, comunicado probabilístico…
- Qué variable: lluvia (mm), viento (km/h), probabilidad de evento, etc.
- Qué escala: punto, comarca, cuenca, ciudad.
3.2 Elige la referencia adecuada
- Pluvios/estaciones: mejor para punto, cuidado con representatividad.
- Radar: mejor para estructura espacial, cuidado con QC.
- Satélite: proxy (nubes), no lluvia directa salvo productos específicos.
- Reanálisis: coherente a gran escala, no “verdad” local para convectiva.
3.3 QC mínimo (antes de calcular nada)
- Outliers y valores imposibles
- Huecos (no tratarlos como ceros)
- Cambios de sensor/emplazamiento
- Consistencia temporal (timestamps)
3.4 Define el operador
- Ventana temporal: 1h, 3h, 24h… según el impacto.
- Área: punto vs promedio areal vs máximo en vecindario.
- Umbral: define evento (p. ej. ≥20 mm/24h).
3.5 Prepara un baseline
- Climatología (frecuencia histórica)
- Persistencia (lo de ayer)
- No-evento (si aplica)
3.6 Elige métricas coherentes
- Sesgo: bias
- Error típico: MAE
- Extremos: RMSE + análisis por episodios
- Eventos: matriz (POD, FAR, etc.)
- Probabilístico: fiabilidad/calibración + ROC/AUC
- Espacial (QPF convectiva): FSS/neighborhood
- Skill: skill score vs baseline
3.7 Estratifica (siempre que puedas)
- Convectivo vs estratiforme
- Estación del año
- Rangos (débil/moderado/fuerte)
3.8 Calcula y revisa coherencia
- ¿Bias explica parte de MAE/RMSE?
- ¿Mejora ROC pero empeora FAR en umbral?
- ¿Mejora global y empeora extremos?
3.9 Haz un “sanity check” con ejemplos
- Elige 3–5 casos y mira mapas/series: ¿el número cuenta la misma historia que tus ojos?
3.10 Reporta y decide
- Incluye operador, referencia, QC aplicado y baseline
- Traduce métricas a acciones (qué cambias y por qué)
4. Apartado de honestidad: qué NO significa una AUC alta o una correlación buena
- AUC alta NO significa: probabilidades bien calibradas, pocas falsas alarmas, ni utilidad en el umbral operativo.
- Correlación alta NO significa: sesgo bajo, buen rendimiento en umbrales, ni buena predicción de extremos.
- Regla rápida: si AUC/correlación son buenas pero el usuario se queja, mira matriz (FAR/misses), bias y estratificación por régimen.
5. Ejemplos rápidos
- QPF convectiva: punto vs pluvio te castiga desplazamientos; usa FSS y ventana 1–3h coherente.
- Ensembles: fiabilidad buena con sistema tímido; revisa también discriminación y umbral.
- Radar: sin QC, inventa sesgos; documenta versión/QC.
6. Errores comunes
- Elegir métrica antes de objetivo y operador
- Referencia sin QC
- No comparar con baseline
- Quedarse con un número (AUC/correlación) y ya
7. Buenas prácticas
- Pipeline fijo y repetible (como este checklist)
- Panel mínimo semanal
- Casos reales para validar interpretación
- Documentar todo (operador, referencia, QC, baseline)
8. Resumen y claves finales
- Define objetivo antes de medir
- Audita referencia y aplica QC
- Operador correcto evita autoengaños
- Usa métricas coherentes + baseline
- AUC/correlación son pistas, no medallas
9. Mini-glosario
- Operador: cómo conviertes datos en algo comparable
- Baseline: referencia mínima (climatología/persistencia)
- FSS: score espacial para precipitación
- Fiabilidad: calibración probabilística
10. Referencias y lecturas recomendadas
- WMO: verificación y guías
- NOAA: métricas y buenas prácticas
- ECMWF/Copernicus: recursos de verificación y ensembles