Si quieres verificar sin liarte (y sin sacar conclusiones falsas), necesitas un orden fijo. Este checklist es un “paso a paso” para hacer control de calidad (QC) del dato y una verificación mínima útil, incluso en situaciones difíciles como precipitación convectiva (donde el desplazamiento espacial y los huecos de radar/estaciones te pueden destrozar métricas). Aquí vas a ver qué revisar primero, qué señales rápidas delatan un dato malo, qué baseline usar siempre, y qué métricas elegir (Brier score, CSI, POD) según el tipo de salida. Al final tienes también un mini-checklist específico de errores típicos en convectiva para no caer en la trampa de “todo falla”.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si solo haces una cosa: QC mínimo + baseline.
- Convectiva: checklist específico al final (errores típicos).
- Probabilístico: Brier + fiabilidad (cómo interpretarlo sin autoengaños).
- Relacionado:
nowcasting,precipitacion - Tags:
briermetricasverificacion - Keywords:
Brier scoreCSIPODoverfitting
1. Qué es y por qué importa
Una verificación rápida sirve para responder dos preguntas: (1) ¿puedo confiar en el dato de referencia? y (2) ¿mi sistema mejora algo frente a una referencia simple? Sin QC y sin baseline, una métrica bonita puede ser humo. Con este checklist, reduces el riesgo de autoengaño y detectas rápido si el problema es del modelo, del dato, del operador o del caso (por ejemplo, convectiva desplazada).
2. Idea clave en 30 segundos
- En una frase: primero QC, luego baseline, después métrica alineada con la decisión
- Señal típica: un salto brusco de métricas coincide con una fecha (cambio de estación/pipeline)
- Confusión común: verificar convectiva punto a punto y concluir “no hay skill”
3. Checklist 0: define el experimento (2 minutos)
- Qué verificas: ¿variable continua, evento sí/no o probabilidad?
- Dominio: punto (estación) vs área (grid/comarca) vs campo (mapa)
- Ventana temporal: instantáneo, máximo, acumulado 1h/3h/24h
- Umbral operativo: define “evento” con unidades (p. ej. lluvia>20 mm/1h)
- Lead time: separar 0–3h, 3–12h, 12–24h (si aplica)
4. Checklist 1: QC mínimo del observado (5–10 minutos)
- Completitud: % de datos válidos; identificar huecos y periodos sin datos
- Missing no es 0: confirmar que NA no se convirtió a cero
- Rangos plausibles: descartar imposibles (o marcarlos para revisar)
- Flatlines: detectar sensores clavados (valores idénticos demasiado tiempo)
- Step changes: escalones de un día a otro (recalibración/traslado)
- Coherencia interna: viento medio vs racha; lluvia acumulada no negativa; incrementos lógicos
- Coherencia externa: comparar con vecinos o red cercana (si existe)
5. Checklist 2: QC del radar/satélite si lo usas como referencia
- Definir qué es “verdad”: estimación radar vs precipitación en suelo
- Sesgos típicos: atenuación, beam blocking, bright band, ecos no meteorológicos
- Consistencia espacial: zonas sistemáticamente secas/húmedas por geometría del haz
- Calibración cruzada: comparar acumulados radar vs pluvios por sectores
6. Checklist 3: baseline obligatorio (3 minutos)
- Persistencia: “mañana como ahora” (fuerte en corto plazo y nowcasting)
- Climatología: frecuencia típica (imprescindible en eventos raros)
- Regla: cualquier conclusión debe decir “mejor/peor que baseline”
7. Checklist 4: elegir métricas (según el tipo de salida)
7.1 Si verificas una variable continua
- MAE: error típico (robusto)
- RMSE: castiga colas (si te importan extremos)
- Bias: sesgo medio (para detectar desplazamientos sistemáticos)
7.2 Si verificas un evento sí/no
- Matriz de confusión: hits, misses, falsas alarmas, correct negatives
- POD: ¿cuánto detectas?
- FAR: ¿cuántas falsas alarmas?
- CSI: equilibrio simple entre hits, misses y falsas alarmas
- Base rate: siempre junto a las métricas (evento raro = métricas delicadas)
7.3 Si verificas probabilidades
- Brier score: error cuadrático de la probabilidad
- Fiabilidad: comprobar si el 70% ocurre ~70%
- Baseline: comparar Brier vs climatología
8. Checklist 5: evitar overfitting (cuando ajustas/calibras)
- Separar periodos: entrenamiento vs prueba (mejor por bloques temporales)
- Señal de overfitting: mejora grande en entrenamiento y casi nada fuera
- Regla: no “optimices” umbrales con el mismo periodo que evalúas
9. Checklist 6: reporte mínimo (para que sea accionable)
- Qué sistema y qué baseline: siempre explícito
- Periodo y régimen: frontal/convectivo, día/noche, costa/interior (si aplica)
- QC aplicado: qué filtros y cuánta data se descartó
- 2–3 números clave: no 20 métricas sin jerarquía
- Un gráfico simple: score por semana o por lead time
10. Mini-checklist: errores típicos al verificar precipitación convectiva
- Error 1: punto a punto sin tolerancia espacial → penaliza desplazamiento, no habilidad
- Qué hacer: usar vecindario (neighborhood) o métricas espaciales (p. ej., FSS) además de umbrales
- Error 2: ventanas incoherentes (acumulado 1h vs 3h)
- Qué hacer: alinear ventana temporal y tipo de variable (máximo vs acumulado)
- Error 3: missing→0 en pluvio o radar
- Qué hacer: NA explícitos; descartar periodos huecos
- Error 4: radar con atenuación/beam blocking no detectado
- Qué hacer: auditar por sector y comparar con pluvios
- Error 5: umbrales sin contexto (¿qué es “intenso”?)
- Qué hacer: definir mm/tiempo y, si puedes, estratificar por intensidad
- Error 6: mezclar regímenes (frontal + convectivo) y sacar una métrica única
- Qué hacer: separar por régimen o al menos reportar ambos
8. Errores comunes
- Empezar por métricas sin QC
- No usar baseline (persistencia/climatología)
- Elegir métricas que no responden a tu decisión
- Ignorar base rate en eventos raros
- Optimizar umbrales con el mismo periodo (overfitting)
- Convectiva verificada punto a punto sin tolerancia espacial
9. Buenas prácticas
- Checklist fijo: QC → baseline → métricas → validación
- Documenta cambios de estación/pipeline
- Usa 2–3 métricas con jerarquía, no una lista infinita
- En convectiva, añade operador espacial (y no te castigues por desplazamiento)
- Si calibras, valida fuera de muestra
10. Resumen y claves finales
- QC primero: si el dato falla, la métrica miente
- Baseline siempre: skill es relativo
- Eventos raros requieren base rate y matriz de confusión
- Probabilístico: Brier + fiabilidad
- Convectiva: tolerancia espacial + ventanas coherentes
11. Mini-glosario
- QC: control de calidad del dato
- Baseline: referencia simple (persistencia/climatología)
- POD: probabilidad de detección
- FAR: falsas alarmas
- CSI: índice de acierto crítico
- Brier score: error cuadrático de probabilidades
- Overfitting: ajuste que funciona solo en entrenamiento
12. Referencias y lecturas recomendadas
- Met Office: guías y notas de verificación (operativa)
- NOAA: verificación y probabilístico (ROC/Brier/fiabilidad)
- WMO: recomendaciones y glosario