En verificación, muchos “fallos del pronóstico” son en realidad fallos del dato, del operador o del planteamiento. Y lo peor: puedes acabar mejorando una métrica mientras empeoras el servicio real. Aquí recopilamos errores comunes (los de siempre y los traicioneros) cuando el dato de referencia también falla: missing tratados como 0, sensores clavados, cambios de estación/pipeline, sesgos de radar, umbrales mal definidos, ventanas temporales incoherentes, y métricas elegidas sin pensar en el fenómeno. Lo hacemos en modo práctico: qué pinta tiene cada problema, cómo detectarlo rápido y qué métrica sí tiene sentido en cada caso. Incluye ejemplos de lluvia intensa (convectiva), viento y niebla.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si todo se ha ido al barro: empieza por “QC mínimo” y “baseline”.
- Radar: sesgos típicos y cuándo NO usarlo como verdad absoluta.
- Métricas: CSI/FAR/POD/MAE y por qué se contradicen.
- Casos: lluvia intensa, viento, niebla.
- Relacionado:
modelos_prediccion,radares_satelites - Tags:
biasbrierroc - Keywords:
CSIFARMAEPOD
1. Qué es y por qué importa
Verificar con datos defectuosos o mal definidos genera conclusiones falsas: te hace cambiar cosas que estaban bien, o te impide ver mejoras reales. La verificación operativa necesita dos pilares: QC (que el observado sea razonable) y coherencia (que lo que verificas coincide con lo que prometiste pronosticar).
2. Idea clave en 30 segundos
- En una frase: si el observado falla, la métrica también; primero QC, luego decisiones
- Señal típica: saltos bruscos de skill justo un día concreto
- Confusión común: culpar al modelo cuando era un sensor clavado o un missing→0
3. QC mínimo antes de calcular nada
- Completitud: ¿cuántos datos faltan por estación/área/periodo?
- Rangos plausibles: valores imposibles o fuera de climatología local (sin matiz no vale)
- Series: saltos, escalones, valores clavados, repetición exacta
- Consistencia cruzada: pluvio vs radar, viento medio vs racha, T vs Td (si aplica)
- Documenta cambios: sustitución de sensor, mudanza, recalibración, cambio de algoritmo
4. Errores comunes del dato (y cómo se ven)
4.1 Missing tratados como 0
- Síntoma: “llueve cero” durante horas justo cuando hay hueco
- Efecto: sube FAR (muchas falsas alarmas) y cae POD
- Arreglo: marcar missing como NA y excluir o imputar con regla explícita
4.2 Sensor clavado (flatline)
- Síntoma: valores idénticos demasiadas horas (temperatura, humedad, viento)
- Efecto: MAE puede parecer “buena” si el modelo también es suave, pero es mentira
- Arreglo: detector de variación mínima y flags QC
4.3 Step change (escalón) por recalibración/cambio de emplazamiento
- Síntoma: de un día a otro el bias cambia de signo
- Efecto: la métrica “dice” que el modelo empeoró, pero cambió el observado
- Arreglo: segmentar periodos y evitar mezclar antes/después sin anotación
4.4 Subcaptura de precipitación (pluvio) o “ceros sospechosos”
- Síntoma: episodios con viento fuerte: radar detecta eco y el pluvio marca poco
- Efecto: penalizas al pronóstico que sí veía precipitación
- Arreglo: usar redes/vecinos, aplicar QC y no tomar un único pluvio como verdad absoluta
5. Errores comunes del radar/satélite como referencia
5.1 Radar no es “lluvia en suelo” automáticamente
- Sesgos típicos: atenuación, beam blocking, bright band, evaporación antes de suelo, Z-R inadecuada
- Síntoma: radar “marca” y pluvios no (o al revés) de forma sistemática por zona
- Arreglo: comparar por sectores, usar composites ajustados, y definir si verificas “precipitación estimada por radar” o “en suelo”
5.2 Umbral de reflectividad mal elegido
- Efecto: te inventas eventos (FAR sube) o los pierdes (POD cae)
- Arreglo: calibrar umbral por tipo de precipitación y región, y validar con pluvios
6. Errores comunes del operador (lo que realmente estás comparando)
- Ventana temporal incoherente: comparas 1h con 3h o máximo con acumulado
- Punto vs área: castigas desplazamiento convectivo como si fuera “cero acierto”
- Umbral mal definido: “lluvia intensa” sin especificar mm/tiempo
- Representatividad: estación en valle vs grilla que promedia ladera/valle
7. Errores comunes al elegir/leer métricas
7.1 Creer que una sola métrica lo resume todo
- Ejemplo: MAE mejora (típico), pero los misses de extremos aumentan
- Arreglo: añadir un guardarraíl (p. ej. misses de evento severo)
7.2 CSI, POD y FAR sin base rate
- Trampa: con eventos raros, puedes tener “muchos aciertos” por correct negatives
- Arreglo: reportar base rate y matriz de confusión
7.3 ROC/AUC mal interpretadas
- Trampa: AUC alta no significa buena calibración ni umbral útil
- Arreglo: usar ROC para discriminación y mirar fiabilidad/Brier para calibración
7.4 Brier score sin mirar fiabilidad
- Trampa: mejoras Brier por cambiar climatología/base rate, no por mejorar el sistema
- Arreglo: comparar contra baseline y mirar fiabilidad por bins
8. Casos rápidos con lluvia intensa, viento y niebla
8.1 Lluvia intensa convectiva
- Error típico: verificar punto a punto → “todo falla”
- Qué usar: operador espacial (vecindario), y CSI/POD/FAR por umbral con tolerancia espacial
- QC: no missing→0; revisar radar por atenuación
8.2 Viento
- Error típico: comparar racha observada con viento medio modelado
- Qué usar: MAE/RMSE por variable coherente + evento por umbral (racha) si aplica
- QC: anemómetro clavado o saturado en temporal
8.3 Niebla
- Error típico: base rate ignorada → métricas engañosas
- Qué usar: matriz de confusión + POD/FAR con base rate; si probabilístico, Brier + fiabilidad
- QC: definición (visibilidad) consistente y estaciones representativas
8. Errores comunes
- Missing→0 y conclusiones falsas
- Sensor clavado o step change no detectado
- Tomar radar como verdad absoluta sin auditar sesgos
- Operador incoherente (ventanas/punto vs área)
- Interpretar AUC como “todo bien”
- Optimizar una métrica y romper extremos
9. Buenas prácticas
- QC mínimo automático + revisión visual de series
- Documentar cambios de estación y de pipeline
- Baselines obligatorios (persistencia/climatología)
- Métricas por objetivo y con guardarraíles de impacto
- Estratificar por régimen (convectivo/frontal; noche/día; costa/interior)
10. Resumen y claves finales
- Si el observado falla, la verificación miente
- QC + operador coherente primero
- Radar requiere auditoría de sesgos
- CSI/POD/FAR necesitan base rate
- ROC discrimina, fiabilidad calibra
- Usa ejemplos y casos para validar que el score “tiene sentido”
11. Mini-glosario
- POD: probabilidad de detección (hits/(hits+misses))
- FAR: tasa de falsas alarmas (FA/(hits+FA))
- CSI: índice de acierto crítico (hits/(hits+misses+FA))
- AUC/ROC: discriminación del sistema para eventos
- Brier score: error cuadrático de probabilidades
- Bias: sesgo medio (puede ser sistemático)
12. Referencias y lecturas recomendadas
- UCAR/COMET: QC y verificación aplicada
- NOAA: guías de verificación y métricas
- WMO: recomendaciones y glosario