Cuando hablamos de control de calidad (QC) en verificación, no es “pasar un filtro y ya”. Es entender qué mecanismo hace que un dato sea engañoso: por qué un pluvio subcapta con viento, por qué el radar se rompe detrás de un núcleo intenso, por qué una correlación puede parecer buena aunque el pronóstico no sirva para decisiones, o por qué una AUC alta no significa que el sistema esté bien calibrado. Si entiendes esos mecanismos, sabes cuándo confiar y cuándo parar y revisar antes de sacar conclusiones con CRPS, FSS o cualquier score.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Qué falla y por qué: mecanismos por tipo de dato.
- Convectiva: por qué el píxel perfecto no existe.
- Probabilístico: CRPS y calibración con referencia auditada.
- Honestidad: qué NO significa una AUC alta o una correlación buena.
- Relacionado:
observacion,tormentas_conveccion - Tags:
crpsensemblesroc - Keywords:
CRPSFSSbaselinevalidación cruzada
1. Qué es y por qué importa
QC es la parte donde decides si el “observado” representa lo que crees que representa. La verificación compara dos cosas: pronóstico y referencia. Si la referencia tiene mecanismos de fallo (instrumento, muestreo, proxy, algoritmo), los scores miden una mezcla de “error del sistema” + “error del dato”. Entender los mecanismos separa esas dos cosas.
2. Idea clave en 30 segundos
- En una frase: antes de medir skill, asegúrate de que sabes qué mide tu referencia
- Señal típica: un score “malo” explicado por muestreo (punto vs área) o por sesgo instrumental
- Confusión común: confundir discriminación (AUC) con utilidad o calibración
3. Tres tipos de “verdad” y sus mecanismos de error
- Medición directa (estación/pluvio): falla por instrumentación y entorno (exposición, mantenimiento, subcaptura)
- Estimación remota (radar/satélite): falla por física/geom. de medida y por algoritmos (atenuación, clutter, proxies)
- Producto de modelado (reanálisis): falla por resolución y asimilación (suavizado, sesgo en extremos)
4. Mecanismos clave por variable
4.1 Precipitación: por qué el dato engaña
- Subcaptura por viento (pluvio): el flujo desvía gotas y el total queda bajo, especialmente en lluvia fina o con viento fuerte
- Intensidad alta: algunos pluvios “pierden” parte del agua en picos muy intensos o acumulan en saltos
- Representatividad: convectiva es muy local; un punto no representa un área (aunque esté bien medido)
4.2 Radar: por qué “no ve” lo que pasa
- Atenuación: núcleos intensos debilitan el haz y crean sombras detrás
- Beam blocking: relieve bloquea parte del haz
- Bright band: sobreestimación en banda de fusión
- Clutter: ecos no meteorológicos
4.3 Viento: por qué dos estaciones no comparan
- Exposición: obstáculos, altura distinta, rugosidad
- Rachas: ventana de cálculo (3s, 10min) cambia el valor
- Saturación/recorte: sensores que limitan máximos
4.4 Niebla/visibilidad: por qué el evento depende de definición
- Umbral: 1000 m vs 200 m cambia todo
- Muestreo: un sensor en un punto no captura bancos irregulares
- Proxy: nubosidad baja no siempre equivale a niebla a nivel de suelo
5. Cómo estos mecanismos afectan a CRPS, FSS y ROC/AUC
- CRPS (probabilístico): si el observado está sesgado o ruidoso, CRPS penaliza de forma “justa” respecto a esa referencia, pero la conclusión puede ser injusta para el sistema (estás optimizando contra una verdad imperfecta)
- FSS (espacial): reduce castigo por desplazamiento/ruido de pequeña escala; útil cuando la referencia y el fenómeno tienen incertidumbre espacial real
- ROC/AUC (discriminación): mide ordenar casos (separar evento/no evento), no calibración ni coste de errores
6. Honestidad: qué NO significa una AUC alta o una correlación buena
- AUC alta NO significa: que las probabilidades sean correctas (calibración), ni que el umbral operativo sea bueno, ni que el sistema sea útil cuando el evento es raro
- Correlación buena NO significa: que los valores sean correctos (puede haber bias), ni que los extremos estén bien (puede fallar justo lo importante)
- Ambas pueden engañar: si hay base rate extremo, smoothing, o si el operador (punto/área/ventana) es incoherente
7. Ejemplos rápidos (mecanismo → error típico)
- Tormenta convectiva: el máximo cae 15 km fuera → RMSE puntual mala, FSS razonable
- Pluvio subcapta: modelo parece “húmedo” → bias falso
- Radar atenuado: POD cae → el sistema parece no detectar
- Viento mal expuesto: “sobreestimación” inventada
8. Errores comunes
- Creer que la referencia es “verdad absoluta”
- Usar métricas sin baseline
- No alinear ventanas temporales
- Interpretar AUC/correlación como veredicto final
9. Buenas prácticas
- Documentar mecanismos y límites del dato usado
- Usar operador coherente (espacial/temporal) con el fenómeno
- Combinar métricas (p. ej. CRPS + fiabilidad + baseline; FSS en convectiva)
- Validar con más de una fuente cuando sea posible
10. Resumen y claves finales
- QC es entender mecanismos, no solo filtrar
- Convectiva: representatividad y desplazamiento mandan
- Radar/pluvio tienen sesgos conocidos (atenuación, subcaptura)
- CRPS/FSS/ROC miden cosas distintas: no mezclar interpretaciones
- AUC alta o correlación buena no garantizan utilidad ni calibración
11. Mini-glosario
- Discriminación: capacidad de separar evento/no evento
- Calibración: que las probabilidades coincidan con frecuencias reales
- Base rate: frecuencia natural del evento
- Representatividad: si un punto representa un área/ventana
12. Referencias y lecturas recomendadas
- WMO: guías de observación/QC y verificación
- ECMWF: verificación y ensembles
- Copernicus: documentación de productos y limitaciones