Los números de verificación se entienden de verdad cuando los bajas a casos reales. Aquí tienes ejemplos típicos (lluvia intensa, tormentas desplazadas, probabilidades, niebla) y una lectura paso a paso para saber qué métrica mirar y qué conclusión sacar sin engañarte.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si vas con prisa: mira “Plantilla de lectura paso a paso” y “Resumen y claves finales”.
- Si trabajas con lluvia intensa: ve a “Caso 1” y “Caso 2” (umbral y vecindad).
- Si usas probabilidades: ve a “Caso 3” (calibración) y “Caso 4” (ensembles).
- Relacionado:
radares_satelites,lluvias_intensas - Tags:
biasensemblesroc - Keywords:
ETSPODmatriz de confusiónneighborhood
1. Qué es y por qué importa
Los casos y ejemplos sirven para conectar métrica con realidad: qué pasó, qué dijiste, qué mide cada score y qué cambiarías para mejorar el próximo pronóstico.
2. Idea clave en 30 segundos
- En una frase: una métrica sin contexto puede engañar; un caso bien leído te dice dónde estuvo el fallo (lugar, hora, intensidad o probabilidad)
- Señal típica: el pronóstico “falló” el punto exacto pero acertó la zona útil
- Confusión común: creer que POD alto significa “todo bien” sin mirar falsas alarmas (FAR) o ETS/CSI
3. Plantilla de lectura paso a paso (para cualquier caso)
- Define el evento: variable + umbral + ventana temporal (p. ej., >40 mm/24h).
- Define la escala: punto o zona (si es convectivo, valora zona/vecindad).
- Construye la matriz de confusión: acierto, falso aviso, fallo y no-evento.
- Calcula 3 cosas: POD (detección), FAR (falsas alarmas) y ETS/CSI (balance).
- Busca el tipo de fallo: desplazamiento, timing, intensidad o sesgo.
- Si es probabilístico: mira fiabilidad (calibración) además de ROC.
- Acción concreta: qué cambiarías (umbral, comunicación, calibración, producto, escala).
4. Caso 1: lluvia intensa bien detectada, pero con demasiadas falsas alarmas
Situación: pronosticaste >40 mm/24h en una zona amplia; ocurrió en parte de la zona, pero avisaste demasiado territorio.
- Qué verás: POD razonable (detectas eventos), FAR alto (muchos falsos), ETS/CSI medio-bajo.
- Lectura: “sirve para no perder eventos, pero sobreactiva avisos”.
- Mejora típica: ajustar umbral por subzonas, recortar área, o emitir probabilidad por bandas (p. ej., 30/60/90%).
5. Caso 2: tormenta desplazada (doble castigo) y solución de vecindad
Situación: una línea de tormentas se desplazó 20–30 km respecto al pronóstico. En el punto verificado “fallas” por completo, pero a escala de comarca fue útil.
- Qué verás: POD bajo y FAR alto en verificación puntual (parece desastre).
- Lectura: el fallo dominante es desplazamiento, no necesariamente “ausencia de señal”.
- Mejora típica: verificación por vecindad (neighborhood) o por zonas; reportar ambos (puntual y vecindad) porque responden preguntas distintas.
6. Caso 3: probabilidades “infladas” (mala calibración)
Situación: cuando dices 70% de lluvia intensa, ocurre solo 40–50% de veces.
- Qué verás: Brier peor de lo esperado y diagrama de fiabilidad por debajo de la diagonal (sobreconfianza); ROC puede seguir siendo bueno.
- Lectura: discriminas (separas días con más riesgo), pero calibras mal la probabilidad.
- Mejora típica: calibración estadística (postproceso) y re-verificación, manteniendo el mismo diseño.
7. Caso 4: ensemble con spread insuficiente (subdispersión)
Situación: el ensemble muestra poca dispersión, y la realidad cae a menudo fuera del rango previsto.
- Qué verás: percentiles que no “cubren” lo observado; señales de subdispersión; eventos extremos más frecuentes que los sugeridos por el ensemble.
- Lectura: el sistema está demasiado “seguro” (incertidumbre infraestimada).
- Mejora típica: calibración del ensemble (p. ej., ajuste de spread) y comunicación probabilística con rangos más realistas.
8. Caso 5: bias claro en precipitación (sesgo sistemático)
Situación: el modelo tiende a infraestimar acumulados en episodios mediterráneos (o a sobreestimarlos por parametrización/forzamiento orográfico).
- Qué verás: sesgo (bias) persistente por temporadas o regiones; MAE/RMSE altos en esos regímenes.
- Lectura: hay un error sistemático: no es “mala suerte” de casos.
- Mejora típica: corrección por sesgo (bias correction) por régimen/zona y re-verificación; combinar con radar/satélite para diagnóstico de estructura y timing.
9. Errores comunes al leer casos
- Quedarte solo con POD: sin FAR y ETS/CSI puedes vender humo (o castigarte injustamente).
- Ignorar escala: punto vs zona cambia la conclusión.
- No definir ventana: 1h vs 24h cambia completamente el “acierto”.
- Confundir ROC con calibración: ROC alto no significa probabilidades fiables.
- No mirar observación: sensores y representatividad pueden sesgar la lectura.
10. Buenas prácticas
- Documenta cada caso: evento, umbral, ventana, escala, observación y producto usado.
- Usa un panel pequeño: POD + FAR + ETS/CSI + (Brier/fiabilidad si probabilístico).
- Incluye contexto: tipo de episodio, orografía, mar, hora del día.
- Convierte el caso en acción: una mejora concreta y cómo la medirás después.
11. Mini-glosario
- Matriz de confusión: tabla de aciertos/fallos para evento/no evento
- POD: detección (eventos capturados)
- FAR: falsas alarmas
- ETS: score de amenaza ajustado por aciertos al azar (útil para eventos raros)
- Vecindad (neighborhood): tolerancia espacial para pequeños desplazamientos
- Bias: sesgo sistemático
12. Resumen y claves finales
- Lee casos con una plantilla: evento → escala → matriz → POD/FAR/ETS → tipo de fallo → acción
- En convectiva, separa fallo de desplazamiento de fallo “sin señal” usando vecindad
- En probabilístico, mira fiabilidad además de ROC
- En ensembles, vigila subdispersión y calibra si hace falta
- El objetivo final es siempre una mejora concreta y re-verificada
13. Referencias y lecturas recomendadas
- WMO: verificación y probabilístico (guías y glosarios)
- NOAA: recursos de verificación y educación
- Met Office: documentación y notas sobre verificación operacional/probabilística