Verificar no es “ponerse nota” ni buscar culpables. Es la forma más rápida de dejar de guiarnos por impresiones y empezar a mejorar de verdad: qué acierta un pronóstico, en qué falla, y qué cambios concretos lo hacen más útil.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si solo quieres lo esencial: mira “Idea clave en 30 segundos” y “Resumen y claves finales”.
- Si trabajas con lluvia intensa: ve a “Ejemplos y mitos”.
- Si usas probabilidades/ensembles: ve a “Honestidad: lo que NO significa”.
- Relacionado:
ensembles_probabilidad,lluvias_intensas - Tags:
calibracionskillverificacion - Keywords:
CRPSFSSneighborhoodskill score
1. Qué es y por qué importa
La verificación es medir de forma ordenada la calidad de un pronóstico comparándolo con observaciones, y casi siempre también con una referencia (climatología o persistencia). Importa porque reduce dos cosas muy humanas: autoengaño (recordar solo aciertos) y mitos (creer que una métrica mágica lo resume todo).
2. Idea clave en 30 segundos
- En una frase: verificar es convertir “creo que acierto” en “sé en qué acierto, en qué fallo y qué cambiar para mejorar”
- Señal típica: un pronóstico “parece bueno” en días normales pero falla justo en episodios de impacto
- Confusión común: usar correlación o AUC/ROC como sinónimo de utilidad real
3. Qué ganas verificando (beneficios reales)
- Mejoras concretas: identificas si el fallo es sesgo, timing, desplazamiento o calibración.
- Decisiones más honestas: sabes cuándo confiar y cuándo comunicar incertidumbre.
- Comparabilidad: puedes comparar versiones, modelos o métodos con el mismo criterio.
- Aprendizaje acumulativo: cada temporada deja lecciones verificadas, no anécdotas.
4. Los 6 autoengaños más comunes (y cómo evitarlos)
- “Me acuerdo de los aciertos”: define un periodo fijo y verifica todo, no solo días “interesantes”.
- “Hoy acerté, soy bueno”: un caso no es estadística; usa muchas situaciones y estratifica.
- “Mi métrica favorita salió bien”: usa panel pequeño de métricas (continuo + evento + probabilístico si aplica).
- “En el punto exacto falló, entonces fue malo”: si tu decisión es zonal, verifica a escala zonal o con vecindad.
- “La observación es verdad absoluta”: revisa QC y representatividad (sensor, entorno, subcaptura, gaps).
- “El promedio manda”: un score anual puede ocultar extremos y fallos de impacto.
5. Mitos típicos (y qué deberíamos decir en su lugar)
- Mito: “Una correlación alta significa buen pronóstico”. Realidad: la correlación puede ser alta y aun así fallar en magnitud o en eventos raros.
- Mito: “Una AUC alta significa que las probabilidades son fiables”. Realidad: AUC/ROC mide discriminación, no calibración.
- Mito: “RMSE lo resume todo”. Realidad: RMSE penaliza extremos, pero no te dice si detectas eventos o si sobrealertas.
- Mito: “Si falla un episodio, el modelo no sirve”. Realidad: hay que ver si fue error sistemático o un caso límite; y si era predecible a la escala usada.
6. Ejemplos rápidos (lluvia intensa y probabilidades)
- Lluvia intensa convectiva: puede “fallar” el punto por desplazamiento; la vecindad muestra utilidad real a escala de comarca.
- Probabilidades: puedes ordenar bien los días de riesgo (ROC alto) pero estar sobreconfiado (mala fiabilidad). Eso exige calibración.
- Ensembles: si el rango del ensemble es demasiado estrecho, la realidad cae fuera a menudo; es subdispersión y hay que calibrar.
7. Checklist mínimo para empezar hoy
- Define objetivo y decisión (qué cambia si aciertas/fallas).
- Define variable, umbral y ventana temporal.
- Elige observación con QC básico.
- Elige baseline (climatología/persistencia).
- Elige 3–5 métricas (MAE/RMSE + POD/FAR/ETS + Brier/fiabilidad si probabilístico).
- Estratifica por estación o régimen.
- Haz 5–10 casos de impacto para entender el “por qué”.
8. Errores comunes
- Verificar sin baseline (no sabes si aportas valor).
- Mezclar escalas (punto vs zona) y sacar conclusiones erróneas.
- Usar una sola métrica para todo.
- No diferenciar discriminación (ROC) de calibración (fiabilidad).
9. Buenas prácticas
- Panel corto: pocas métricas bien elegidas y bien leídas.
- Transparencia: evento, umbral, ventana y escala bien documentados.
- Repetición: verificar antes y después de una mejora.
- Humildad operativa: comunicar incertidumbre cuando toca.
10. Resumen y claves finales
- Verificar reduce autoengaños y acelera mejoras reales
- Una métrica sin contexto puede mentir: usa panel y casos
- ROC/AUC y correlación no equivalen a utilidad ni a probabilidades fiables
- Convectiva: escala y vecindad importan para medir utilidad
- El final de la verificación debe ser una acción concreta y re-verificada
11. Mini-glosario
- Skill score: valor añadido frente a una referencia (baseline)
- ROC/AUC: discriminación de un pronóstico probabilístico
- Fiabilidad: calibración de probabilidades
- Vecindad (neighborhood): tolerancia espacial para pequeños desplazamientos
- CRPS: score para distribución probabilística (cuanto menor, mejor)
- FSS: score espacial para precipitación/estructura a escalas (útil en convectiva)
12. Referencias y lecturas recomendadas
- WMO: guías de verificación y pronóstico probabilístico
- NOAA: material educativo y recursos de verificación
- AEMET: documentación y recursos sobre predicción y verificación (cuando aplique)