La verificación de pronósticos sirve para responder una pregunta muy simple: ¿acertamos lo suficiente como para confiar en esta decisión? El problema es que es fácil “medir mal” y acabar mejorando lo que no toca (o castigando lo que sí funciona).

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Verificar no es “sacar una nota”, es detectar qué falla (sesgo, timing, intensidad, localización, probabilidad) para mejorar el pronóstico y la toma de decisiones. Si eliges mal la métrica o el marco de comparación, puedes concluir lo contrario de lo real.

2. Idea clave en 30 segundos

• En una frase: una métrica solo es útil si mide lo que te importa para esa decisión, en esa escala y con una referencia razonable
• Señal típica: dos modelos “empatan” en una métrica global, pero uno sirve mucho más en episodios de impacto
• Confusión común: usar RMSE/MAE “porque es lo que hay” incluso cuando el usuario necesita probabilidades, umbrales o eventos raros

3. Qué medir según el fenómeno (y qué suele salir mal)

• Lluvia intensa (evento raro): el error típico es medir con promedios (MAE/RMSE) y ocultar el fallo en extremos; suele funcionar mejor combinar eventos por umbral (POD/FAR/CSI) y probabilidad (Brier, fiabilidad).
• Viento (ráfagas): el error típico es verificar media horaria cuando el impacto lo da la racha; conviene verificar la variable que “rompe cosas” (racha) y por ventanas temporales.
• Niebla: el error típico es verificar “¿hubo niebla sí/no?” sin definir visibilidad/techo y sin tolerancia espacial; la niebla es muy sensible a orografía y microescala: define criterio y escala.

4. Errores de base: compararte contra nada

Si no comparas contra una referencia, puedes celebrar un número que no significa mejora real. Lo mínimo: climatología (lo habitual por fecha/lugar) o un pronóstico simple (persistencia). Si tu sistema no gana a eso, hay que replantear.

5. Errores de escala: punto vs zona

Verificar una lluvia convectiva con una estación puntual puede “castigar” un pronóstico bueno a escala comarcal. Para fenómenos muy locales, define si el objetivo es el punto exacto o la zona (p. ej., 20–30 km) y usa tolerancias o métricas espaciales básicas.

6. Errores de definición: el evento no está bien definido

• Umbral mal elegido: 20 mm/1h no significa lo mismo en todos los climas/temporadas.
• Variable equivocada: verificar viento medio cuando el daño lo da la racha.
• Observación dudosa: pluviómetro mal mantenido, niebla mal catalogada, anemómetro con sombras.

7. Ejemplos rápidos (de vida real y de meteo)

• Ejemplo cotidiano: medir “tiempo de entrega medio” puede ocultar que lo que te duele son los retrasos extremos; en meteo pasa igual con la lluvia intensa.
• Ejemplo de lluvia: un modelo reduce RMSE anual, pero empeora la detección de >30 mm/24h: para protección civil eso es “peor”, aunque el RMSE diga “mejor”.
• Ejemplo de viento: aciertas dirección y media, pero fallas el pico de racha: el impacto operativo es grande aunque el MAE sea pequeño.
• Ejemplo de niebla: “no acierta” el punto exacto, pero sí acierta que el valle quedará cerrado 6 horas: depende de si verificas punto o zona.

8. Errores comunes

• Elegir una sola métrica para todo: cada fenómeno pide su combinación (intensidad, timing, umbral, probabilidad).
• Promediar demasiado: un score anual puede ocultar que fallas justo en los episodios de impacto.
• No usar una referencia: sin climatología/persistencia no sabes si aportas valor.
• Mezclar peras con manzanas: comparar un pronóstico por zonas con una estación puntual sin tolerancia.
• Validar con observaciones defectuosas: basura entra, conclusiones falsas salen.
• Optimizar umbrales “a posteriori”: tuneas para tu histórico y luego no generaliza (sobreajuste).
• Confundir precisión con utilidad: un pronóstico puede ser “menos preciso” pero más útil si detecta eventos raros con antelación.

9. Buenas prácticas

• Define la decisión: ¿qué acción cambia si el pronóstico sube/baja?
• Define el evento: umbral, variable exacta, ventana temporal y escala espacial.
• Usa referencia: climatología y/o persistencia como mínimo.
• Usa un “panel” pequeño de métricas: 1 para intensidad (MAE/RMSE), 1 para evento por umbral (CSI/POD/FAR), 1 para probabilidad (Brier/fiabilidad) si hay probabilístico.
• Separa por régimen: lluvia convectiva vs estratiforme, invierno vs verano, costa vs interior.
• Mira casos: acompaña números con 5–10 episodios representativos (especialmente los de impacto).

10. Checklist rápido (para no liarla)

• ¿Qué decisión soporta esto? (alertar, movilizar, comunicar, planificar).
• ¿Qué evento exacto verifico? variable + umbral + ventana + escala.
• ¿Qué referencia uso? climatología/persistencia.
• ¿La observación es fiable? control de calidad básico.
• ¿Estoy midiendo lo importante? extremos, rachas, visibilidad… según el caso.
• ¿He separado por contextos? estaciones, zonas, tipos de episodio.

11. Mini-glosario

• MAE: error absoluto medio; mide “cuánto te equivocas” en promedio
• RMSE: penaliza más los errores grandes; útil si los fallos grandes importan, pero puede ocultar eventos raros si promedias demasiado
• Sesgo (bias): tendencia sistemática a sobreestimar o infraestimar
• Climatología: referencia basada en lo habitual; sirve como “mínimo exigible”
• ROC: curva que evalúa discriminación (separar evento/no evento) para pronósticos probabilísticos
• Skill: mejora respecto a una referencia (si no hay referencia, el número suelta no te dice valor)

12. Resumen y claves finales

• No existe “la métrica”: elige métricas según decisión, fenómeno y escala
• Sin referencia (climatología/persistencia) puedes celebrar números inútiles
• Para extremos (lluvia intensa) evita quedarte solo en promedios; combina umbrales y probabilidad
• Define bien evento, variable y observación; si no, verificas algo distinto a lo que crees
• Separa por contextos y acompaña con casos reales: ahí se ve la verdad operativa

13. Referencias y lecturas recomendadas

• WMO: guías y glosarios de verificación y pronóstico probabilístico
• ECMWF: documentación y notas de verificación (scores, fiabilidad, ensembles)
• Copernicus/ECMWF: recursos de datos y evaluación para aplicaciones climáticas y meteorológicas