Verificar un pronóstico no es “buscar fallos”: es aprender qué funciona, qué no, y en qué situaciones. Si no medimos, acabamos mejorando “a ojo”, y el ojo es muy bueno recordando lo espectacular… y muy malo haciendo estadística.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Verificación es comparar pronóstico vs realidad (observación) de forma consistente para saber si el pronóstico es útil y cómo mejorarlo. No es lo mismo “acertar una temperatura” que “acertar si habrá niebla en un aeropuerto” o “si se superará un umbral de lluvia que causa impactos”.

2. Idea clave en 30 segundos

• En una frase: verifica lo que importa (evento/impacto) y usa métricas que respondan a la pregunta correcta, no la que es más fácil de calcular
• Señal típica: una métrica mejora pero la utilidad real empeora (por ejemplo, promedios mejores pero peores extremos)
• Confusión común: “una sola métrica lo resume todo”

3. Qué vas a verificar exactamente (la parte que casi todos saltan)

Antes de elegir métricas, define el objeto de verificación:

• Variable: temperatura, viento, precipitación, visibilidad…
• Soporte: punto (estación), área (comarca/cuenca), rejilla del modelo
• Ventana temporal: 1h, 6h, 24h, “entre las 06–18 UTC”…
• Pregunta: valor continuo (“¿cuántos mm?”) o evento (“¿supera 40 mm/24h?”)

Si esto no está bien definido, cualquier conclusión puede ser engañosa.

4. Qué medir y qué métrica sirve (sin liarse)

Hay tres familias típicas, y cada una responde a una pregunta distinta:

• Continuas (valores): “¿Qué tan lejos me quedo del valor real?” → RMSE, MAE
• Eventos (sí/no): “¿Detecto bien el evento?” → matriz de contingencia, CSI, POD, FAR
• Probabilísticas: “¿Mis porcentajes son fiables?” → Brier, fiabilidad (reliability), ROC/AUC

5. Métricas básicas explicadas con palabras normales

• MAE: error medio absoluto. Si MAE=2 ºC, de media te equivocas 2 ºC. Es robusta y fácil de interpretar.
• RMSE: penaliza más los errores grandes. Si te preocupan grandes patinazos (rachas, máximos, picos), RMSE te los “grita” más.
• Bias (sesgo): si tiendes a pasarte o quedarte corto. Bias positivo: pronosticas demasiado alto; negativo: demasiado bajo.
• CSI (Critical Success Index): para eventos raros (tormenta fuerte, umbral de lluvia) suele ser más útil que el “porcentaje de aciertos” porque castiga tanto fallos como falsas alarmas.
• Brier score: para probabilidades de un evento. Cuanto más bajo, mejor, pero lo importante es por qué (fiabilidad vs resolución).

6. Ejemplos (lluvia intensa, viento, niebla): qué métrica sí sirve

6.1 Lluvia intensa

Problema típico: el pronóstico “medio” parece bueno, pero falla donde importa: umbrales e impactos.

• Si te importa el acumulado exacto: MAE/RMSE de QPF (p. ej., mm/24h) con soporte coherente (estación vs rejilla).
• Si te importa el impacto: define eventos: >20, >40, >80 mm/24h y usa CSI/POD/FAR para cada umbral.
• Si hay probabilidad: Brier para P(>40) y un gráfico de fiabilidad: si dices 60%, debería ocurrir ~60% de las veces.

6.2 Viento

Trampa frecuente: verificar viento medio cuando lo que causa problemas es la racha.

• Media vs racha: no mezclar. La racha tiene otra estadística y otra relación con el relieve y la exposición.
• Para rachas fuertes: eventos (p. ej., >70 km/h) con CSI/POD/FAR y, si hay probabilidad, Brier para P(>70).
• Para sesgos sistemáticos: bias por dirección/régimen (p. ej., poniente vs levante) puede revelar errores estructurales.

6.3 Niebla

Clásico: verificar temperatura o humedad no basta; la utilidad real es “¿habrá visibilidad <200 m entre tal y tal hora?”.

• Define evento: VIS <200 m (o techo <200 ft) en una franja horaria.
• Métrica útil: matriz de contingencia + CSI/POD/FAR. La niebla es rara: el porcentaje de acierto engaña porque “no niebla” gana casi siempre.
• Si hay probabilidad: fiabilidad por bins (10%, 30%, 50%, 70%) y ROC/AUC para ver discriminación.

7. Qué datos necesitas (observación) y por qué importa

• Calidad: si la observación está sesgada (pluviómetro mal situado, anemómetro en sombra), la verificación miente.
• Representatividad: una estación en un valle no representa una rejilla de 9 km en montaña. Ajusta soporte o interpreta con cuidado.
• Disponibilidad: sin series largas, no puedes saber si mejoras de verdad o solo tuviste suerte en 3 casos.

8. Errores comunes

• Verificar lo fácil (temperatura) cuando el valor está en el impacto (umbral de lluvia, visibilidad)
• Mezclar soportes (punto vs área) sin corrección
• Usar una sola métrica como “nota final”
• Comparar periodos distintos (invierno vs verano) y sacar conclusiones globales
• Ignorar la rareza del evento (niebla, tormenta severa) y caer en el “acierto por no-evento”

9. Buenas prácticas

• Define siempre variable + soporte + ventana + pregunta
• Usa al menos: una métrica de error (MAE/RMSE) + una de sesgo (bias) + una de eventos (CSI) cuando aplique
• Para probabilidad: Brier + fiabilidad (no solo un número)
• Estratifica por situaciones (régimen, estación, hora, relieve) para encontrar dónde falla
• Guarda un registro: mismos umbrales, misma metodología, y compara “antes vs después”

10. Resumen y claves finales

• Verificar es convertir experiencia en mejora medible
• La métrica correcta depende de la pregunta (valor, evento, probabilidad)
• En eventos raros, el “porcentaje de acierto” suele engañar
• Soporte y observación importan: si están mal, la verificación miente
• Mejor pocas métricas bien elegidas que una colección sin objetivo

11. Mini-glosario

• Bias: tendencia sistemática a sobrestimar o infraestimar.
• MAE: error absoluto medio.
• RMSE: raíz del error cuadrático medio; penaliza grandes errores.
• CSI: índice de éxito crítico para eventos (castiga fallos y falsas alarmas).
• Brier: error de probabilidad para un evento (más bajo es mejor).

12. Referencias y lecturas recomendadas

• WMO: guías y terminología de verificación y predicción
• Met Office: materiales de verificación y comunicación de incertidumbre
• NOAA: recursos educativos y ejemplos de métricas para eventos