Cuando alguien dice “este modelo es bueno”, casi siempre falta una frase: ¿bueno para qué? La verificación sirve justo para eso: convertir opiniones en respuestas claras. Pero para que funcione, hay que entender qué se mide realmente y por qué algunas métricas pueden dar una sensación falsa de éxito.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué se mide (de verdad) y por qué importa

Verificar un pronóstico es medir la diferencia entre lo que se predijo y lo que ocurrió, pero con una idea clara de la pregunta que queremos responder. No es lo mismo:

• Medir error de un valor: “¿me equivoqué 2 ºC o 6 ºC?”
• Medir si detecté un evento: “¿hubo niebla sí/no?” o “¿superó 40 mm?”
• Medir si mis probabilidades son fiables: “cuando digo 70%, ¿pasa ~70%?”

La verificación conecta tres piezas: objetivo (qué quieres conseguir), datos (qué observación comparas) y métrica (cómo lo conviertes en número).

2. Idea clave en 30 segundos

• En una frase: la métrica correcta depende de la pregunta, y una “buena nota” puede ser irrelevante si mide otra cosa
• Señal típica: correlación alta pero fallas umbrales que importan (p. ej., lluvia intensa)
• Confusión común: creer que AUC o correlación “demuestran” que un pronóstico es fiable o útil

3. Tres familias de verificación (y qué mide cada una)

3.1 Valores continuos (MAE, RMSE, bias)

Miden distancia entre números.

• MAE: de media, cuánta diferencia hay. Fácil de interpretar.
• RMSE: castiga más los errores grandes. Útil si los “patinazos” importan.
• Bias: si tiendes a pasarte o quedarte corto.

Lo que NO hacen: no dicen si detectas bien un evento raro (niebla, tormenta severa) ni si tus probabilidades son honestas.

3.2 Eventos (matriz de confusión, CSI, POD, FAR)

Miden si “aciertas el sí/no” para un umbral o evento.

• Matriz de confusión: aciertos, fallos, falsas alarmas y no-eventos.
• POD: cuánto detectas.
• FAR: cuánta falsa alarma produces.
• CSI: equilibrio práctico, especialmente cuando el evento es raro.

Lo que NO hacen: no resumen por sí solas el coste real (a veces un fallo cuesta más que 3 falsas alarmas, o al revés).

3.3 Probabilidad (Brier, fiabilidad, ROC/AUC)

Sirven cuando el pronóstico es probabilístico.

• Brier: error de la probabilidad de un evento.
• Fiabilidad: si tus porcentajes significan lo que dicen.
• ROC/AUC: si el sistema separa bien días con evento vs sin evento al variar el umbral de probabilidad.

Lo importante: puedes tener AUC alta (buena discriminación) y ser poco fiable (probabilidades mal calibradas).

4. Un concepto clave: el soporte (punto vs área) y por qué te puede arruinar la verificación

Muchos “errores” no son del pronóstico, sino de comparar cosas que no representan lo mismo:

• Estación (punto): mide un lugar concreto.
• Rejilla de modelo (área): representa un promedio o estado de una celda.

En precipitación convectiva (chubascos muy locales), una celda puede “prever lluvia” correctamente a escala de área, y aun así la estación concreta no la registre.

5. Neighborhood: cuando lo que importa es “cerca” y no “exactamente aquí”

En variables muy localizadas, a veces interesa medir si el pronóstico estuvo bien en el entorno (por ejemplo, lluvia intensa a 10–20 km) en lugar de exigir el acierto milimétrico en un punto. A esto se le suele llamar enfoque neighborhood o “por vecindad”.

Idea práctica: en lugar de “¿llovió justo aquí?”, preguntas “¿hubo un núcleo intenso en esta zona cercana?”. Eso cambia la utilidad de la verificación para episodios convectivos.

6. Skill score: mejor que qué

Un pronóstico puede tener errores, pero aún así ser mejor que una referencia simple. Los skill scores intentan responder: “¿mejora respecto a un baseline?”

• Baseline típico: climatología (lo normal) o persistencia (mañana como hoy).

Esto es importante en niebla: a veces la persistencia gana si no cambian condiciones, y eso te enseña mucho.

7. Ejemplos rápidos (precipitación y niebla)

7.1 Precipitación

• Si verificas mm exactos: MAE/RMSE te dicen cuánto fallas en cantidad.
• Si verificas impacto: define umbrales (>20, >40, >80 mm/24h) y usa CSI/POD/FAR.
• Si hay probabilidad: Brier + fiabilidad para P(>40) y ROC/AUC para discriminación.

7.2 Niebla

• Evento raro: “VIS<200 m entre 06–10”.
• Métrica útil: CSI/POD/FAR (el acierto total engaña).
• Probabilidad: fiabilidad (si dices 60% y nunca pasa, tu 60% no sirve).

8. Honestidad: lo que NO significan una AUC alta o una correlación buena

• Una correlación alta NO significa que el pronóstico sea preciso: puede seguir teniendo sesgo grande (siempre 2–3 ºC por encima) o fallar extremos.
• Una AUC alta NO significa que las probabilidades sean correctas: AUC mide discriminación (ordenar casos), no fiabilidad (que el 70% sea 70%).
• Una métrica buena NO significa utilidad operacional: si tu métrica no está alineada con decisiones (umbrales/ventanas), puedes “mejorar” y empeorar para el usuario real.

9. Errores comunes

• Elegir métricas por costumbre y no por objetivo
• Verificar en un punto y generalizar a toda un área
• Ignorar rareza del evento (niebla, tormenta fuerte) y caer en el autoengaño del “no-evento”
• Confundir discriminación con fiabilidad (ROC/AUC vs reliability)

10. Buenas prácticas

• Define primero la pregunta (valor vs evento vs probabilidad)
• Separa soporte y ventana temporal
• Para eventos raros, usa métricas de eventos (CSI/POD/FAR)
• Para probabilidad, exige fiabilidad además de AUC
• Usa skill: compara con climatología/persistencia

11. Resumen y claves finales

• La verificación mide desempeño, pero solo tiene sentido si sabes qué pregunta responde
• Continuas (MAE/RMSE/bias) ≠ eventos (CSI) ≠ probabilidad (Brier/fiabilidad/ROC)
• Punto vs área puede explicar “errores” aparentes
• Correlación y AUC pueden impresionar y aun así engañar
• Medir bien es el primer paso para mejorar de verdad

12. Mini-glosario

• Matriz de confusión: tabla aciertos/fallos/falsas alarmas/no-eventos.
• CSI: índice de éxito crítico para eventos.
• Fiabilidad: relación entre probabilidad emitida y frecuencia observada.
• Discriminación: capacidad de separar casos con y sin evento.
• Skill score: mejora relativa frente a una referencia simple (climatología/persistencia).

13. Referencias y lecturas recomendadas

• WMO: guías y glosario de verificación
• Met Office: materiales prácticos de verificación y probabilidades
• NOAA: recursos educativos y ejemplos de métricas