La verificación sirve para una cosa muy concreta: tomar mejores decisiones sobre cómo interpretas un pronóstico y qué cambias para mejorar. Si una métrica no cambia una decisión (o no te ayuda a detectar un problema repetible), suele ser ruido, postureo o una trampa.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué significa “uso operativo” en verificación

Uso operativo significa: elige una métrica porque responde a una pregunta práctica. Ejemplos de preguntas buenas:

• ¿Estamos avisando demasiado (falsas alarmas) o demasiado poco (fallos)?
• ¿El pronóstico acierta el orden de los días malos, aunque falle el valor exacto?
• ¿Las probabilidades “dicen la verdad” o son puro adorno?
• ¿El error es de intensidad, de posición o de timing?

Y una pregunta mala: “¿qué métrica queda más científica?”. Esa no mejora nada.

2. Idea clave en 30 segundos

• En una frase: una métrica solo vale si te ayuda a cambiar algo concreto (umbral, producto, postproceso, comunicación o expectativa de precisión)
• Señal típica: un mismo tipo de fallo se repite (sesgo, timing, falsas alarmas) y la métrica lo refleja
• Confusión común: perseguir una métrica “bonita” que empeora lo importante (por ejemplo, reducir falsas alarmas a costa de perder avisos críticos)

3. Lo primero: define el objetivo antes de medir

Antes de calcular nada, define cuál es tu objetivo real:

• Seguridad (avisos): prefieres no perder eventos peligrosos, aunque aumenten algunas falsas alarmas.
• Operativa (planificación): quieres estabilidad y pocos cambios bruscos de un pase a otro.
• Calidad del dato (comunicación): prefieres probabilidades fiables y mensajes honestos.

El objetivo decide la métrica. No al revés.

4. 3 familias de problemas: intensidad, posición y timing

• Intensidad: ¿llueve/vienta más o menos de lo previsto? (sesgo, MAE/RMSE, percentiles)
• Posición: ¿ocurre cerca pero no “justo ahí”? (neighborhood, verificación espacial)
• Timing: ¿entra tarde o sale pronto? (series temporales, métricas por ventanas)

Muchas discusiones eternas se resuelven así: estás usando una métrica de intensidad para un problema de posición. Resultado: frustración y conclusiones equivocadas.

5. Baseline: tu ancla contra el autoengaño

Una mejora real se demuestra comparando contra un baseline. Si no mejoras a algo simple, no hay magia.

• Persistencia: “mañana como hoy”.
• Climatología: valor típico por estación.
• Producto robusto: un modelo más grueso/estable.

Si tu sistema no supera al baseline de forma consistente, la “mejora” es dudosa o depende de un subconjunto de casos.

6. El flujo operativo en 6 pasos (la receta)

• Paso 1: define variable y ventana (p. ej., lluvia 1h, racha máxima diaria, visibilidad mínima).
• Paso 2: define 1–2 umbrales (impacto) y 1 baseline.
• Paso 3: separa por régimen si puedes (frontal, convección, brisa, niebla radiativa/advección).
• Paso 4: elige 2 métricas máximo por objetivo (no 12).
• Paso 5: mira 1 gráfico simple (serie o diagrama de fiabilidad).
• Paso 6: decide una acción concreta (ajustar umbral, cambiar producto, añadir postproceso, cambiar mensaje).

7. Matriz de confusión: el mapa para avisos por umbral

Para eventos (sí/no) como “lluvia >20 mm/1h” o “racha >70 km/h”, la matriz de confusión te da cuatro cajones:

• Acierto: avisaste y ocurrió.
• Falsa alarma: avisaste y no ocurrió.
• Fallo (miss): no avisaste y ocurrió.
• Correcto negativo: no avisaste y no ocurrió.

Operativamente, la pregunta es: ¿qué duele más? En riesgo, suele doler más el fallo; en logística, suele doler más la falsa alarma. Y eso define el ajuste.

8. Qué métrica usar según lo que quieras mejorar

• Quiero reducir “pasarme” o “quedarme corto”: mira bias y errores por rangos (picos vs suaves).
• Quiero mejores avisos por umbral: usa métricas de eventos (POD/recall, FAR, CSI/ETS) y revisa misses vs falsas alarmas.
• Quiero probabilidades honestas: usa Brier y fiabilidad (diagrama) más un histograma de probabilidades emitidas.
• Quiero un score que “vea” toda la distribución (ensembles): usa CRPS (y cobertura P10–P90).
• Mi problema es espacial (posición): usa neighborhood (acierto en un radio) en vez de exigir precisión punto a punto.

9. Ejemplos con lluvia intensa, viento y niebla

9.1 Lluvia intensa (convección)

• Problema típico: el modelo “ve” la tormenta pero la coloca 20–40 km desplazada.
• Métrica que sí sirve: verificación neighborhood para evento (acierto dentro de un radio) + un umbral de impacto.
• Acción: comunicar “riesgo en la zona” (no una calle) y ajustar la expectativa de precisión.

9.2 Viento (rachas)

• Problema típico: sesgo dependiente de exposición (costa/collados) y de intensidad (picos).
• Métrica que sí sirve: bias por rangos + misses/falsas alarmas por umbral alto.
• Acción: calibración local o ajuste de umbral por zona; validar con estaciones representativas.

9.3 Niebla (visibilidad)

• Problema típico: falla el timing (entra tarde, rompe pronto).
• Métrica que sí sirve: series por horas clave + eventos por ventana (p. ej. presencia entre 06–10).
• Acción: cambiar ventana de decisión y usar observación (webcam/visibilidad) para nowcasting.

10. Validación cruzada: cuándo importa de verdad (sin lío)

Si estás ajustando un postproceso (o comparando productos), hay riesgo de “hacer trampa sin querer” afinando con los mismos datos con los que evalúas. La validación cruzada ayuda a que la mejora sea real, no un espejismo. Si solo estás comparando dos productos ya fijos, suele ser menos crítica.

11. Errores comunes

• Medir sin objetivo y luego “buscar una historia” que encaje
• No usar baseline y confundir suerte con mejora
• Comparar métricas de periodos con tasa base distinta (sin estratificar)
• Exigir precisión puntual cuando el problema es espacial (y frustrarse)
• Quedarse con una sola métrica y ocultar trade-offs (mover el problema)

12. Buenas prácticas

• 2 métricas máximo por objetivo + 1 gráfico simple
• Siempre baseline
• Estratifica por régimen cuando puedas
• En probabilidades: fiabilidad primero (y luego discriminación)
• Termina con una acción concreta (si no hay acción, la métrica sobra)

13. Resumen y claves finales

• Verificación operativa = medir para decidir, no medir para impresionar
• Define objetivo y tipo de error (intensidad/posición/timing) antes de elegir métrica
• Baseline evita autoengaños y te dice si hay skill real
• Lluvia convectiva pide neighborhood; viento pide sesgo por rangos; niebla pide ventanas y timing
• Si la métrica no cambia una acción, probablemente no merece tu tiempo

14. Mini-glosario

• Bias: tendencia a pasarse/quedarse corto.
• Brier score: error de probabilidades en eventos (más bajo, mejor).
• CRPS: score probabilístico para distribuciones/ensembles (más bajo, mejor).
• Baseline: referencia simple para medir skill real.
• Neighborhood: verificación que acepta acierto “cerca” dentro de un radio.

15. Referencias y lecturas recomendadas

• AEMET: documentación y recursos de predicción/verificación (según productos)
• NOAA: guías y materiales de verificación y probabilístico
• WMO: definiciones, glosarios y buenas prácticas