En operación, verificar no es “sacar numeritos bonitos”: es tomar decisiones. ¿Cambio el modelo? ¿Ajusto un umbral de aviso? ¿Calibro probabilidades? ¿Me fío del radar como referencia? El problema es que si el dato de referencia o el operador están mal, puedes “mejorar” métricas y empeorar el servicio real. Este artículo te enseña un uso operativo de métricas con QC incorporado: cómo elegir qué medir, cómo comparar contra baselines, cómo usar matriz de confusión sin autoengañarte, y qué hacer en convectiva (neighborhood) y en probabilístico (Brier score y rank histogram). Incluye ejemplos concretos de lluvia intensa, viento y niebla.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Uso operativo = traducir verificación en decisiones: qué cambiar, qué mantener y qué comunicar. Lo importante no es la métrica “máxima”, sino la métrica que representa tu objetivo (seguridad, continuidad, coste de falsos avisos) y que está calculada con un QC y un operador coherentes.

2. Idea clave en 30 segundos

• En una frase: decide mejoras midiendo lo que importa, con baseline y QC, no solo con una métrica
• Señal típica: mejoras RMSE pero empeoras avisos (FAR sube) o viceversa
• Confusión común: optimizar un score y romper el servicio en un régimen (convectiva, niebla)

3. Receta operativa en 5 pasos (repetible cada semana/mes)

3.1 Paso 1: define la decisión (qué quieres mejorar)

• Ejemplos: detectar lluvia >20 mm/1h, reducir falsos avisos de viento >70 km/h, mejorar probas de niebla (vis<1000 m)
• Define coste: ¿qué duele más, miss o false alarm?

3.2 Paso 2: audita QC del observado y del operador

• Observado: huecos, ceros falsos, sensor clavado, subcaptura, sesgos radar
• Operador: ventana temporal (1h/3h), punto vs área, definición de evento

3.3 Paso 3: elige baseline(s) obligatorios

• Persistencia: “mañana como ahora” (útil en viento/niebla a corto plazo)
• Climatología: frecuencia típica por mes/hora (clave en niebla)
• Regla: si no mejoras baseline fuera de muestra, la mejora no es real (o no es útil)

3.4 Paso 4: elige el set mínimo de métricas

• Determinista (continuas): MAE (robusta) y RMSE (penaliza outliers) para variables como viento/temperatura
• Eventos (sí/no): matriz de confusión + POD/FAR/CSI, siempre por umbral operativo
• Probabilístico: Brier score (y descomposición conceptual en fiabilidad/resolución) + rank histogram (ensembles)
• Espacial convectiva: neighborhood/FSS para QPF intensa

3.5 Paso 5: decide la acción y valida que no rompes otra cosa

• Acción típica: ajustar umbral, calibrar probas, cambiar postproceso, cambiar operador
• Guardarraíl: medir también un “métrico de seguridad” (p. ej. misses de lluvia intensa) para no optimizar a costa de riesgos

4. Cómo usar matriz de confusión sin autoengañarte

• Hits: avisaste y ocurrió
• Misses: no avisaste y ocurrió (suele ser el coste alto)
• False alarms: avisaste y no ocurrió (desgasta confianza)
• Correct negatives: no avisaste y no ocurrió (no te enamores de este número: suele dominar)
• Consejo: reporta siempre el base rate (frecuencia del evento). Sin eso, POD/FAR engañan.

5. Ejemplo 1: lluvia intensa convectiva (QPF >20 mm/1h)

• Problema típico: el núcleo cae 10–20 km desplazado
• Qué hacer: usar neighborhood (p. ej. radio 10–20 km) y comparar skill espacial (FSS) además de matriz de confusión
• QC clave: evitar missing→0; auditar radar (atenuación) si lo usas como referencia
• Decisión: si mejora el FSS y bajas misses sin disparar FAR, el cambio es útil

6. Ejemplo 2: viento (rachas >70 km/h)

• Determinista: MAE para error típico; RMSE para castigar picos
• Evento: matriz de confusión por umbral
• Baseline: persistencia suele ser fuerte a pocas horas; si no la mejoras, revisa operador o resolución
• Decisión: ajustar umbral o postproceso por régimen (frontal vs convectivo)

7. Ejemplo 3: niebla (vis<1000 m)

• Evento raro: base rate bajo, correct negatives dominan
• Probabilístico: Brier score + fiabilidad (si existe) y POD/FAR por umbral
• QC clave: definición consistente (visibilidad, punto de rocío, humedad) y estaciones representativas
• Decisión: calibrar probabilidades y comunicar incertidumbre (no “sí/no” duro)

8. Errores comunes

• Optimizar RMSE ignorando misses de eventos severos
• No usar baseline y cantar victoria
• Usar punto a punto en convectiva y concluir que “no sirve”
• Mezclar ventanas y umbrales sin documentar
• Calibrar probas con referencia ruidosa (overfitting)

9. Buenas prácticas

• QC + operador documentados
• Set mínimo de métricas, pero coherente con la decisión
• Baselines obligatorios
• Estratificar por régimen e intensidad
• Validación fuera de muestra si ajustas/calibras

10. Resumen y claves finales

• Verificación operativa = decidir cambios, no coleccionar métricas
• QC y operador son parte de la verificación
• Baselines te protegen del autoengaño
• Convectiva: neighborhood/FSS u otros enfoques espaciales
• Probabilístico: Brier + rank histogram como brújula

11. Mini-glosario

• MAE: error absoluto medio (robusto)
• RMSE: raíz del error cuadrático medio (penaliza outliers)
• Brier score: error cuadrático para probabilidades
• Rank histogram: diagnóstico de dispersión/fiabilidad en ensembles
• Neighborhood: operador espacial para tolerar desplazamiento

12. Referencias y lecturas recomendadas

• UCAR/COMET: fundamentos y prácticas de verificación
• NOAA: forecast verification resources
• WMO: guías y glosarios de verificación