Las métricas no están para “sacar nota”, sino para tomar decisiones: qué mejorar primero, qué cambio merece la pena, y cuándo un resultado es real o es ruido. El problema es que el dato de referencia (pluvio, radar, anemómetro, visibilidad) tiene sesgos y límites; si no los entiendes, acabas optimizando una métrica y empeorando lo importante. Aquí lo convertimos en un uso operativo, con ejemplos de lluvia intensa, viento y niebla: qué métrica sí sirve, cuál engaña, y qué acciones salen de cada patrón.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Operativamente, “verificar” significa responder a tres preguntas: (1) ¿cómo de bien lo hacemos hoy?, (2) ¿dónde fallamos y por qué?, (3) ¿qué cambio mejora de verdad sin romper lo demás? La referencia importa porque define lo que consideras “verdad”: un pluvio mide un punto, un radar mide un campo con errores conocidos, y la niebla depende mucho de cómo defines visibilidad o techo de nubes.

2. Idea clave en 30 segundos

• En una frase: elige métricas según tu decisión; compara contra baseline; revisa sesgos de la referencia antes de tocar el modelo
• Señal típica: RMSE baja pero FAR sube (mejor “número”, peor operación)
• Confusión común: correlación/ROC alta = “ya está arreglado”

3. Qué métrica usar según el tipo de problema

• Valor continuo (temperatura, viento medio): bias + MAE (y RMSE si te importan picos).
• Eventos (umbral): matriz de confusión → falsas alarmas y fallos.
• Probabilístico: fiabilidad (calibración) + ROC (discriminación).
• Espacial (precipitación convectiva): métricas tipo neighborhood u object-based cuando el punto es injusto.

4. Baseline: la pregunta que evita autoengaños

Antes de celebrar una mejora, compárala con un baseline simple: climatología, persistencia o “no evento”. Si no ganas al baseline, no es mejora, es decoración.

5. Ejemplo 1: lluvia intensa (QPF)

• Problema típico: “me falla por desplazamiento”.
• Métrica que engaña: error puntual en un pluvio si el objetivo era areal.
• Métricas que sí sirven: matriz de confusión por umbral (p. ej. > 20 mm/24h) y, si se puede, neighborhood/object-based.
• Decisión operativa: ajustar umbrales/zonificación y comunicar incertidumbre; no perseguir el punto exacto.

6. Ejemplo 2: viento

• Problema típico: sesgo por exposición (anemómetro en mala ubicación) o por representatividad (orografía).
• Métrica que engaña: un RMSE alto por unas pocas rachas extremas.
• Métricas que sí sirven: bias por dirección o por rango; matriz para evento (racha > X km/h).
• Decisión operativa: estratificar por dirección/entorno y revisar la referencia (exposición) antes de retocar el sistema.

7. Ejemplo 3: niebla

• Problema típico: definir “niebla” (visibilidad < 1 km) o “baja visibilidad” cambia todo.
• Métrica que engaña: acertar muchas “no niebla” y creer que eres buenísimo.
• Métricas que sí sirven: matriz de confusión (eventos raros), y si es probabilístico, fiabilidad para la probabilidad de niebla.
• Decisión operativa: elegir umbral útil (impacto) y validar con observaciones coherentes (METAR, sensor local, webcam).

8. Señales de overfitting (cuando una mejora es humo)

• Mejora enorme en el periodo ajustado, no se sostiene después
• Una métrica mejora y otra clave empeora (por ejemplo FAR)
• El sistema se vuelve “seguro” y falla en los casos de impacto

9. Errores comunes

• Optimizar RMSE global y empeorar eventos
• No documentar cambios de referencia
• Comparar periodos con regímenes distintos sin estratificar

10. Buenas prácticas

• Define la decisión primero, y la métrica después
• Siempre baseline
• Panel semanal fijo: bias/MAE + matriz de eventos
• En probabilístico: fiabilidad además de ROC

11. Resumen y claves finales

• Las métricas sirven para decidir, no para presumir
• Referencia con sesgos: entenderla es parte de verificar
• Eventos: matriz de confusión manda
• Probabilístico: fiabilidad + ROC
• Overfitting: mejora que no se sostiene es humo

12. Mini-glosario

• Baseline: referencia simple (climatología/persistencia)
• Fiabilidad: calibración de probabilidades
• ROC: discriminación evento/no-evento
• Overfitting: ajuste excesivo al periodo de entrenamiento

13. Referencias y lecturas recomendadas

• WMO: verificación
• NOAA: guías de verificación
• Met Office: recursos de verificación