Elegir mal la métrica es como medir una mesa con una regla torcida: el número sale, pero la conclusión es basura. Y en verificación del tiempo esto pasa muchísimo: se usa correlación cuando importa el umbral, RMSE cuando importa el sesgo, o AUC cuando lo que duele son falsas alarmas. Aquí tienes una comparación clara (sin humo) de métricas típicas y cuándo usarlas, teniendo en cuenta que el dato de referencia también tiene sesgos. Incluimos ejemplos con viento y tormentas convectivas, y un checklist específico para no autoengañarse verificando precipitación.

Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.

1. Qué es y por qué importa

Comparar métricas es aprender qué pregunta responde cada una. Una métrica no “dice si eres bueno”: dice si eres bueno para una tarea concreta y con un operador concreto (punto vs área, ventana temporal, umbral). Y si el dato de referencia está sesgado o mal representado, la métrica puede premiar lo que no toca.

2. Idea clave en 30 segundos

• En una frase: primero decide qué quieres mejorar, luego elige la métrica que mide eso y verifica con la referencia adecuada
• Señal típica: correlación alta pero fallas el umbral operativo
• Confusión común: AUC alta = buen pronóstico (no necesariamente)

3. Mapa rápido: objetivo → métrica recomendada

• ¿Sesgo sistemático? bias (y su tendencia).
• ¿Error típico diario? MAE.
• ¿Extremos importan mucho? RMSE + análisis de episodios.
• ¿Evento sí/no (umbral)? matriz de confusión (falsas alarmas y fallos).
• ¿Probabilidad? fiabilidad/calibración (y luego discriminación).
• ¿Campo espacial (convectiva)? neighborhood/object-based.

4. MAE vs RMSE (y por qué no son “lo mismo”)

• MAE: mide el error típico, es robusta a outliers.
• RMSE: penaliza más los errores grandes; útil si te importan extremos.
• Trampa común: “bajar RMSE” a costa de aumentar sesgo o falsas alarmas.

5. Correlación: cuándo sirve y cuándo engaña

• Sirve: para ver si sigues la variabilidad (tendencias).
• Engaña: puedes tener correlación alta y estar sistemáticamente desplazado (bias) o fallar en umbrales.

6. Eventos y umbrales: por qué manda la matriz de confusión

Si tu decisión es “activar aviso” o “publicar alerta”, lo que importa son falsas alarmas y fallos. Una métrica global no lo sustituye. La matriz te dice qué tipo de fallo estás cometiendo.

7. AUC/ROC: útil, pero con matices

• Qué mide: discriminación (separar evento/no-evento).
• No mide: calibración ni coste/impacto.
• Trampa: AUC alta pero probabilidades mal calibradas o FAR alto en el umbral operativo.

8. Fiabilidad/calibración: cuando trabajas con probabilidades

Si dices “40% de tormenta”, eso exige fiabilidad: que, en promedio, cuando dices 40%, ocurra aproximadamente 4 de cada 10. Si no, el usuario aprende a no creerte.

9. Ejemplos rápidos (viento y tormentas)

• Viento: correlación buena pero bias por dirección → necesitas bias estratificado y matriz para rachas > X.
• Tormentas convectivas: RMSE/punto se rompe por desplazamiento → necesitas operador espacial (neighborhood/object-based) y matriz por umbral.

10. Convectiva: checklist de errores típicos al verificar precipitación

• Verificar punto cuando el objetivo es areal (sin neighborhood/FSS)
• Ventana temporal incorrecta (1–3h vs 24h)
• Penalizar desplazamiento como fallo total
• Radar sin QC como “verdad”
• No separar convectivo/estratiforme
• Quedarse con AUC/correlación y olvidar FAR/misses

11. Errores comunes

• Usar una sola métrica para decidir
• No comparar contra baseline
• Ignorar sesgos de la referencia

12. Buenas prácticas

• Decisión primero, métrica después
• Siempre bias+MAE (mínimo) y matriz para eventos
• Probabilístico: fiabilidad + ROC
• Convectiva: operador espacial, sí o sí

13. Resumen y claves finales

• MAE = error típico; RMSE = castiga extremos
• Correlación sirve para variabilidad, no para umbrales
• Eventos: manda la matriz de confusión
• AUC = discriminación, no calibración
• Probabilidades: fiabilidad es la base

14. Mini-glosario

• Bias: error medio (sesgo)
• MAE: error absoluto medio
• RMSE: raíz del error cuadrático medio
• AUC: área bajo la curva ROC
• Fiabilidad: calibración probabilística

15. Referencias y lecturas recomendadas

• WMO: verificación y glosarios
• NOAA: recursos y guías de métricas
• Met Office: verificación operativa