Si eliges mal la métrica, puedes “ganar” en la tabla y perder en la realidad. Este artículo te ayuda a elegir qué métrica usar según la pregunta (error típico, extremos, eventos, probabilidades, convección) y a evitar confusiones clásicas (correlación alta = bueno, un RMSE mejor = siempre mejor, o comparar modelos sin baseline).
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Si quieres la elección rápida: “Mapa métrica→pregunta”.
- Si verificas lluvia: “Eventos y umbrales” + “Checklist convectiva”.
- Si usas probabilidades: “Brier y fiabilidad”.
- Relacionado:
observacion,tormentas_conveccion - Tags:
briercalibracionmae - Keywords:
MAEclimatologíacorrelaciónmatriz de confusión
1. Qué es y por qué importa
Una métrica es una respuesta numérica a una pregunta. El problema es que mucha gente usa una métrica para contestar otra pregunta distinta. Resultado: autoengaño y discusiones eternas. Aquí hacemos el “traductor” métrica→uso correcto.
2. Idea clave en 30 segundos
- En una frase: primero decide la pregunta; luego eliges la métrica
- Señal típica: un modelo “mejor” en correlación, peor en eventos de impacto
- Confusión común: comparar números sin baseline (climatología/persistencia)
3. Mapa rápido: qué métrica usar según la pregunta
- ¿Cuál es el error típico? MAE.
- ¿Me penalizan mucho los errores grandes? RMSE (y compáralo con MAE).
- ¿Voy sistemáticamente alto/bajo? Bias.
- ¿Detecto eventos por encima de un umbral? Matriz de confusión + POD/FAR/CSI.
- ¿Mis probabilidades son honestas? Brier + fiabilidad.
- ¿Aporto valor frente a “lo normal”? Skill vs climatología/persistencia.
- ¿Mi serie se parece en forma? Correlación (pero ojo: no mide error absoluto).
4. Por qué la correlación engaña tanto
La correlación te dice si sube y baja “a la vez”, no si aciertas valores. Puedes tener correlación alta y un sesgo enorme (siempre 3–4 ºC por encima). Úsala solo como apoyo para “forma”, nunca como métrica principal de calidad.
5. Continuo vs evento: no mezcles
- Continuo: temperatura, viento medio, presión → MAE/RMSE/bias.
- Evento: lluvia > 20 mm, racha > 80 km/h → matriz por umbral.
Si verificas lluvia intensa solo con MAE, te puedes creer que vas bien aunque falles lo importante.
6. Probabilidades: el bin alto es tu detector de sobreconfianza
Si dices 80–100% y ocurre mucho menos, hay sobreconfianza. El Brier resume, pero la fiabilidad te dice dónde se rompe (en bins bajos o altos).
7. Ejemplos rápidos (vida real)
- Temperatura: MAE pequeño pero bias positivo persistente → corrección de sesgo.
- Lluvia intensa: MAE aceptable pero POD bajo en > 60 mm → el problema no es “promedio”, es detección de extremos.
- Ensembles: Brier mejora pero fiabilidad en bin alto empeora → probabilidades demasiado agresivas.
8. Errores comunes
- Usar correlación como “nota final”.
- No separar por régimen (convectivo vs estratiforme).
- Comparar modelos sin baseline (climatología/persistencia).
- Quedarse con un único umbral en eventos.
9. Buenas prácticas
- 1–3 métricas, no 20: elige las que responden a tu pregunta.
- Siempre baseline: si no, cualquier mejora puede ser espejismo.
- Eventos: 2–3 umbrales + matriz.
- Prob: Brier + fiabilidad por bins.
10. Resumen y claves finales
- La métrica se elige según la pregunta
- Correlación no es calidad; es “forma”
- Continuo y evento se verifican distinto
- En probabilístico, Brier y fiabilidad son pareja
- Baseline evita autoengaños
11. Mini-glosario
- MAE: error medio absoluto
- RMSE: error cuadrático medio (castiga outliers)
- Bias: sesgo
- Matriz de confusión: tabla por umbral
- Brier: score de probabilidades
12. Referencias y lecturas recomendadas
- WMO: guías de verificación y probabilístico
- NOAA: materiales de verificación
- AEMET: recursos de predicción/verificación