La manera más rápida de entender por qué la climatología como baseline es imprescindible es verla en acción con casos reales de operativa: lluvia intensa, viento y niebla. En los tres, si no comparas contra climatología (y cuando toca, persistencia), puedes sacar métricas “bonitas” y aun así fallar justo donde duele. Aquí vamos con ejemplos paso a paso: qué mirar, qué métricas sí sirven, cuáles engañan, y cómo traducir números en decisiones.
Este artículo forma parte del tema Verificación en WikiMeteo.es, donde reunimos conceptos y guías prácticas para entender mejor el tiempo y el clima.
Accesos directos:
- Lluvia intensa (evento): secciones 4–6.
- Viento (continuo + percentiles): secciones 7–9.
- Niebla (persistencia): secciones 10–12.
- Relacionado:
tormentas_conveccion,modelos_prediccion - Tags:
biasbriermae - Keywords:
AUCETSbaselinefiabilidad
1. Qué es y por qué importa
Un baseline es tu “rival mínimo”. Si tu sistema no mejora a la climatología (o a la persistencia en ventanas cortas), entonces el sistema puede ser bonito pero no útil. El problema es que algunos números (como la correlación o una AUC aislada) pueden dar sensación de calidad aunque la utilidad operativa sea mala (muchas falsas alarmas, sesgo sistemático, o probabilidades poco honestas).
2. Idea clave en 30 segundos
- En una frase: sin baseline, no sabes si mejoras o solo te estás contando una historia
- Señal típica: “mi score subió” pero el skill vs climatología es ~0
- Confusión común: usar una sola métrica y mezclar casos fáciles con difíciles
3. Cómo leer los casos (mini-guía)
- Paso 1: define el fenómeno y el umbral (evento) o la variable (continuo).
- Paso 2: fija baseline(s): climatología condicional + persistencia si aplica.
- Paso 3: elige 3–5 métricas máximo, alineadas con la decisión.
- Paso 4: interpreta: ¿sesgo? ¿falsas? ¿sobreconfianza? ¿localización?
- Paso 5: decide una acción (ajuste/calibración/segmentación).
4. Caso 1: lluvia intensa (evento) en Mediterráneo
Situación: queremos verificar “lluvia intensa” en 24 h en una zona costera con tormenta convectiva local. Definimos umbral (ej.): ≥ 50 mm/24 h (ajústalo a tu climatología regional). La clave es que la convectiva es local: punto a punto puede castigar desplazamientos.
5. Qué baseline usar
- Climatología condicional: probabilidad típica de ≥50 mm/24 h en esa época y zona (por mes/estación).
- (Opcional) Persistencia: menos útil en 24 h de convectiva, pero puede servir como referencia secundaria.
6. Métricas que sí sirven (y cómo se interpretan)
- ETS (o CSI): mide acierto equilibrando hits y falsas; mejor que accuracy con eventos raros.
- POD: “¿cuántos episodios pillo?”; si baja, pierdes eventos.
- FAR: “¿cuántas falsas genero?”; si sube, fatigas a usuarios.
- Bias (de eventos): si >1 sobrealertas; si <1 infraalertas.
- Nota convectiva: si ETS bajo punto a punto pero sube con tolerancia espacial (neighborhood/object-based), el problema es localización/timing.
7. Caso 2: viento (continuo) con rachas
Situación: verificamos racha máxima (km/h) en 0–24 h. Aquí la correlación puede ser buena, pero el sesgo en rachas fuertes puede ser el fallo real.
8. Baseline y métricas útiles
- Baseline climatológico: percentiles de racha por mes/zona (P50/P90/P95).
- MAE: error medio absoluto (fácil de explicar).
- RMSE: castiga fallos grandes (ojo con extremos).
- Bias: si sistemáticamente infrapredices rachas fuertes.
- Percentiles: compara desempeño en P90/P95 (extremos) además del promedio.
9. Lectura rápida (viento)
- Correlación alta + bias negativo: “clava la forma” pero se queda corto en picos → acción: corrección por régimen/exposición, o postproceso.
- MAE buena en promedio pero mala en P95: el sistema es útil para el día a día, pero no para avisos → segmentar por intensidad.
10. Caso 3: niebla (evento) en ventana corta
Situación: verificamos niebla (sí/no) en 0–6 h. En esto, persistencia suele ser un baseline durísimo: “si había niebla, seguirá; si no, no”. Si tu sistema no gana a persistencia, ojo.
11. Baselines y métricas
- Persistencia: baseline principal en 0–6 h.
- Climatología: baseline secundario (frecuencia de niebla por mes/zona/hora).
- Matriz de confusión: POD (detección) y FAR (falsas), y CSI/ETS si lo aplicas.
- Bias: si produces demasiadas falsas nieblas o te quedas corto.
12. Probabilístico: fiabilidad y Brier (por qué importan)
Si das probabilidades (p. ej., 60% de niebla), necesitas que sean honestas: cuando dices 60%, debería ocurrir ~6 de cada 10. Eso se ve con fiabilidad (reliability) y se resume con Brier score. Una AUC alta solo dice que ordenas bien casos, pero no que tus probabilidades estén bien calibradas.
13. Errores comunes que aparecen en estos casos
- Comparar solo con climatología anual (sin condicionar)
- Usar solo correlación (viento) o accuracy (lluvia intensa/nievebla)
- Ignorar persistencia en niebla a corto plazo
- Convectiva punto a punto sin tolerancia
- AUC sin fiabilidad (probabilidades sobreconfiadas)
14. Resumen y claves finales
- Baseline condicional = higiene básica
- Lluvia intensa: ETS/CSI + POD/FAR + tolerancia espacial si convectiva
- Viento: MAE/RMSE + bias + percentiles (P90/P95)
- Niebla: persistencia manda en 0–6 h
- Probabilístico: Brier + fiabilidad, no solo AUC
15. Mini-glosario
- ETS: equitable threat score (aciertos equilibrados en evento)
- POD: probabilidad de detección
- FAR: tasa de falsas alarmas
- Fiabilidad: calibración de probabilidades
16. Referencias y lecturas recomendadas
- AEMET: documentación y materiales de predicción y verificación
- NOAA: guías de verificación y scores
- WMO: recomendaciones y definiciones estándar