Identificare gli Outlier: Guida Pratica e 6 Esercizi su Metodo IQR e MAD

Quando si lavora con i dati, prima o poi ci si imbatte in un problema apparentemente banale ma in realtà cruciale: la presenza degli outlier.

Un sensore che registra un valore impossibile. Un cliente che effettua un acquisto dieci volte superiore alla media. Un rendimento finanziario fuori scala. Un errore di inserimento dati che trasforma 120 euro in 12.000 euro.

La domanda è sempre la stessa:

quel valore è un errore oppure rappresenta un’informazione importante?

In Data Science la risposta non può essere affidata all’intuizione. Occorrono metodi robusti, riproducibili e statisticamente fondati.

Tra le tecniche più utilizzate troviamo due approcci particolarmente interessanti:

• IQR (Interquartile Range)
• MAD (Median Absolute Deviation)

Entrambi hanno una caratteristica fondamentale: utilizzano la mediana invece della media e risultano quindi molto meno sensibili alla presenza di valori estremi.

In questo articolo vedremo come funzionano, quando conviene utilizzarli e quali problemi possono emergere nei dataset reali.

---

Perché la media è spesso una cattiva idea

Supponiamo di avere i seguenti valori:

[math]10,\; 11,\; 12,\; 13,\; 14,\; 200[/math]

La media vale:

[math]\displaystyle \bar{x} = 43.3[/math]

Un valore che non rappresenta affatto il comportamento tipico del dataset.

La mediana invece è:

[math]12.5[/math]

Molto più vicina alla realtà.

Per questo motivo la statistica robusta preferisce costruire gli algoritmi di rilevazione delle anomalie attorno alla mediana.

---

Metodo 1: Interquartile Range (IQR)

L’Interquartile Range misura la dispersione del 50% centrale dei dati.

Si definisce come:

[math]\text{IQR} = Q_3 – Q_1[/math]

dove:

• [math]Q_1[/math] = primo quartile (25° percentile)
• [math]Q_3[/math] = terzo quartile (75° percentile)

Una volta calcolato l’IQR si costruiscono due soglie:

Limite inferiore:

[math]\displaystyle Q_1 – 1.5 \times \text{IQR}[/math]

Limite superiore:

[math]\displaystyle Q_3 + 1.5 \times \text{IQR}[/math]

I valori che si trovano oltre questi limiti vengono classificati come outlier.

---

Metodo 2: Median Absolute Deviation (MAD)

Il MAD misura quanto le osservazioni si allontanano dalla mediana.

La definizione è:

[math]\text{MAD} = \operatorname{mediana}\bigl(|x_i – \operatorname{mediana}(x)|\bigr)[/math]

Il procedimento è semplice:

1. calcolare la mediana dei dati;
2. calcolare le distanze assolute dalla mediana;
3. trovare la mediana di tali distanze.

A differenza dell’IQR, il MAD considera la distanza di ogni osservazione dal centro della distribuzione.

---

Il MAD normalizzato: la versione usata in Data Science

Nella pratica professionale si utilizza spesso una versione scalata del MAD:

[math]\text{MAD}_n = 1.4826 \cdot \text{MAD}[/math]

Il fattore [math]1.4826[/math] rende il MAD confrontabile con la deviazione standard quando i dati seguono una distribuzione normale.

Questo porta a un indicatore molto utilizzato:

Robust Z-Score

[math]\displaystyle z_r = \frac{x_i – \operatorname{mediana}(x)}{1.4826 \cdot \text{MAD}}[/math]

Regola pratica:

• [math]|z_r| > 2.5[/math] → possibile outlier
• [math]|z_r| > 3.5[/math] → outlier molto probabile

Molti sistemi di monitoraggio automatico utilizzano proprio questa variante.

---

Esempio pratico: rilevamento anomalie nei tempi di consegna

Supponiamo di osservare:

[math]2,\; 3,\; 4,\; 5,\; 7,\; 9,\; 9,\; 25[/math]

La mediana vale:

[math]6[/math]

Gli scostamenti assoluti diventano:

[math]4,\; 3,\; 2,\; 1,\; 1,\; 3,\; 3,\; 19[/math]

La loro mediana è:

[math]\text{MAD} = 3[/math]

Utilizzando:

[math]k = 2.5[/math]

otteniamo:

[math]2.5 \times 3 = 7.5[/math]

Poiché:

[math]|25 – 6| = 19[/math]

il valore 25 viene classificato come outlier.

---

IQR vs MAD: differenze operative

---

Caso reale: analisi degli stipendi

Consideriamo:

[math]1200,\; 1250,\; 1300,\; 1320,\; 1350,\; 1400,\; 1600,\; 2500[/math]

L’IQR individua come anomalo solamente:

[math]2500[/math]

Il MAD invece segnala:

• 1600
• 2500

Questo non significa che il MAD sia “migliore”.

Significa semplicemente che è più severo.

Nel contesto degli stipendi è plausibile che esistano figure più senior o ruoli manageriali.

In questo caso l’IQR tende a produrre meno falsi positivi.

---

Il problema del masking

Uno dei fenomeni più insidiosi nell’analisi degli outlier è il cosiddetto masking.

Consideriamo:

[math]25,\; 28,\; 30,\; 32,\; 33,\; 35,\; 36,\; 40,\; 120,\; 210[/math]

L’IQR individua correttamente:

• 120
• 210

come valori anomali.

Ora aggiungiamo:

[math]1000[/math]

Il terzo quartile aumenta drasticamente.

L’IQR cresce.

Le soglie si allargano.

Paradossalmente 120 e 210 possono smettere di essere classificati come outlier.

L’anomalia estrema ha “nascosto” le anomalie meno estreme.

Questo fenomeno prende il nome di masking ed è uno dei motivi per cui in applicazioni critiche vengono spesso utilizzati approcci robusti multipli.

---

Serie temporali: il caso che inganna molti data scientist

Supponiamo di osservare una temperatura che cresce lentamente durante la giornata:

[math]18.2,\; 18.5,\; 18.7,\; 19.0,\; 19.2,\; 19.3,\; 19.4,\; 19.5,\; 19.6,\; 19.7,\; 19.8,\; 30.1[/math]

Il valore 30.1 è chiaramente un’anomalia.

Tuttavia il MAD applicato all’intera serie potrebbe classificare come anomali anche alcuni valori iniziali.

Perché?

Perché il metodo confronta tutto con una mediana globale.

La serie però possiede un trend.

In presenza di trend o stagionalità è buona pratica:

• rimuovere il trend;
• utilizzare finestre mobili;
• applicare il MAD ai residui.

Questa è la logica utilizzata in molti sistemi di anomaly detection industriale.

---

Finanza: quando le code pesanti complicano tutto

I rendimenti finanziari raramente seguono una distribuzione normale.

Presentano spesso:

• leptocurtosi;
• volatilità variabile;
• code pesanti.

In queste condizioni una soglia standard come:

[math]k = 2.5[/math]

può generare moltissimi falsi allarmi.

Non è il MAD a fallire.

È la soglia che è stata calibrata per distribuzioni molto più regolari.

Per questo motivo nei modelli quantitativi vengono spesso utilizzati:

• MAD con soglie adattive;
• Robust Z-Score dinamici;
• filtri di Hampel;
• modelli GARCH sui residui.

---

Quando usare IQR e quando usare MAD

---

Errori comuni nell’identificazione degli outlier

Eliminare automaticamente gli outlier

Un outlier potrebbe rappresentare l’evento più importante del dataset. Una frode bancaria, un guasto industriale o una vendita eccezionale sono spesso proprio gli outlier.

Utilizzare la deviazione standard su dati non normali

Molti dataset reali non seguono una distribuzione gaussiana. I metodi robusti risultano generalmente più affidabili.

Ignorare trend e stagionalità

Una crescita costante può essere interpretata erroneamente come anomalia.

Utilizzare sempre le stesse soglie

I valori 1.5 (IQR) e 2.5 (MAD) non sono leggi universali. Sono semplicemente convenzioni.

Confondere anomalia ed errore

Un valore insolito non è necessariamente sbagliato. Spesso rappresenta proprio il fenomeno che stiamo cercando di individuare.

---

Conclusioni

IQR e MAD rappresentano due degli strumenti più importanti della statistica robusta.

L’IQR è intuitivo, facilmente visualizzabile e perfetto per l’analisi esplorativa dei dati.

Il MAD è più adatto a pipeline automatizzate, sistemi di monitoraggio e algoritmi di anomaly detection.

Nella pratica professionale raramente si sceglie un solo metodo. I data scientist più esperti confrontano più indicatori robusti e interpretano i risultati alla luce del dominio applicativo.

Perché la domanda corretta non è:

“Questo valore è un outlier?”

ma piuttosto:

“Perché questo valore è diverso dagli altri e cosa può insegnarci sul fenomeno che stiamo osservando?”