Ti è mai capitato di guardare una colonna di numeri e notare un valore che stona con tutto il resto? Un 100 in una serie di 10, 12, 15.
Quel “battitore libero” è un outlier. A prima vista, la tentazione è di cancellarlo e andare avanti. Ma in un’analisi dati seria, l’istinto non basta: serve un metodo.
Questi valori anomali non sono solo curiosità statistiche. Possono distorcere completamente una media, ingannare un modello di machine learning e portare a conclusioni disastrosamente sbagliate.
In questo articolo, andiamo oltre l’intuito. Vedremo come usare la statistica e la libreria Pandas per identificare, capire e gestire questi dati in modo sistematico. Impareremo la differenza chiave tra il robusto metodo IQR e il classico Z-score, e scopriremo perché, a volte, un metodo sembra “fallire” (e perché non è affatto un fallimento, ma un’informazione preziosa).
1. Cos’è un Outlier e Perché Dovrebbe Importarci?
Un outlier è un valore che si discosta significativamente dagli altri dati in un dataset. Ma il contesto è tutto. Un outlier non è sempre “sbagliato”, a volte è l’informazione più importante.
E-commerce: Stai analizzando i tempi di acquisto. Un outlier (es. 20 giorni) è un cliente che ha dimenticato un carrello? O un errore nel logging?
Finanza: Analizzi i rendimenti azionari. Un outlier con Z-score altissimo potrebbe essere un crollo di mercato (un “cigno nero”) o un’opportunità di trading.
Medicina: In un set di dati sui battiti cardiaci, un outlier potrebbe essere un errore del sensore (da rimuovere) o un evento cardiaco (da investigare immediatamente).
Capire quale metodo usare (IQR o Z-score) e come reagire (rimuovere, correggere o investigare) è fondamentale.
Statisticamente, l’identificazione avviene principalmente con due metodi:
Metodo IQR (Interquartile Range): Robusto e non assume una distribuzione normale.
Metodo Z-score: Basato sulla deviazione standard, ideale per dati con distribuzione normale (gaussiana).
2. Metodo 1: Calcolo Outlier con IQR (Il Metodo Robusto)
Pubblicità
Utilizziamo il metodo IQR per definire i limiti di tolleranza di un dataset. Questo metodo si basa sui quartili ed è “robusto” perché non è influenzato dai valori estremi stessi.
Python
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
# Creiamo un DataFrame di esempio
df = pd.DataFrame({
'valori': [10, 12, 13, 15, 18, 19, 20, 21, 22, 100]
})
print(df)
Calcoliamo IQR (Interquartile Range)
L’IQR è la “scatola” che contiene il 50% centrale dei dati. È la differenza tra il terzo quartile ([math]Q_3[/math], il 75° percentile) e il primo quartile ([math]Q_1[/math], il 25° percentile).
Il valore 100 è correttamente identificato come outlier in quanto [math]100 > 31.625[/math].
3. Metodo 2: Calcolo Outlier con Z-score (Il Metodo Classico)
Pubblicità
Il metodo Z-score identifica gli outlier come punti dati che si discostano dalla media ([math]\mu[/math]) per un numero prestabilito di deviazioni standard ([math]\sigma[/math]).
Generalmente, una soglia di [math]\pm 3[/math] viene usata per dati normalmente distribuiti.
La formula è:
[math]\displaystyle \begin{aligned}
Z &= \frac{x – \mu}{\sigma}
\end{aligned}[/math]
Come vedi, anche usando la deviazione standard popolazionale, lo Z-score di 100 è [math]\sim 2.95[/math]. È molto vicino, ma ancora sotto la soglia 3.
5. Perché questo Esercizio è Interessante?
L’esempio [10, 12, …, 22, 100] è brillante per scopi didattici perché mette in crisi un metodo (Z-score) e fa brillare l’altro (IQR).
Dimostra la Non-Robustezza della Media/Std: Lo Z-score si basa su media e deviazione standard. L’esercizio dimostra che un singolo outlier può gonfiare queste metriche a tal punto da “nascondere” sé stesso.
Evidenzia la Robustezza dell’IQR: Al contrario, l’IQR si basa sui quartili. Il valore 100 non ha più influenza sul 75° percentile ([math]Q_3[/math]) di quanta ne avrebbe avuto il valore 23. [math]Q_1[/math] e [math]Q_3[/math] rimangono ancorati al “corpo” principale dei dati.
Lezione Pratica:
Non esiste un solo modo “giusto”.
Se i tuoi dati sono “rumorosi” o non distribuiti normalmente, l’IQR è la tua scelta più sicura.
Se lavori con dati che sai essere distribuiti normalmente, lo Z-score è ottimo per trovare deviazioni standardizzate.
6. Rimozione degli Outlier da un DataFrame (Data Cleaning)
Ora passiamo alla pulizia vera e propria.
1. Rimozione con Metodo IQR
Questa è l’azione più comune. Manteniamo solo la porzione di dati che cade all’interno dei limiti.
Risultato: Il DataFrame non cambia! Come abbiamo dimostrato, lo Z-score di 100 (circa 2.8) è inferiore alla soglia 3, quindi il filtro abs(df['z_score']) <= 3 lo mantiene.
3. Funzione Generica per Più Colonne (IQR)
Nel mondo reale, avrai molte colonne. Ecco una funzione pratica per pulire un intero DataFrame usando il metodo IQR.
Python
def remove_outliers_iqr(df, columns):
"""
Rimuove gli outlier da colonne specifiche di un DataFrame usando il metodo IQR.
"""
df_clean = df.copy()
for col in columns:
Q1 = df_clean[col].quantile(0.25)
Q3 = df_clean[col].quantile(0.75)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR
# Filtraggio
df_clean = df_clean[(df_clean[col] >= lower) & (df_clean[col] <= upper)]
return df_clean
# Esempio d’uso:
df_multi = pd.DataFrame({
'altezza': [160, 162, 165, 170, 175, 300], # 300 è outlier
'peso': [50, 55, 60, 65, 70, 500] # 500 è outlier
})
df_senza_outlier = remove_outliers_iqr(df_multi, ['altezza', 'peso'])
print("\nDataFrame multi-colonna senza outlier:")
print(df_senza_outlier)
La visualizzazione è il modo più rapido per capire la distribuzione.
1. Boxplot (Metodo più Rapido)
Il boxplot è lo strumento standard: è la visualizzazione diretta del metodo IQR. Mostra i quartili (la scatola), i baffi (i limiti) e gli outlier come punti separati.
Il grafico generato in precedenza mostra chiaramente il punto isolato a 100:
Python
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
# Usiamo il DataFrame originale
df_valori = pd.DataFrame({'valori': [10, 12, 13, 15, 18, 19, 20, 21, 22, 100]})
# Creazione del Boxplot
sns.boxplot(x=df_valori['valori'])
# Aggiunta del titolo e visualizzazione
plt.title("Visualizzazione Outlier con Boxplot")
plt.show()
Analisi della Distribuzione Centrale (La “Scatola”)
La scatola blu rappresenta il 50% centrale dei tuoi dati, delimitato dal Primo Quartile (Q1) e dal Terzo Quartile (Q3).
Mediana (linea all’interno della scatola): Si trova al centro della scatola, intorno al valore 18.5. Questo è il 50° percentile.
Q1 (bordo sinistro della scatola): Si trova intorno a 13.5. Il 25% dei dati è inferiore a questo valore.
Q3 (bordo destro della scatola): Si trova intorno a 20.75. Il 75% dei dati è inferiore a questo valore.
La scatola è molto compatta e si estende solo per un piccolo intervallo sull’asse x (da 13.5 a 20.75), indicando che la maggior parte dei valori è concentrata in un intervallo ristretto.
Analisi della Dispersione (I “Baffi” o Whiskers)
I baffi verticali che si estendono dalla scatola indicano la variabilità standard all’interno della distribuzione (escludendo gli outlier).
I baffi si estendono fino al valore più piccolo e più grande che non sono considerati outlier.
Nel nostro caso (dove Q_1 = 13.5 e Q_3 = 20.75), il Limite Superiore IQR calcolato era 31.625.
Il baffle destro si ferma in corrispondenza del valore massimo nel dataset che è inferiore a 31.625 (ovvero 22).
Identificazione dell’Outlier
Il cerchio vuoto isolato sulla destra è l’elemento più importante del grafico:
Posizione: È posizionato esattamente a 100 sull’asse valori.
Significato: Questo punto rappresenta l’Outlier del dataset. Il boxplot identifica tutti i valori che cadono al di fuori dei limiti dei baffi (il Limite Superiore di 31.625 e il Limite Inferiore di 2.625).
Il grafico conferma perfettamente l’analisi statistica IQR: la maggior parte dei dati è saldamente raggruppata tra 10 e 22, mentre il valore 100 è una chiara anomalia statistica che necessita di gestione o di indagine (a seconda del contesto applicativo). La notevole distanza tra la scatola e l’outlier (quasi l’80% dell’asse x) evidenzia l’impatto potenziale di questo singolo dato sull’analisi complessiva.
2. Scatter Plot con Outlier Colorati
Questo metodo richiede il calcolo esplicito dei limiti (es. con IQR) ma offre maggiore controllo.
Lo scatter plot è un ottimo strumento per visualizzare i dati in funzione della loro posizione all’interno del dataset (l’indice) e per evidenziare le anomalie trovate.
Preparazione dei Dati e Colore (hue)
Il passaggio cruciale è la creazione della colonna booleana 'outlier':
True (rosso) ai valori che cadono al di fuori dei limiti IQR calcolati (i.e., il valore 100).
False (blu) ai valori “normali” che rientrano nei limiti (i.e., tutti i valori da 10 a 22).
Struttura del Grafico
Asse X (x=range(len(df))): Rappresenta l’indice di riga del DataFrame (da 0 a 9). Questo serve semplicemente per distribuire i punti orizzontalmente, permettendo di vederli separati.
Asse Y (y='valori'): Rappresenta il valore effettivo del dato.
Risultato Visivo Atteso
Il grafico mostrerà 10 punti dati:
Nove punti blu: I punti corrispondenti agli indici 0-8 (valori da 10 a 22) saranno raggruppati nella parte inferiore del grafico.
Un punto rosso: Il punto corrispondente all’indice 9 (valori 100) sarà isolato molto in alto sul grafico.
Questo tipo di visualizzazione serve a:
Identificazione immediata: Vedere quanto l’outlier si discosti dalla massa.
Verifica: Confermare che la logica di filtro (la colonna 'outlier') ha funzionato correttamente, colorando in rosso solo i dati che superano la soglia del 1.5 x IQR.
Python
# Dati di esempio
df = pd.DataFrame({'valori': [10, 12, 13, 15, 18, 19, 20, 21, 22, 100]})
# Calcoliamo i limiti
Q1 = df['valori'].quantile(0.25)
Q3 = df['valori'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# Creiamo la colonna booleana per la visualizzazione
df['outlier'] = (df['valori'] < lower_bound) | (df['valori'] > upper_bound)
# Visualizziamo i punti
plt.figure(figsize=(8, 4))
sns.scatterplot(x=range(len(df)), y='valori', data=df, hue='outlier',
palette={False: 'blue', True: 'red'}, s=100)
plt.title("Outlier evidenziati in rosso (Metodo IQR)")
plt.xlabel("Indice")
plt.ylabel("Valori")
plt.show()
Il punto 100 apparirà in rosso, distinto da tutti gli altri punti blu.
Riepilogo Metodologico
Metodo
Formula base
Vantaggi
Quando usarlo
IQR
[math](Q_3 – Q_1) \times 1.5[/math]
Semplice, robusto (poco sensibile agli estremi)
Metodo di default, dati non gaussiani, dati “rumorosi”.
Z-score
[math](x-\mu)/\sigma[/math]
Basato su media/std, facile da interpretare
Dati con distribuzione approssimativamente normale (gaussiana).
