Perché questo esercizio è fondamentale nella pratica quotidiana?

Dal punto di vista applicativo, questo approccio risolve uno dei colli di bottiglia più frequenti nell’analisi dei dati: l’isolamento delle singole variabili.

L’aspetto più interessante del confronto differenziale (Casa A vs Casa B) risiede nella sua eleganza matematica: nei modelli lineari senza termini di interazione, il calcolo dei valori SHAP restituisce esattamente il prodotto tra il coefficiente della variabile e lo scostamento dalla media del dataset [math]\beta_i (x_i – \mathbb{E}[X_i])[/math].

Questo significa che l’utilizzo di SHAP su una regressione lineare non serve ad “approssimare una scatola nera”, come avviene con il Deep Learning o le Random Forest, ma a riformattare un modello già interpretabile (white box) in un layout comunicativo standardizzato (il waterfall plot). Che tu stia usando un modello lineare, uno script SQL avanzato o un complesso modello ad albero, presentare i dati con questa struttura garantisce che i non-tecnici leggano l’impatto economico esatto di una singola feature senza dover comprendere l’equazione sottostante.

“SHAP su un modello lineare non serve ad approssimare una scatola nera, ma a riformattare un modello già interpretabile in un layout comunicativo standardizzato.”

Questa frase è la chiave di tutto. In pratica, stai dicendo che:

• Prima: il modello lineare era trasparente (white box), ma la trasparenza era tecnica (coefficienti, medie, deviazioni).
• Dopo: con SHAP, quella trasparenza diventa narrativa e visiva, accessibile a un pubblico di business.

E questo è un vantaggio enorme, perché:

1. Uniforma il linguaggio tra data scientist e stakeholder.
2. Rende il modello “auditabile” da chiunque, senza dover conoscere la matematica.
3. Permette di confrontare modelli diversi (lineari, alberi, deep learning) usando lo stesso formato di output.

Questa è l’essenza del lavoro del data scientist in ambito consulenziale: non basta fare previsioni accurate, bisogna farle comprendere. SHAP, anche in un contesto lineare, diventa un alleato potentissimo perché standardizza la spiegazione e la rende riproducibile, indipendentemente dalla complessità del modello sottostante.

E questo, alla fine, è ciò che trasforma un tecnico in un consulente di fiducia.

Il Quadro d’Insieme: Oltre la Singola Casa con Beeswarm e Dependence Plot

Se il Waterfall plot è lo strumento perfetto per il cliente finale, cosa usi quando devi presentare le dinamiche dell’intero mercato immobiliare al management della tua società?

Spiegare una singola predizione (Local Explainability) non basta per comprendere le logiche generali del modello. Per avere una visione d’insieme, SHAP offre due visualizzazioni che sono diventate uno standard assoluto nel settore della Data Science.

Ecco come generarli aggiungendo poche righe di codice al nostro script:

# Calcoliamo i valori SHAP per TUTTO il dataset (non più solo per il cliente)
shap_values_global = explainer.shap_values(X)

# 4. Il grafico più famoso di SHAP: Beeswarm (Summary Plot)
print("Generazione del Summary Plot (Beeswarm)...")
shap.summary_plot(shap_values_global, X)

# 5. Dependence Plot: Focus su una singola variabile e le sue interazioni
print("Generazione del Dependence Plot per la superficie...")
shap.dependence_plot("superficie", shap_values_global, X)

Il Summary Plot (Beeswarm): La mappa del tesoro del modello

Il Beeswarm plot è probabilmente il grafico più iconico di SHAP. Invece di mostrare una singola casa, condensa l’intero dataset in un’unica immagine, permettendoti di leggere l’impatto di ogni variabile a colpo d’occhio.

Come si legge?

• L’asse orizzontale (X) rappresenta il valore SHAP: quanto quella variabile sposta il prezzo rispetto alla media. A destra aumenta il prezzo, a sinistra lo abbassa.
• I colori rappresentano il valore reale della caratteristica: rosso significa “valore alto” (es. una casa molto grande), blu significa “valore basso” (es. una casa molto piccola).
• La densità (lo spessore dei punti): ogni puntino è una casa del dataset. Dove i puntini si “impilano”, c’è un’alta concentrazione di immobili con quelle caratteristiche.

Nel nostro caso, vedrai immediatamente che i puntini rossi della superficie si estendono moltissimo verso la destra dell’asse X. Questo comunica visivamente al management: “Le case grandi sono il motore principale che spinge i prezzi verso l’alto nel nostro portafoglio, superando di gran lunga l’impatto di qualsiasi altra variabile”.

Il Dependence Plot: Scoprire le dinamiche nascoste

Mentre il Summary Plot ti dà la classifica delle variabili, il Dependence Plot ti permette di fare uno “zoom” su una singola caratteristica per capire esattamente come lavora.

In un modello avanzato (come Random Forest o XGBoost), questo grafico è uno strumento investigativo formidabile per scoprire tre fenomeni che sfuggono alle analisi tradizionali:

1. Non-linearità: Il grafico mostra chiaramente se il rendimento di una variabile cambia. Ad esempio, il prezzo potrebbe salire in modo proporzionale fino a 150 mq di superficie, per poi appiattirsi perché le case oltre quella metratura sono più difficili da vendere. Nel grafico vedresti la curva piegarsi.
2. Soglie (Thresholds): Molto utile per individuare “effetti gradino”. Potresti scoprire che superati i 15 km di distanza_centro, i valori SHAP crollano improvvisamente in verticale, indicando una barriera psicologica degli acquirenti che rifiutano di allontanarsi oltre quel limite.
3. Interazioni: SHAP colora automaticamente i punti in base a una seconda variabile (es. colora i punti della superficie in base all’età). Se noti una dispersione verticale dei colori, significa che c’è un’interazione: a parità di metratura, il fatto che la casa sia nuova o vecchia cambia drasticamente il premio di prezzo.

⚠️ Una nota cruciale per il nostro Esercizio:

Poiché in questo specifico esempio abbiamo addestrato una Regressione Lineare semplice senza termini di interazione, il Dependence Plot produrrà una retta perfetta e diagonale. Il modello lineare, per sua natura matematica, assume che ogni metro quadro in più valga sempre 1.500 €, indipendentemente da quante camere ci siano o dall’età dell’immobile.

Questa retta è comunque una diagnosi utilissima: dimostra visivamente che il nostro modello attuale è rigido e incapace di catturare sfumature complesse (come sconti per grandi metrature o premi per posizioni strategiche).

import numpy as np
import pandas as pd
from xgboost import XGBRegressor
import shap
import matplotlib.pyplot as plt

# 1. Simulazione di un dataset non lineare e con interazioni
np.random.seed(42)
n_samples = 2000

# Variabili indipendenti
superficie = np.random.normal(100, 40, n_samples).clip(50, 250)
eta = np.random.randint(0, 50, n_samples)
distanza_centro = np.random.normal(10, 8, n_samples).clip(0, 30)

# Regole di business (nascoste al modello)
# A: Non-linearità sulla superficie (crollo del valore marginale dopo i 120 mq)
valore_superficie = np.where(superficie <= 120, superficie * 2500, (120 * 2500) + ((superficie - 120) * 800))

# B: Interazione tra distanza e superficie (il "premio villa")
penalita_distanza = -1500 * distanza_centro
premio_villa = np.where((distanza_centro > 12) & (superficie > 140), 60000, 0)

# Variabile target Y (Prezzo finale)
y = valore_superficie - (400 * eta) + penalita_distanza + premio_villa + np.random.normal(0, 10000, n_samples)

X = pd.DataFrame({'superficie': superficie, 'eta': eta, 'distanza_centro': distanza_centro})

# 2. Addestramento del modello XGBoost
# XGBoost è in grado di mappare le interazioni senza che gliele dichiariamo esplicitamente
model = XGBRegressor(n_estimators=150, max_depth=4, learning_rate=0.1, random_state=42)
model.fit(X, y)

# 3. Spiegazione con TreeExplainer
# TreeExplainer è l'algoritmo esatto e ultra-veloce di SHAP per alberi decisionali
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)

# 4. Generazione dei Dependence Plot
# Plot A: Focus sulla non-linearità della superficie
print("Generazione Dependence Plot - Non-linearità...")
shap.dependence_plot("superficie", shap_values, X, interaction_index=None)

# Plot B: Focus sull'interazione tra distanza e superficie
print("Generazione Dependence Plot - Interazioni...")
shap.dependence_plot("distanza_centro", shap_values, X, interaction_index="superficie")