Distanza di Mahalanobis spiegata: dalla geometria all’anomaly detection in Python

Una temperatura leggermente alta non significa necessariamente che una macchina stia per guastarsi. Una pressione leggermente superiore alla media, presa da sola, potrebbe essere perfettamente normale. Anche una vibrazione un po’ più elevata potrebbe non meritare alcun allarme.

Il problema cambia quando le tre cose accadono contemporaneamente.

Se temperatura, pressione e vibrazione sono legate tra loro, infatti, non basta più chiedersi quanto ogni variabile sia distante dalla propria media. Bisogna capire se la combinazione osservata è compatibile con il comportamento abituale del sistema.

È qui che la distanza di Mahalanobis diventa interessante.

La distanza euclidea guarda lo spazio dei dati come se tutte le direzioni fossero equivalenti. La Mahalanobis utilizza invece la struttura statistica della popolazione per modificare quella geometria: tiene conto della scala delle variabili e, soprattutto, delle loro correlazioni.

La formula è:

[math]\displaystyle \boxed{d_M(x,\mu)=\sqrt{(x-\mu)^T\Sigma^{-1}(x-\mu)}}[/math]

e il suo quadrato è:

[math]\displaystyle \boxed{d_M^2(x,\mu)=(x-\mu)^T\Sigma^{-1}(x-\mu)}[/math]

Questa seconda espressione è particolarmente interessante perché è una forma quadratica.

La matrice che compare nella forma quadratica non è scelta arbitrariamente: è l’inversa della matrice di covarianza.

Da qui nasce un collegamento molto elegante:

[math]\displaystyle \boxed{ \text{algebra lineare} \rightarrow \text{covarianza} \rightarrow \text{geometria} \rightarrow \text{statistica} \rightarrow \text{anomaly detection} }[/math]

L’obiettivo di questo articolo è seguire proprio questo percorso, fino ad arrivare a un’implementazione Python e a una domanda che nella Data Science è spesso più importante della formula stessa:

quando una distanza elevata deve davvero diventare un alert?

Dalla distanza euclidea alla distanza statistica

Supponiamo di avere un’osservazione descritta da [math]p[/math] variabili:

[math]\displaystyle x= \begin{pmatrix} x_1\\ x_2\\ \vdots\\ x_p \end{pmatrix} [/math]

e un vettore delle medie:

[math]\displaystyle \mu= \begin{pmatrix} \mu_1\\ \mu_2\\ \vdots\\ \mu_p \end{pmatrix}. [/math]

La differenza

[math]\displaystyle x-\mu[/math]

descrive quanto il punto si discosta dal centro della distribuzione.

Con la distanza euclidea, il quadrato della distanza sarebbe:

[math]\displaystyle d_E^2(x,\mu)=(x-\mu)^T(x-\mu).[/math]

In due dimensioni, questa è semplicemente la versione matriciale del teorema di Pitagora.

Il problema è che questa misura considera allo stesso modo tutte le direzioni.

Supponiamo, per esempio, di avere una variabile con una variabilità enorme e una seconda variabile molto stabile. Uno spostamento di 10 unità nella prima direzione potrebbe essere perfettamente normale, mentre uno spostamento di 10 unità nella seconda potrebbe essere eccezionale.

La distanza euclidea non lo sa.

La distanza di Mahalanobis introduce invece la matrice di covarianza:

[math]\displaystyle \Sigma= \begin{pmatrix} \sigma_1^2 & \sigma_{12}\\ \sigma_{21} & \sigma_2^2 \end{pmatrix}. [/math]

La formula diventa:

[math]\displaystyle \begin{aligned} d_M^2(x,\mu) &= (x-\mu)^T\Sigma^{-1}(x-\mu). \end{aligned}[/math]

La differenza rispetto alla distanza euclidea sembra concentrarsi in una sola matrice.

In realtà cambia la geometria dell’intero problema.

La covarianza contiene la geometria dei dati

La matrice di covarianza contiene due tipi di informazione.

Gli elementi sulla diagonale:

[math]\displaystyle \sigma_1^2,\sigma_2^2,\ldots,\sigma_p^2 [/math]

descrivono la variabilità delle singole variabili.

Gli elementi fuori diagonale:

[math]\displaystyle \sigma_{ij} [/math]

descrivono invece come le variabili tendono a muoversi insieme.

Se due variabili hanno covarianza positiva, valori elevati dell’una tendono ad associarsi a valori elevati dell’altra.

Se la covarianza è negativa, la relazione tende ad avere direzione opposta.

Questa informazione modifica la forma della nuvola dei dati.

Se rappresentiamo altezza e peso di una popolazione, per esempio, i punti potrebbero distribuirsi lungo una direzione inclinata anziché occupare uniformemente il piano.

La nuvola potrebbe avere una forma approssimativamente ellittica:

• lunga nella direzione in cui i dati sono molto variabili;
• stretta nella direzione in cui i dati sono poco variabili.

Ed è proprio questa forma che la distanza di Mahalanobis incorpora.

Nel caso gaussiano multivariato, le superfici a distanza di Mahalanobis costante sono ellissoidi. In due dimensioni diventano ellissi; in tre dimensioni ellissoidi; in dimensioni superiori non sono più facilmente visualizzabili, ma la struttura matematica rimane la stessa.

La correlazione può trasformare una distanza normale in un’anomalia

Consideriamo una situazione semplice in cui la relazione normale tra due variabili sia approssimativamente:

[math]\displaystyle y\approx x.[/math]

Prendiamo due punti:

[math]\displaystyle A=(10,10)[/math]

e

[math]\displaystyle B=(10,-10).[/math]

Rispetto all’origine, entrambi hanno la stessa distanza euclidea:

[math]\displaystyle d_E(A)=d_E(B)=\sqrt{10^2+10^2}. [/math]

Per la geometria euclidea, quindi, i due punti sono equivalenti.

Ma supponiamo che la popolazione reale sia fortemente concentrata intorno alla relazione [math]y\approx x[/math].

Il punto [math]A[/math] si trova lungo la direzione in cui i dati normalmente si muovono.

Il punto [math]B[/math] si trova invece nella direzione trasversale, dove la popolazione presenta poca variabilità.

La Mahalanobis attribuisce quindi ai due punti distanze statistiche molto diverse.

Questa è l’idea fondamentale:

una deviazione nella direzione in cui i dati sono naturalmente variabili può essere poco sorprendente, mentre una deviazione nella direzione in cui i dati sono molto stabili può essere fortemente anomala.

La correlazione, in questo modo, non è più un dettaglio descrittivo della matrice di covarianza. Diventa parte della definizione stessa di distanza.

Perché compare proprio l’inversa della covarianza?

La domanda è naturale.

Per capirlo, conviene partire dal caso più semplice.

In una dimensione, lo z-score è:

[math]\displaystyle z=\frac{x-\mu}{\sigma}. [/math]

Elevandolo al quadrato:

[math]\displaystyle z^2= \frac{(x-\mu)^2}{\sigma^2}. [/math]

Se la variabile ha una grande varianza, una certa deviazione dal valore medio è relativamente poco sorprendente.

Se la varianza è piccola, la stessa deviazione è molto più significativa.

Nel caso multivariato, il ruolo di [math]1/\sigma^2[/math] viene generalizzato dalla matrice:

[math]\displaystyle \Sigma^{-1}. [/math]

La distanza di Mahalanobis diventa quindi una sorta di z-score multivariato, con una differenza decisiva: non considera soltanto la scala delle singole variabili, ma anche le loro relazioni.

Se la matrice di covarianza fosse diagonale:

[math]\displaystyle \Sigma= \begin{pmatrix} \sigma_1^2 & 0 & \cdots & 0\\ 0 & \sigma_2^2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & \sigma_p^2 \end{pmatrix}, [/math]

allora:

[math]\displaystyle \begin{aligned} d_M^2 &= \sum_{i=1}^{p} \frac{(x_i-\mu_i)^2}{\sigma_i^2}. \end{aligned}[/math]

Definendo:

[math]\displaystyle z_i=\frac{x_i-\mu_i}{\sigma_i}, [/math]

otteniamo:

[math]\displaystyle \boxed{d_M^2=\sum_{i=1}^{p}z_i^2.}[/math]

Questo risultato è molto utile perché mostra con chiarezza il rapporto tra i due concetti.

Quando le variabili sono incorrelate, la Mahalanobis coincide con la somma dei quadrati degli z-score. Quando esiste correlazione, entra in gioco la struttura completa della covarianza.

La forma quadratica non è soltanto una notazione elegante

Una forma quadratica generale può essere scritta come:

[math]\displaystyle Q(x)=x^TAx. [/math]

Nel nostro caso:

[math]\displaystyle A=\Sigma^{-1}. [/math]

Centrando il punto rispetto alla media:

[math]\displaystyle \begin{aligned} Q(x-\mu) &= (x-\mu)^T\Sigma^{-1}(x-\mu). \end{aligned}[/math]

Quindi:

[math]\displaystyle \boxed{d_M^2=Q(x-\mu).} [/math]

Questa osservazione permette di leggere la Mahalanobis con gli strumenti dell’algebra lineare.

La matrice [math]\Sigma^{-1}[/math], chiamata anche matrice di precisione, determina quanto le diverse direzioni dello spazio contribuiscano alla distanza.

Non stiamo quindi semplicemente inserendo una matrice dentro una formula.

Stiamo definendo una nuova geometria dello spazio delle osservazioni.

La lettura più profonda: autovalori e autovettori

Qui l’algebra lineare permette di vedere cosa sta realmente accadendo.

Poiché la matrice di covarianza è simmetrica, nel caso regolare può essere diagonalizzata:

[math]\displaystyle \Sigma=Q\Lambda Q^T, [/math]

dove [math]Q[/math] contiene gli autovettori e [math]\Lambda[/math] contiene gli autovalori:

[math]\displaystyle \Lambda= \begin{pmatrix} \lambda_1 & 0 & \cdots & 0\\ 0 & \lambda_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & \lambda_p \end{pmatrix}. [/math]

L’inversa è:

[math]\displaystyle \Sigma^{-1}=Q\Lambda^{-1}Q^T. [/math]

Sostituendo nella distanza:

[math]\displaystyle \begin{aligned} d_M^2 &= (x-\mu)^TQ\Lambda^{-1}Q^T(x-\mu). \end{aligned}[/math]

Definiamo:

[math]\displaystyle z=Q^T(x-\mu). [/math]

Stiamo semplicemente esprimendo la deviazione [math]x-\mu[/math] nelle nuove coordinate determinate dagli autovettori della covarianza.

Otteniamo:

[math]\displaystyle \begin{aligned} d_M^2 &= z^T\Lambda^{-1}z \end{aligned}[/math]

e quindi:

[math]\displaystyle \boxed{ d_M^2= \sum_{i=1}^{p} \frac{z_i^2}{\lambda_i} }. [/math]

Questa è forse la formula più importante per comprendere la geometria della Mahalanobis.

Ogni [math]\lambda_i[/math] rappresenta la variabilità lungo una particolare direzione principale.

Se [math]\lambda_i[/math] è grande, i dati sono molto dispersi lungo quella direzione. Una deviazione in quella direzione viene quindi penalizzata relativamente poco.

Se [math]\lambda_i[/math] è piccola, i dati sono molto concentrati. Una deviazione nella stessa direzione è molto più significativa.

In altre parole, la Mahalanobis:

1. ruota il sistema di riferimento;
2. individua le direzioni principali della variabilità;
3. valuta la deviazione in quelle direzioni;
4. pesa ogni deviazione in funzione della variabilità disponibile.

Le ellissi che vediamo nei grafici della Mahalanobis nascono esattamente da questo meccanismo.

Un esempio numerico: altezza e peso

Supponiamo di avere:

[math]\displaystyle \mu= \begin{pmatrix} 170\\ 70 \end{pmatrix} [/math]

dove le due componenti rappresentano altezza e peso.

Consideriamo:

[math]\displaystyle x= \begin{pmatrix} 180\\ 80 \end{pmatrix}. [/math]

La deviazione dal centro è:

[math]\displaystyle x-\mu= \begin{pmatrix} 10\\ 10 \end{pmatrix}. [/math]

Con la distanza euclidea:

[math]\displaystyle \begin{aligned} d_E &= \sqrt{10^2+10^2} \\ &= \sqrt{200} \\ &\approx14.14. \end{aligned}[/math]

Il valore 14.14, tuttavia, non ci dice se il punto sia statisticamente insolito.

Supponiamo che la covarianza sia:

[math]\displaystyle \Sigma= \begin{pmatrix} 100 & 72\\ 72 & 100 \end{pmatrix}. [/math]

La correlazione positiva indica che altezza e peso tendono a crescere insieme.

Calcoliamo la distanza di Mahalanobis:

import numpy as np

mu = np.array([170, 70])

x = np.array([180, 80])

Sigma = np.array([
    [100, 72],
    [72, 100]
])

diff = x - mu

Sigma_inv = np.linalg.inv(Sigma)

d2 = diff @ Sigma_inv @ diff
d = np.sqrt(d2)

print("Distanza di Mahalanobis^2:", d2)
print("Distanza di Mahalanobis:", d)

Output:

Distanza di Mahalanobis^2: 1.1627906976744182
Distanza di Mahalanobis: 1.078327732034384

La differenza rispetto alla distanza euclidea è enorme.

Non perché una delle due formule sia “giusta” e l’altra “sbagliata”, ma perché stanno rispondendo a domande differenti.

La distanza euclidea chiede:

Quanto sono lontani geometricamente questi due punti nello spazio delle coordinate originali?

La Mahalanobis chiede:

Quanto è grande questa deviazione rispetto alla variabilità e alle correlazioni che caratterizzano la popolazione?

Per un problema di anomaly detection, la seconda domanda è spesso quella più interessante.

La distanza di Mahalanobis definisce ellissi, non cerchi

Consideriamo l’insieme dei punti per cui:

[math]\displaystyle d_M^2(x,\mu)=c. [/math]

Otteniamo:

[math]\displaystyle (x-\mu)^T\Sigma^{-1}(x-\mu)=c. [/math]

In due dimensioni questa equazione descrive un’ellisse.

Con la distanza euclidea, invece:

[math]\displaystyle (x-\mu)^T(x-\mu)=c [/math]

descrive un cerchio.

Questa differenza geometrica riassume bene l’intero concetto.

Il cerchio tratta tutte le direzioni allo stesso modo.

L’ellisse si allunga nelle direzioni in cui i dati hanno maggiore variabilità e si restringe nelle direzioni in cui la variabilità è minore.

La Mahalanobis non “disegna semplicemente un’ellisse”: usa la forma della distribuzione per stabilire cosa significhi essere lontani dal centro.

Dalla geometria all’anomaly detection

A questo punto possiamo passare dal problema matematico a quello operativo.

Supponiamo di monitorare una macchina industriale attraverso tre sensori:

1. temperatura;
2. pressione;
3. vibrazione.

Durante il funzionamento considerato normale raccogliamo migliaia di osservazioni.

Costruiamo un dataset simulato:

import numpy as np
import pandas as pd

np.random.seed(42)

mu = np.array([70, 100, 5])

Sigma = np.array([
    [25, 12, 4],
    [12, 36, 6],
    [4,  6, 2]
])

X_normal = np.random.multivariate_normal(
    mean=mu,
    cov=Sigma,
    size=1000
)

df = pd.DataFrame(
    X_normal,
    columns=["temperatura", "pressione", "vibrazione"]
)

print(df.head())

La funzione multivariate_normal genera osservazioni che rispettano la struttura di covarianza specificata.

Quindi non stiamo simulando tre sensori indipendenti: stiamo costruendo una popolazione nella quale esistono relazioni tra temperatura, pressione e vibrazione.

Questa distinzione è essenziale perché la Mahalanobis trae proprio dalla covarianza la propria informazione geometrica.

Inseriamo alcune osservazioni anomale

Aggiungiamo quattro osservazioni artificialmente costruite per rappresentare comportamenti sospetti:

anomalies = np.array([
    [95, 140, 12],
    [50,  60,  1],
    [72, 145,  2],
    [92,  90, 11]
])

X = np.vstack([X_normal, anomalies])

print("Numero di osservazioni:", len(X))

Il dataset contiene ora 1004 osservazioni.

Sappiamo che le ultime quattro sono state inserite artificialmente come anomalie.

Ma nella pratica il modello non dispone di questa informazione.

Deve stabilire quanto ogni osservazione sia distante dalla struttura considerata normale.

Calcolare la Mahalanobis con SciPy

Possiamo stimare media e covarianza utilizzando soltanto le osservazioni considerate normali:

from scipy.spatial.distance import mahalanobis

mu_est = X_normal.mean(axis=0)
cov_est = np.cov(X_normal, rowvar=False)

cov_inv = np.linalg.inv(cov_est)

distances = np.array([
    mahalanobis(x, mu_est, cov_inv)
    for x in X
])

print("Ultime quattro distanze:")
print(distances[-4:])

Otteniamo:

[ 7.50669165  7.98722486 13.39688705  8.07002117]

Le quattro osservazioni artificialmente anomale hanno quindi distanze molto elevate rispetto a molte delle osservazioni normali.

Ma qui arriva un passaggio metodologico importante.

Una distanza elevata non è ancora una decisione.

Serve una soglia.

Perché lavoriamo con il quadrato della distanza?

La quantità:

[math]\displaystyle d_M^2=(x-\mu)^T\Sigma^{-1}(x-\mu) [/math]

è particolarmente comoda perché, sotto l’ipotesi di una distribuzione normale multivariata con parametri della popolazione noti, segue una distribuzione chi-quadrato con [math]p[/math] gradi di libertà:

[math]\displaystyle d_M^2\sim\chi_p^2. [/math]

Questa relazione permette di collegare la distanza geometrica a una soglia statistica.

Nel nostro caso:

[math]\displaystyle p=3. [/math]

Per esempio, il quantile al 99% della distribuzione [math]\chi^2_3[/math] è circa:

[math]\displaystyle 11.345. [/math]

Possiamo calcolarlo con SciPy:

from scipy.stats import chi2

p = X_normal.shape[1]

threshold = chi2.ppf(0.99, df=p)

print("Soglia al 99%:", threshold)

e classificare come sospette le osservazioni per cui:

[math]\displaystyle d_M^2>\chi^2_{p,0.99}. [/math]

In Python:

d2 = distances ** 2

is_anomaly = d2 > threshold

print("Numero di osservazioni oltre la soglia:",
      is_anomaly.sum())

Nel dataset simulato, però, la soglia al 99% non identifica soltanto le quattro osservazioni inserite artificialmente.

Questo è un risultato importante e va lasciato nel codice proprio perché racconta qualcosa di utile.

La soglia produce anche alcuni falsi positivi tra le osservazioni generate come normali.

Il motivo non è necessariamente un errore del calcolo.

Una soglia al 99% non significa infatti che il 99% delle osservazioni di un dataset finito sarà certamente sotto la soglia, né garantisce un tasso di falsi positivi esattamente pari all’1% quando i parametri sono stimati e il modello è applicato a dati reali.

La relazione con la [math]\chi^2[/math] deve essere interpretata alla luce delle ipotesi statistiche e del fatto che nel codice [math]\mu[/math] e [math]\Sigma[/math] non sono conosciuti: vengono stimati dai dati.

Questa distinzione è fondamentale.

[math]\Sigma[/math] vera e [math]\hat{\Sigma}[/math] stimata non sono la stessa cosa

Nel nostro esempio abbiamo inizialmente definito:

[math]\displaystyle \Sigma= \begin{pmatrix} 25 & 12 & 4\\ 12 & 36 & 6\\ 4 & 6 & 2 \end{pmatrix}. [/math]

Questa è la matrice utilizzata per generare artificialmente i dati.

Ma quando lavoriamo come analisti, normalmente non conosciamo la vera matrice di covarianza della popolazione.

La stimiamo:

cov_est = np.cov(X_normal, rowvar=False)

Quella che usiamo realmente nella formula è quindi:

[math]\displaystyle \hat{\Sigma}. [/math]

Analogamente, la vera media [math]\mu[/math] viene sostituita dalla media stimata:

[math]\displaystyle \hat{\mu}. [/math]

La statistica effettivamente calcolata diventa:

[math]\displaystyle \boxed{ \hat d_M^2= (x-\hat\mu)^T \hat\Sigma^{-1} (x-\hat\mu) }. [/math]

Questa distinzione è importante perché la relazione teorica con la [math]\chi^2[/math] è più semplice quando i parametri della distribuzione sono noti. Quando vengono stimati dallo stesso campione, la calibrazione della soglia richiede maggiore cautela.

In un’applicazione reale, quindi, non conviene trasformare automaticamente il quantile della [math]\chi^2[/math] in una verità assoluta.

È una soglia modellistica, non un timbro di certezza.

Detection, threshold e diagnosis sono tre problemi diversi

Questo è uno dei punti più importanti dell’intero metodo.

La detection consiste nel calcolare una misura di quanto un’osservazione sia distante dal comportamento di riferimento:

[math]\displaystyle d_M^2. [/math]

Il thresholding stabilisce quando quella distanza è abbastanza elevata da generare un alert.

La diagnosi cerca invece di capire perché l’osservazione sia anomala.

Sono tre problemi distinti.

Questa distinzione evita un errore frequente nell’anomaly detection: confondere un segnale statistico con una diagnosi.

Se la Mahalanobis segnala un’osservazione, il sistema sta dicendo:

“Questa combinazione di valori è poco compatibile con la struttura di riferimento.”

Non sta dicendo:

“Il sensore 2 è guasto.”

E soprattutto non sta dicendo:

“La macchina si romperà.”

La seconda fase richiede altri strumenti e altre informazioni.

Un’anomalia può essere perfettamente valida

Un punto lontano dal comportamento abituale non è necessariamente un errore.

Potrebbe rappresentare:

• un guasto;
• un errore di acquisizione;
• una frode;
• un comportamento eccezionale ma corretto;
• un nuovo segmento di clienti;
• un cambiamento del processo;
• una situazione mai osservata prima;
• un cambiamento strutturale della popolazione.

Questa distinzione è importante soprattutto nei sistemi aziendali.

Un cliente che acquista dieci volte più del normale potrebbe essere un problema oppure il cliente migliore dell’anno.

Un pagamento molto diverso dal comportamento abituale potrebbe essere una frode oppure una grande operazione perfettamente legittima.

Il modello segnala la deviazione.

La decisione richiede contesto.

Mahalanobis e z-score: simili, ma non equivalenti

Il confronto con lo z-score aiuta a capire cosa aggiunga realmente la Mahalanobis.

Per ogni variabile possiamo calcolare:

[math]\displaystyle z_i= \frac{x_i-\mu_i}{\sigma_i}. [/math]

Lo z-score standardizza le singole variabili.

La Mahalanobis considera invece contemporaneamente:

[math]\displaystyle d_M^2= (x-\mu)^T\Sigma^{-1}(x-\mu). [/math]

La differenza diventa particolarmente importante quando le variabili sono correlate.

Supponiamo che due clienti abbiano:

• numero di ordini;
• valore medio degli ordini;
• numero di sessioni.

Un cliente potrebbe avere valori che non sono particolarmente estremi se osservati separatamente, ma una combinazione molto insolita.

Per esempio, molti ordini associati a pochissime sessioni potrebbe essere un comportamento raro se normalmente ordini e sessioni sono fortemente collegati.

Gli z-score univariati potrebbero non evidenziare nulla di particolare.

La Mahalanobis può invece segnalare la combinazione.

È proprio questo il vantaggio dell’approccio multivariato.

Un esempio ancora più intuitivo: il cliente che “non dovrebbe esistere”

Supponiamo che in un e-commerce il numero di ordini e il numero di sessioni siano fortemente correlati.

In generale:

[math]\displaystyle \text{più sessioni} \quad\Longrightarrow\quad \text{più ordini}. [/math]

Un cliente con 100 sessioni e 20 ordini potrebbe essere perfettamente normale.

Un cliente con 100 sessioni e 19 ordini potrebbe esserlo altrettanto.

Ma un cliente con 100 sessioni e 0 ordini potrebbe avere una combinazione molto meno frequente.

Nessuna delle due variabili deve necessariamente essere estrema.

Il punto anomalo nasce dalla relazione tra le variabili.

Questo è esattamente il tipo di situazione in cui la distanza di Mahalanobis è più interessante di una semplice serie di controlli univariati.

Visualizzare la geometria: cerchio contro ellisse

Quando si lavora con due variabili, una visualizzazione rende il concetto immediato.

Possiamo rappresentare:

• i dati normali;
• il centro [math]\mu[/math];
• una regione di Mahalanobis;
• i punti che superano una determinata soglia.

La regione di riferimento non sarà generalmente un cerchio.

Sarà un’ellisse orientata secondo la struttura di covarianza.

La sua forma racconta quindi qualcosa sui dati:

• l’orientamento riflette le correlazioni;
• la lunghezza degli assi riflette la variabilità;
• la distanza dal centro determina quanto un punto sia statisticamente lontano.

Per un articolo sulla Mahalanobis, questa visualizzazione è più di un semplice elemento grafico: è una rappresentazione della formula.

La forma quadratica che appare nell’equazione diventa letteralmente una forma geometrica.

cov_inv = np.linalg.inv(cov_est)

from sklearn.covariance import LedoitWolf

estimator = LedoitWolf()
estimator.fit(X_normal)

mu_est = estimator.location_
cov_est = estimator.covariance_
precision = estimator.precision_

d2 = np.array([
    (x - mu_est) @ precision @ (x - mu_est)
    for x in X
])

print("Prime cinque Mahalanobis^2:")
print(d2[:5])

estimator.precision_

Dati grezzi
      ↓
Controllo qualità
      ↓
Selezione delle variabili
      ↓
Definizione del periodo di riferimento
      ↓
Stima di μ e Σ
      ↓
Eventuale robustezza / shrinkage
      ↓
Calcolo Mahalanobis²
      ↓
Calibrazione della soglia
      ↓
Flag anomalo
      ↓
Analisi diagnostica
      ↓
Decisione
      ↓
Monitoraggio nel tempo

temperatura > soglia
pressione > soglia
vibrazione > soglia

temperatura = leggermente alta
pressione = leggermente alta
vibrazione = leggermente alta

mu_est = X.mean(axis=0)
cov_est = np.cov(X, rowvar=False)