Massima Verosimiglianza e Inferenza Bayesiana: Guida Pratica con Esercizi Svolti

Siamo abituati a pensare che la statistica serva a calcolare le probabilità di eventi futuri.

Ma nella vita di chi analizza dati, il problema è quasi sempre l’opposto: abbiamo i risultati (i dati) e dobbiamo risalire alle cause (i parametri).

Immaginate di entrare in una stanza dove un gioco d’azzardo è già finito. Vedete i dadi sul tavolo. Non dovete calcolare le chance di fare “6”, ma capire se chi ha lanciato quei dadi ha usato un set truccato.

In questo spazio si muove la Massima Verosimiglianza (MLE). Non è solo un esercizio di analisi matematica, ma il motore che permette agli algoritmi di “imparare” dal passato per definire il presente.

Vedremo come questa logica diventi il ponte verso l’approccio Bayesiano, trasformando semplici osservazioni in decisioni strategiche.

Esercizio: Massima verosimiglianza e normale (livello universitario)

Hai un campione [math]x_1, x_2, \dots, x_n[/math] estratto da [math]N(\mu, \sigma^2)[/math] con [math]\sigma[/math] nota.

• Scrivi la funzione di verosimiglianza [math]L(\mu)[/math].
• Trova lo stimatore di massima verosimiglianza [math]\hat{\mu}[/math].
• Mostra che [math]\hat{\mu}[/math] è normale.
• Calcola la sua varianza.
• Spiega perché [math]\hat{\mu}[/math] è lo stimatore più efficiente possibile.

Obiettivo concettuale: Collegare distribuzione normale e teoria della stima.

---

Risoluzione

Spesso confondiamo “probabilità” e “verosimiglianza”, ma per un Data Scientist la distinzione è vitale.

Analizziamo la Massima Verosimiglianza (MLE) con un esercizio pratico sulla distribuzione Normale, spiegando perché la media campionaria è uno stimatore imbattibile.

1. Scrivere la funzione di verosimiglianza [math]L(\mu)[/math]

Si ha un campione [math]x_1, x_2, \dots, x_n[/math] i.i.d. da [math]X_i \sim N(\mu, \sigma^2)[/math], con [math]\sigma^2[/math] nota.
La funzione di densità per una singola osservazione è:

[math]
\displaystyle
\begin{aligned}
f(x_i \mid \mu) &= \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[ -\frac{(x_i – \mu)^2}{2\sigma^2} \right]
\end{aligned}
[/math]

Per l’indipendenza, la funzione di verosimiglianza (likelihood) è il prodotto delle densità:

[math]
\displaystyle
\begin{aligned}
L(\mu) &= \prod_{i=1}^n f(x_i \mid \mu) \\
&= \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left[ -\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i – \mu)^2 \right]
\end{aligned}
[/math]

2. Trovare lo stimatore di massima verosimiglianza [math]\hat{\mu}[/math]

Conviene massimizzare il logaritmo della verosimiglianza (log-likelihood):

[math]
\displaystyle
\begin{aligned}
\ell(\mu) &= \log L(\mu) \\
&= -\frac{n}{2}\log(2\pi\sigma^2) – \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i – \mu)^2
\end{aligned}
[/math]

Deriviamo rispetto a [math]\mu[/math]:

[math]
\displaystyle
\begin{aligned}
\frac{\partial \ell}{\partial \mu} &= -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(x_i – \mu)(-1) \\
&= \frac{1}{\sigma^2} \sum_{i=1}^n (x_i – \mu)
\end{aligned}
[/math]

Poniamo uguale a zero per trovare il punto critico:

[math]
\displaystyle
\begin{aligned}
\frac{1}{\sigma^2} \sum_{i=1}^n (x_i – \hat{\mu}) = 0 &\Rightarrow \sum_{i=1}^n (x_i – \hat{\mu}) = 0 \\
\sum_{i=1}^n x_i – n\hat{\mu} = 0 &\Rightarrow \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i = \bar{x}_n
\end{aligned}
[/math]

La derivata seconda è [math]\frac{\partial^2 \ell}{\partial \mu^2} = -\frac{n}{\sigma^2} < 0[/math], quindi è un massimo.
Stimatore di massima verosimiglianza (MLE):

[math]
\hat{\mu}_{ML} = \bar{X}_n
[/math]

3. Mostrare che [math]\hat{\mu}[/math] è normale

Per le proprietà della distribuzione normale: se [math]X_i \sim N(\mu, \sigma^2)[/math] indipendenti, la somma di normali è normale. In particolare:

[math]
\bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i
[/math]

è una combinazione lineare di variabili normali indipendenti, dunque anch’essa normale.
La sua media è [math]E[\bar{X}_n] = \mu[/math], la sua varianza è [math]Var(\bar{X}_n) = \frac{\sigma^2}{n}[/math].

[math]
\hat{\mu} \sim N\left(\mu, \frac{\sigma^2}{n}\right)
[/math]

4. Calcolare la sua varianza

Come sopra:

[math]
Var(\hat{\mu}) = \frac{\sigma^2}{n}
[/math]

5. Spiegare perché [math]\hat{\mu}[/math] è lo stimatore più efficiente possibile

Nella teoria della stima, il Teorema di Cramér–Rao fornisce un limite inferiore per la varianza di uno stimatore non distorto.
Per una famiglia regolare, la varianza di uno stimatore non distorto [math]T[/math] soddisfa:

[math]
Var(T) \ge \frac{1}{I_n(\mu)}
[/math]

dove [math]I_n(\mu)[/math] è l’informazione di Fisher campionaria. Per un campione i.i.d. [math]I_n(\mu) = n I_1(\mu)[/math].
Per [math]X \sim N(\mu, \sigma^2)[/math] con [math]\sigma^2[/math] nota, l’informazione di Fisher per un’osservazione è:

[math]
\displaystyle
\begin{aligned}
I_1(\mu) &= -E\left[ \frac{\partial^2}{\partial \mu^2} \log f(X \mid \mu) \right] \\
&= -E\left[ -\frac{1}{\sigma^2} \right] = \frac{1}{\sigma^2}
\end{aligned}
[/math]

Quindi [math]I_n(\mu) = \frac{n}{\sigma^2}[/math]. Il limite di Cramér–Rao (CRLB) è:

[math]
Var(T) \ge \frac{\sigma^2}{n}
[/math]

Lo stimatore [math]\hat{\mu} = \bar{X}_n[/math] è non distorto e ha varianza [math]\sigma^2/n[/math], cioè raggiunge esattamente il CRLB.
Inoltre, per la famiglia esponenziale, se lo MLE è non distorto, è UMVUE (Uniformly Minimum Variance Unbiased Estimator).

Obiettivo concettuale raggiunto: Lo stimatore di massima verosimiglianza per la media di una normale è la media campionaria; esso è normale, raggiunge il limite di Cramér-Rao, ed è ottimale in classe degli stimatori non distorti.