Come funziona la Stima di Massima Verosimiglianza (MLE): Esempi Pratici e Calcoli

Cerca:

Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
stimatore di massima verosimiglianza

Ti è mai capitato di guardare una serie di eventi e pensare: ‘Qui qualcosa non torna’?

Magari un fornitore che consegna flaconi sempre un po’ troppo vuoti, o un avversario al tavolo da gioco che sembra avere troppa fortuna.

In statistica, non ci affidiamo all’istinto, ma usiamo una bussola chiamata Massima Verosimiglianza (MLE).

È lo strumento che ci permette di fare il percorso inverso: partiamo dai risultati che abbiamo sotto gli occhi per risalire alla legge che li ha generati. Non è magia e non è un tirare a indovinare; è pura logica applicata all’incertezza.

Vediamo come funziona nella pratica, tra dadi sospetti e macchinari di precisione.

Pubblicità

Scenario 1: dadi forse truccati

Immagina di osservare una serie di lanci di un dado a sei facce. Non sai se il dado è equo, ma sospetti che il 6 esca più spesso del normale.

Osservi 20 lanci e annoti quante volte esce 6. Supponiamo che tu veda:

  • numero di 6 osservati: [math]k=8[/math]
  • numero totale di lanci: [math]n=20[/math]

Vogliamo stimare la probabilità [math]\theta=P(6)[/math] usando la Massima Verosimiglianza.

1. Modellare il problema

Se ogni lancio è indipendente, il numero di 6 in [math]n[/math] lanci segue una binomiale:

[math]K \sim Bin(n, \theta)[/math]

La probabilità di osservare esattamente [math]k[/math] successi (cioè 6) è:

[math]\displaystyle \begin{aligned} P(K=k \mid \theta) = \binom{n}{k} \theta^k (1-\theta)^{n-k} \end{aligned}[/math]

Questa è la verosimiglianza di [math]\theta[/math] dato ciò che abbiamo osservato.

2. Scrivere la funzione di verosimiglianza

Nel nostro caso:

[math]\displaystyle \begin{aligned} L(\theta) = P(K=8 \mid \theta) = \binom{20}{8} \theta^8 (1-\theta)^{12} \end{aligned}[/math]

La costante [math]\binom{20}{8}[/math] non dipende da [math]\theta[/math], quindi per massimizzare [math]L(\theta)[/math] possiamo ignorarla.

3. Passare al logaritmo (log-verosimiglianza)

Per semplificare i calcoli, lavoriamo con:

[math]\displaystyle \begin{aligned} \ell(\theta) &= \log L(\theta) \\ &= 8\log\theta + 12\log(1-\theta) + \text{costante} \end{aligned}[/math]

4. Derivare e trovare il massimo

Deriviamo rispetto a [math]\theta[/math]:

[math]\displaystyle \begin{aligned} \frac{d\ell}{d\theta} = \frac{8}{\theta} – \frac{12}{1-\theta} \end{aligned}[/math]

Poniamo uguale a zero:

[math]\displaystyle \begin{aligned} \frac{8}{\theta} – \frac{12}{1-\theta} &= 0 \\ \frac{8}{\theta} &= \frac{12}{1-\theta} \\ 8(1-\theta) &= 12\theta \\ 8-8\theta &= 12\theta \\ 8 &= 20\theta \\ \theta &= \frac{8}{20} = 0.4 \end{aligned}[/math]

👉 Lo stimatore di massima verosimiglianza è [math]\hat{\theta} = 0.4[/math].

5. Interpretazione

Se il dado fosse equo, ci aspetteremmo [math]\theta = \frac{1}{6} \approx 0.167[/math].

La MLE, basata sui dati osservati, dice:

“Il valore di [math]\theta[/math] che rende più probabile vedere 8 successi su 20 è 0.4.”

Non stai dicendo che il dado è truccato con certezza. Stai dicendo che, se dovessi scegliere un solo valore di [math]\theta[/math] per spiegare quei dati, il più plausibile è 0.4.

Mettere all’angolo la casualità

Quando diciamo che [math]\hat{\theta} = 0.4[/math], stiamo letteralmente mettendo all’angolo la casualità.

In statistica, non cerchiamo la “verità assoluta”, ma cerchiamo di minimizzare il nostro stupore.

Se il dado fosse onesto ([math]\theta \approx 0.167[/math]), la probabilità di vedere 8 successi su 20 lanci sarebbe estremamente bassa. Scegliendo la MLE, noi diciamo:

“Tra tutti i mondi possibili, quello in cui il parametro è 0.4 è quello che spiega meglio la realtà che ho davanti agli occhi.”

Dalla teoria alla pratica

La MLE ci fornisce la “verità più probabile”, quella forza numerica che ci permette di prendere decisioni concrete nel mondo reale:

  • Business: Decidere se cambiare un fornitore perché il tasso di difetti osservato è troppo lontano da quello dichiarato.
  • Ingegneria: Fermare una linea di produzione se le misurazioni indicano una deriva sistematica rispetto al target.
  • Vita quotidiana: Capire quando smettere di giocare perché l’evidenza dei dati suggerisce che il sistema è truccato.
Forse potrebbe interessarti anche:  Teorema del Limite Centrale (TLC): Guida Completa all'Analisi Dati con Spiegazione, Esercizi Python e i Casi in cui Fallisce

In sintesi, la MLE è la nostra bussola nel rumore dei dati: non elimina l’incertezza, ma ci dice in quale direzione puntare per essere meno “sorpresi” dal futuro.

6. Collegamento alla logica generale

Questo esempio mostra, passo-passo, la logica della MLE:

  1. Definisci un modello (binomiale con parametro [math]\theta[/math]).
  2. Scrivi la verosimiglianza [math]L(\theta)[/math] come probabilità dei dati dato [math]\theta[/math].
  3. Prendi il logaritmo per semplificare.
  4. Derivi e poni a zero per trovare il massimo.
  5. Ottieni lo stimatore [math]\hat{\theta}[/math] come valore che rende i dati più plausibili.

Scenario 2: misurazioni di una macchina

Una macchina riempie flaconi con un liquido. Sappiamo (per progetto) che la variabilità del processo è costante: [math]\sigma=2[/math] ml (deviazione standard nota).

Non conosciamo però la media reale [math]\mu[/math]: vogliamo stimarla dai dati.

Facciamo 5 misurazioni (in ml):

[math]x_1=98, x_2=100, x_3=101, x_4=99, x_5=102[/math]

Assumiamo:

[math]X_i \sim N(\mu, \sigma^2), \sigma=2, i=1,\dots,5[/math]

1. Scrivere la verosimiglianza

La densità di una normale è:

[math]\displaystyle \begin{aligned} f(x_i|\mu) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x_i – \mu)^2}{2\sigma^2}\right] \end{aligned}[/math]

La verosimiglianza congiunta (dati indipendenti):

[math]\displaystyle \begin{aligned}
L(\mu) &= \prod_{i=1}^5 f(x_i|\mu) \\
&= \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^5 \exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^5 (x_i – \mu)^2\right]
\end{aligned}[/math]

La costante davanti non dipende da [math]\mu[/math], quindi per massimizzare [math]L(\mu)[/math] possiamo concentrarci sull’esponente.

2. Log-verosimiglianza

[math]\displaystyle \begin{aligned}
\ell(\mu) &= \log L(\mu) \\
&= -\frac{1}{2\sigma^2}\sum_{i=1}^5 (x_i – \mu)^2 + \text{costante}
\end{aligned}[/math]

Massimizzare [math]\ell(\mu)[/math] equivale a minimizzare:

[math]\displaystyle \begin{aligned} \sum_{i=1}^5 (x_i – \mu)^2 \end{aligned}[/math]

3. Derivare e trovare il massimo

Consideriamo:

[math]\displaystyle \begin{aligned} S(\mu) = \sum_{i=1}^5 (x_i – \mu)^2 \end{aligned}[/math]

Deriviamo rispetto a [math]\mu[/math]:

[math]\displaystyle \begin{aligned}
\frac{dS}{d\mu} &= \sum_{i=1}^5 2(\mu – x_i) \\
&= 2\left(5\mu – \sum_{i=1}^5 x_i\right)
\end{aligned}[/math]

Poniamo uguale a zero:

[math]\displaystyle \begin{aligned}
5\mu – \sum x_i &= 0 \\
\Rightarrow \mu &= \frac{1}{5}\sum_{i=1}^5 x_i
\end{aligned}[/math]

Cioè:

[math]\hat{\mu} = \bar{x}[/math]

4. Calcolo numerico

[math]\sum x_i = 98+100+101+99+102=500[/math]

[math]\bar{x} = \frac{500}{5} = 100[/math]

👉 Lo stimatore di massima verosimiglianza della media è [math]\hat{\mu}=100[/math] ml.

5. Interpretazione

Non stai “indovinando” la media.

Stai scegliendo il valore di [math]\mu[/math] che minimizza la somma degli scarti quadratici rispetto ai dati osservati.

È il valore che rende più plausibile aver osservato proprio quelle 5 misurazioni, dato il modello normale con [math]\sigma=2[/math].

In altre parole:

Se la macchina avesse davvero media 100 ml, le misurazioni che hai visto sono tra le più “coerenti” possibili con il modello.

 

Oltre la stima puntuale: l’Intervallo di Confidenza

Se la Massima Verosimiglianza (MLE) è la nostra “migliore scommessa”, l’Intervallo di Confidenza (CI) è il nostro margine di sicurezza. Ci dice quanto possiamo effettivamente fidarci di quel numero.

Forse potrebbe interessarti anche:  Pandas in Azienda: 3 Esercizi Pratici per Pulire Dati e Creare Report

Riprendiamo lo Scenario 2 (la macchina dei flaconi), che è il più comune in ambito industriale e ingegneristico.

Abbiamo stabilito che la media più probabile è [math]\hat{\mu} = 100[/math] ml. Tuttavia, sappiamo che i dati sono pochi (solo 5 misurazioni) e che c’è una variabilità naturale ([math]\sigma = 2[/math]).

Per calcolare l’intervallo entro cui cade la “vera” media con una probabilità del 95%, usiamo la formula:

[math]\displaystyle \begin{aligned} \text{CI} = \bar{x} \pm z \cdot \frac{\sigma}{\sqrt{n}} \end{aligned}[/math]

1. Gli ingredienti del calcolo

  • Media campionaria ([math]\bar{x}[/math]): 100
  • Deviazione standard nota ([math]\sigma[math]): 2
  • Numerosità del campione ([math]n[/math]): 5
  • Valore critico ([math]z[/math]): Per un livello di confidenza del 95%, il valore [math]z[/math] standard è 1.96. Questo numero rappresenta quante “deviazioni standard” dobbiamo allontanarci dalla media per coprire il 95% della campana di Gauss.

2. Calcolo dello Standard Error (SE)

Lo Standard Error misura quanto la nostra media campionaria è soggetta a fluttuazioni:

[math]\displaystyle \begin{aligned} SE = \frac{\sigma}{\sqrt{n}} = \frac{2}{\sqrt{5}} \approx 0.894 \end{aligned}[/math]

3. Calcolo del Margine di Errore

[math]\displaystyle \begin{aligned} E = 1.96 \cdot 0.894 \approx 1.75 \end{aligned}[/math]

4. Risultato finale

[math]\displaystyle \begin{aligned} \text{CI} = 100 \pm 1.75 \longrightarrow [98.25, 101.75] \end{aligned}[/math]

Cosa ci dice davvero questo risultato?

In un report tecnico o in un articolo, non scriveresti solo “la media è 100”. Scriveresti:

“Sulla base dei 5 campioni analizzati, stimiamo che la macchina stia erogando una media di 100 ml. Siamo sicuri al 95% che la vera media del processo sia compresa tra 98.25 ml e 101.75 ml.”

Perché questo è fondamentale nel mondo reale?

  • Rischio di conformità: Se il flacone deve contenere per legge almeno 99 ml, questo intervallo ci dice che c’è il rischio che la macchina, pur avendo una media stimata di 100, stia in realtà lavorando sotto la soglia legale.
  • Decisioni basate sui dati: Se l’intervallo è troppo ampio (ad esempio tra 90 e 110), significa che i nostri dati sono troppo “rumorosi” o troppo pochi. La soluzione? Non cambiare la macchina, ma aumentare il numero di misurazioni ([math]n[/math]) per restringere l’intervallo.

 Il legame tra MLE e Incertezza

L’esercizio è interessante perché mostra il limite della sola logica MLE. La Massima Verosimiglianza è “ottimista”: ti dà il punto più alto della curva. L’Intervallo di Confidenza è “prudente”: ti mostra quanto è larga la base di quella curva.

In professioni come il Data Scientist o l’Ingegnere di Processo, la MLE serve per calibrare i modelli, ma è l’intervallo di confidenza che ti permette di dormire sonni tranquilli la notte, perché quantifica l’errore che potresti commettere.

Determinare il numero di campioni [math]n[/math]

Supponiamo di voler migliorare il controllo qualità della nostra macchina riempitrice. Il margine di errore trovato in precedenza ([math]1.75[/math] ml) è considerato troppo elevato per gli standard di precisione richiesti.

Obiettivo: Vogliamo che il margine di errore [math]E[/math] non superi lo 0.5 ml, mantenendo il livello di confidenza al 95%.

Forse potrebbe interessarti anche:  Weak Signals Detection con Python: 3 esercizi su anomalie, persistenza e cambiamenti di regime

1. La formula inversa

Partiamo dalla definizione del margine di errore:

[math]\displaystyle \begin{aligned} E = z \cdot \frac{\sigma}{\sqrt{n}} \end{aligned}[/math]

Per isolare [math]n[/math], eleviamo al quadrato e risolviamo:

[math]\displaystyle \begin{aligned} n = \left( \frac{z \cdot \sigma}{E} \right)^2 \end{aligned}[/math]

2. Inserimento dei dati

  • Deviazione standard ([math]\sigma[/math]): 2 (nota dal progetto)
  • Valore critico ([math]z[/math]): 1.96 (per confidenza al 95%)
  • Margine di errore desiderato ([math]E[/math]): 0.5

3. Calcolo numerico

[math]\displaystyle \begin{aligned}
n &= \left( \frac{1.96 \cdot 2}{0.5} \right)^2 \\
&= \left( \frac{3.92}{0.5} \right)^2 \\
&= (7.84)^2 \\
&\approx 61.46
\end{aligned}[/math]

4. Interpretazione del risultato

Poiché non possiamo effettuare una frazione di misurazione, dobbiamo sempre arrotondare per eccesso al numero intero più vicino.

👉 Risultato: Sono necessarie almeno 62 misurazioni.

Quanto ci costa la certezza?

Passare da 5 a 62 campioni per triplicare la precisione ha un costo in termini di ore uomo e fermo macchina. La MLE e il calcolo della numerosità ti permettono di sederti al tavolo dei costi con un dato certo: “Se volete questa precisione, questo è il numero di test necessario. Non uno di meno”.

  • Relazione quadratica: Nota come per ridurre l’errore di circa 3.5 volte (da 1.75 a 0.5), il numero di campioni sia dovuto passare da 5 a 62. Questo accade perché l’errore diminuisce solo con la radice quadrata di [math]n[/math].

  • Il costo della precisione: In ambito industriale, aumentare [math]n[/math] significa spendere più tempo e risorse. La statistica ci permette di trovare il punto di equilibrio ottimale tra precisione necessaria e costi operativi.

Perché questi esercizi sono interessanti?

Questi due esempi rappresentano i due pilastri della data science moderna:

  1. Il Caso Discreto (Dadi): È la base dei modelli di classificazione. Quando un’IA decide se una mail è spam, sta essenzialmente calcolando quale “parametro di spamicità” rende più verosimile il testo che sta leggendo.

  2. Il Caso Continuo (Macchina): È il cuore del controllo qualità industriale (Six Sigma) e della regressione lineare.

L’aspetto affascinante della MLE è che inverte la causalità. Di solito la probabilità ti dice: “Se ho questa legge, cosa accadrà?”. La MLE dice: “Questo è accaduto, dimmi qual è la legge”.

È l’applicazione pura del metodo scientifico alla gestione aziendale.

Pubblicità