Dimentica per un attimo le lavagne piene di integrali. La Massima Verosimiglianza (MLE) non è un esercizio accademico: è l’istinto umano tradotto in codice. Se entri in una stanza, vedi un ombrello bagnato e scommetti che fuori piove, stai facendo una stima di verosimiglianza. Stai scegliendo lo scenario (il parametro “meteo”) che rende più plausibile ciò che hai davanti (il dato “ombrello”).
Oggi, questo concetto è il cuore pulsante di ogni algoritmo che chiamiamo “Intelligenza Artificiale”. Quando ChatGPT sceglie la parola successiva, o quando un’auto a guida autonoma interpreta un segnale stradale, dietro le quinte c’è una funzione di verosimiglianza che viene massimizzata. In questa guida, analizziamo il motore della MLE per capire come funziona davvero, perché spesso fallisce e come usarla per ricostruire la realtà partendo dai frammenti di dati che abbiamo a disposizione.
📦La Massima Verosimiglianza in 10 righe
- La MLE non predice il futuro: ricostruisce il passato. Parti dai dati osservati e risali al parametro che li rende più plausibili.
- “Verosimiglianza” significa: quanto questi dati sono compatibili con un certo modello.
- Lo stimatore MLE è il valore del parametro che massimizza questa compatibilità.
- Nei modelli semplici, la MLE coincide con intuizioni note:
- per la normale [math]\rightarrow[/math] la media campionaria
- per la binomiale [math]\rightarrow[/math] la proporzione osservata
- La MLE è un problema di ottimizzazione, non di magia. Si massimizza una funzione (spesso il logaritmo della verosimiglianza).
- La MLE è “consistente”: con molti dati converge al valore vero.
- È “efficiente”: ha la varianza più bassa possibile tra gli stimatori non distorti.
- È “invariante”: se stimi [math]\theta[/math], automaticamente stimi anche [math]g(\theta)[/math].
- È il cuore del machine learning. Regressione, classificazione, reti neurali: tutto nasce dalla log-likelihood.
- La MLE è il ponte naturale verso il Bayes. La verosimiglianza è la parte centrale del teorema di Bayes.
⚠️ Errori Comuni nella Massima Verosimiglianza (MLE)
- Confondere verosimiglianza e probabilità. La verosimiglianza è [math]P(\text{dati} \mid \text{parametro})[/math], non [math]P(\text{parametro} \mid \text{dati})[/math]. Non stai stimando la probabilità del parametro.
- Pensare che la MLE “predica” il futuro. La MLE ricostruisce il passato: trova il parametro che spiega meglio ciò che hai già osservato.
- Dimenticare che la costante non conta. Termini che non dipendono dal parametro possono essere ignorati: non cambiano il punto di massimo.
- Non usare il logaritmo quando serve. La log-verosimiglianza semplifica i prodotti in somme e rende la derivazione possibile.
- Derivare la verosimiglianza invece della log-verosimiglianza. Errore classico: la verosimiglianza è spesso un prodotto enorme; il logaritmo è molto più gestibile.
- Cercare un massimo dove c’è un minimo. La MLE massimizza la verosimiglianza, non minimizza la distanza dai dati (anche se nei modelli normali i risultati coincidono con i Minimi Quadrati).
- Credere che la MLE sia sempre “giusta”. La MLE è potente, ma non infallibile:
- può essere instabile con pochi dati
- può divergere in modelli complessi
- può avere più massimi locali
- Ignorare i vincoli del parametro. Esempio: la probabilità [math]\theta[/math] deve stare nell’intervallo [math][0,1][/math]. Molti studenti derivano senza considerare i limiti fisici o logici del parametro.
- Pensare che la MLE sia sempre analitica. In molti modelli reali non esiste una formula chiusa risolvibile con carta e penna: serve l’ottimizzazione numerica (algoritmi computerizzati).
- Dimenticare che la MLE è solo metà del Bayes. La verosimiglianza è potente, ma non incorpora conoscenza pregressa: per quello serve il prior e l’approccio Bayesiano completo.
🧩 Domande da farsi per capire se hai applicato bene la MLE
Prima di considerare conclusa la tua analisi, passa in rassegna questi 10 punti fondamentali. Se rispondi “Sì” a tutti, la tua stima è solida.
- 1. Ho scritto chiaramente il modello probabilistico da cui assumo provengano i dati? Senza modello [math]\rightarrow[/math] niente verosimiglianza.
- 2. Ho identificato correttamente il parametro (o i parametri) da stimare? La MLE lavora solo sui parametri incogniti.
- 3. Ho scritto la verosimiglianza come [math]P(\text{dati} \mid \text{parametro})[/math]? Se hai scritto [math]P(\text{parametro} \mid \text{dati})[/math], stai facendo Bayes, non MLE.
- 4. Ho eliminato le costanti che non dipendono dal parametro? Se non influiscono sul massimo, puoi ignorarle per semplificare i calcoli.
- 5. Ho preso il logaritmo della verosimiglianza quando necessario? Se la verosimiglianza è un prodotto di densità, il logaritmo è quasi obbligatorio per rendere fattibile la derivazione.
- 6. Ho derivato rispetto al parametro e posto la derivata uguale a zero? È il passaggio tecnico centrale dell’ottimizzazione.
- 7. Ho verificato che la soluzione trovata è un massimo e non un minimo? Un rapido controllo della concavità (derivata seconda) o della natura della funzione ti assicura di non aver preso un abbaglio.
- 8. Ho rispettato i vincoli del parametro? Assicurati che i risultati siano fisicamente e logicamente possibili:
- Probabilità: deve essere compresa tra 0 e 1.
- Varianza: deve essere sempre positiva.
- Tassi: non possono essere negativi.
- 9. Ho interpretato il risultato nel contesto del problema? La MLE non è solo un numero: è un’ipotesi sul funzionamento reale del sistema che stai studiando.
- 10. Il valore stimato “spiega” davvero i dati meglio delle alternative? Questa è la domanda più importante: la MLE è, per definizione, un criterio di massima plausibilità.
Test di Autovalutazione: Il Concetto di Verosimiglianza
Utilizza queste domande per verificare la tua comprensione profonda della Likelihood e della sua applicazione pratica.
Q1: Concetto Base
Domanda: Cosa rappresenta la funzione di verosimiglianza [math]L(\theta \mid x)[/math] per un parametro [math]\theta[/math] dato un campione di dati osservati [math]x[/math]?
Risposta: Rappresenta la probabilità (o densità di probabilità) di osservare i dati [math]x[/math] che abbiamo effettivamente raccolto, vista come funzione del parametro incognito [math]\theta[/math]. Non è una distribuzione di probabilità per [math]\theta[/math] (a meno di non usare un approccio bayesiano con una prior).
Q2: Verosimiglianza vs Probabilità
Domanda: Qual è la differenza fondamentale tra la funzione di verosimiglianza [math]L(\theta \mid x)[/math] e la funzione di densità di probabilità [math]f(x \mid \theta)[/math]?
Risposta: La funzione [math]f(x \mid \theta)[/math] è una densità di probabilità rispetto a [math]x[/math] per un [math]\theta[/math] fissato. La verosimiglianza [math]L(\theta \mid x)[/math] considera invece [math]x[/math] fissato (i dati osservati) ed è una funzione di [math]\theta[/math]. Le due funzioni sono matematicamente identiche nella forma, ma l’interpretazione e l’uso sono diversi.
Q3: Principio di Massima Verosimiglianza
Domanda: Come si definisce lo stimatore di massima verosimiglianza (MLE) di un parametro?
Risposta: Lo stimatore di massima verosimiglianza [math]\hat{\theta}_{MLE}[/math] è il valore del parametro [math]\theta[/math] che massimizza la funzione di verosimiglianza [math]L(\theta \mid x)[/math] (o, più spesso, la log-verosimiglianza [math]\ell(\theta \mid x) = \log L[/math]), dato il campione osservato.
Q4: Esempio Binomiale
Domanda: Supponi di lanciare una moneta 10 volte e osservare 7 teste. Se [math]\theta[/math] è la probabilità di testa, qual è la verosimiglianza [math]L(\theta \mid x)[/math] per questa osservazione?
Risposta: La verosimiglianza, a meno di una costante moltiplicativa, è:
[math]L(\theta \mid x) \propto \theta^7 (1-\theta)^3[/math]
per [math]0 \leq \theta \leq 1[/math]. È il termine centrale della distribuzione binomiale per [math]n=10[/math] e [math]k=7[/math].
Q5: Verosimiglianza per Campioni Indipendenti
Domanda: Se abbiamo un campione di [math]n[/math] osservazioni indipendenti [math]x_1, x_2, …, x_n[/math] provenienti da una distribuzione con densità [math]f(x_i \mid \theta)[/math], come si scrive la verosimiglianza complessiva?
Risposta: La verosimiglianza è il prodotto delle densità (o probabilità) per ciascuna osservazione:
[math]\displaystyle L(\theta \mid x_1, \dots, x_n) = \prod_{i=1}^n f(x_i \mid \theta)[/math]
Q6: Scala della Verosimiglianza
Domanda: È importante il valore assoluto della verosimiglianza [math]L(\theta \mid x)[/math] in un dato punto [math]\theta_0[/math]? Cosa conta invece?
Risposta: Il valore assoluto di [math]L[/math] in un singolo punto non ha un significato inferenziale diretto. Contano i rapporti di verosimiglianza tra valori diversi di [math]\theta[/math]. Ad esempio, la regione di supporto verosimile è determinata confrontando [math]L(\theta) / L(\hat{\theta}_{MLE})[/math].
Q7: Verosimiglianza e Informazione di Fisher
Domanda: Come è legata la curvatura (seconda derivata) della log-verosimiglianza nel suo massimo all’incertezza dello stimatore di massima verosimiglianza?
Risposta: La curvatura negativa (seconda derivata) della log-verosimiglianza nel punto di massimo [math]\hat{\theta}[/math] misura la sua “acutezza”. Un massimo più pronunciato indica meno incertezza. L’informazione di Fisher osservata è:
[math]\displaystyle I(\hat{\theta}) = -\frac{d^2 \ell}{d\theta^2} \bigg|_{\hat{\theta}}[/math]
e la varianza stimata dello MLE è approssimativamente [math]1/I(\hat{\theta})[/math] (per grandi campioni).
Q8: Verosimiglianza per Parametri Multipli
Domanda: Se il modello ha due parametri [math]\theta_1[/math] e [math]\theta_2[/math], la verosimiglianza [math]L(\theta_1, \theta_2 \mid x)[/math] è una funzione a due variabili. Cosa rappresenta la verosimiglianza profilata per [math]\theta_1[/math]?
Risposta: La verosimiglianza profilata per [math]\theta_1[/math] è:
[math]L_p(\theta_1 \mid x) = \max_{\theta_2} L(\theta_1, \theta_2 \mid x)[/math]
Si ottiene massimizzando rispetto a [math]\theta_2[/math] per ogni valore fissato di [math]\theta_1[/math], permettendo di studiare l’incertezza su [math]\theta_1[/math] dopo aver “aggiustato” [math]\theta_2[/math] in modo ottimale.
Q9: Cambiamento di Scala dei Parametri
Domanda: La stima di massima verosimiglianza [math]\hat{\theta}_{MLE}[/math] è invariante rispetto a riparametrizzazioni? Spiega.
Risposta: Sì, lo MLE è invariante: se [math]\phi = g(\theta)[/math] e [math]\hat{\theta}[/math] è lo MLE per [math]\theta[/math], allora [math]\hat{\phi} = g(\hat{\theta})[/math] è lo MLE per [math]\phi[/math]. La verosimiglianza massima è la stessa, ma la forma della funzione di verosimiglianza cambia.
Q10: Intervalli di Verosimiglianza
Domanda: Come si costruisce un intervallo di verosimiglianza approssimato al 95% per un parametro scalare [math]\theta[/math]?
Risposta: Si considera l’insieme dei valori [math]\theta[/math] per cui la log-verosimiglianza [math]\ell(\theta)[/math] è entro circa 1.92 unità dal suo massimo:
[math]\{ \theta : 2[\ell(\hat{\theta}) – \ell(\theta)] \leq 3.84 \}[/math]
dove 3.84 è il 95esimo percentile della distribuzione [math]\chi_1^2[/math]. Questo deriva dalla statistica del rapporto di verosimiglianza.
Perché questi esercizi sono interessanti?
1. L’Informazione Sparsa e la Curvatura (Q4 & Q7)
L’esercizio della moneta non serve a calcolare probabilità nei bar, ma a capire il concetto di informazione sparsa. Con solo 10 lanci, la curva di verosimiglianza sarà piatta e larga. Se fossero 1000 lanci e 700 teste, la curva sarebbe strettissima.
La MLE ti dice il valore più probabile (0.7), ma l’esercizio sulla Informazione di Fisher (Q7) ti ricorda che è la “forma” della curva a dirti quanto puoi effettivamente fidarti di quel numero.
2. L’Invarianza: La “Superpotenza” della MLE (Q9)
L’invarianza è la vera marcia in più per il professionista. In modelli complessi (come nell’ingegneria finanziaria o strutturale), spesso è impossibile stimare direttamente la variabile finale che ci serve.
Grazie alla MLE, possiamo stimare un parametro più semplice e poi trasformarlo tramite una funzione [math]g(\theta)[/math], sapendo che la proprietà di “massima verosimiglianza” si trasferisce intatta al risultato finale.
3. Il Profiling: Isolare il Segnale (Q8)
Il Profiling è ciò che separa un principiante da un esperto. Nel mondo reale, non lavori mai nel vuoto: hai sempre “parametri di disturbo” (rumore di fondo, variabili secondarie, errori di calibrazione).
Saper profilare la verosimiglianza significa saper isolare il segnale che ti interessa, “pulendolo” dal resto in modo matematicamente rigoroso, senza perdere informazioni preziose durante il processo.
La MLE ha un limite oscuro: il pregiudizio dei dati passati. La MLE è un “ottimista del passato”. Se un evento non è mai accaduto nei tuoi dati, la MLE gli assegnerà probabilità zero. In un mondo di “Cigni Neri” (eventi rari ma catastrofici), fare affidamento solo sulla MLE può essere pericoloso. È qui che il professionista moderno deve saper fare il salto verso il Bayes, integrando la verosimiglianza con la conoscenza pregressa (Prior) per non farsi accecare dai soli dati osservati.
