Ti è mai capitato di leggere una singola recensione a 5 stelle per un prodotto nuovo e pensare: “Sarà davvero così buono?”. O magari un algoritmo ha bloccato un tuo commento innocuo, classificandolo come offensivo, lasciandoti a chiederti come sia possibile. Dietro a queste incertezze quotidiane si nasconde un potente strumento mentale e matematico: il Teorema di Bayes.
Non è solo una formula da imparare a memoria, ma un modo per aggiornare le nostre convinzioni di fronte a nuove prove. È il motore logico che ci permette di distinguere un segnale debole da uno forte, di capire perché un test medico quasi perfetto può comunque sbagliare e come un’intelligenza artificiale impara a classificare il mondo.
In questo articolo non ci limiteremo a studiare la teoria. Attraverso 6 sfide progressive, passeremo dal classico filtro anti-spam all’analisi di commenti sospetti di un influencer, fino a scoprire come gli algoritmi decidono se una recensione è scritta da un umano o da un bot. Preparati a usare la matematica per smascherare la realtà nascosta dietro i dati.
Esercizio 1 (Facile) – Il Filtro Anti-Spam
Testo:
Il filtro anti-spam della tua email classifica come “sospetto” il 95% delle email che contengono la parola “vincita”. Tuttavia, contrassegna erroneamente come sospetto anche il 3% delle email legittime che non contengono quella parola. Sai che l’1% di tutte le email che ricevi contiene la parola “vincita”. Se un’email viene contrassegnata come sospetta, qual è la probabilità che contenga effettivamente la parola “vincita”?
Risoluzione
Step 1: Identificare gli Eventi
- V: L’email contiene la parola “vincita”.
- S: L’email viene contrassegnata come “sospetta” dal filtro.
Step 2: Estrarre i Dati dal Problema
Dobbiamo tradurre il testo in probabilità.
- “Il 95% delle email che contengono la parola ‘vincita’” sono sospette: [math]P(S \mid V) = 0.95[/math]
- “Il 3% delle email legittime” (cioè NON V) sono sospette: [math]P(S \mid \overline{V}) = 0.03[/math]
- “L’1% di tutte le email… contiene la parola ‘vincita’”: [math]P(V) = 0.01[/math]
- Di conseguenza, la probabilità che un’email NON contenga quella parola è: [math]P(\overline{V}) = 1 – P(V) = 0.99[/math]
Step 3: Comprendere la Richiesta
Ci viene chiesta la probabilità che un’email contenga la parola “vincita”, dato che è stata contrassegnata come sospetta. In simboli: [math]P(V \mid S)[/math].
Step 4: Richiamare il Teorema di Bayes
La formula di Bayes è:
[math]P(V \mid S) = \frac{P(S \mid V) \cdot P(V)}{P(S)}[/math]
Ci manca [math]P(S)[/math], la probabilità totale che un’email sia contrassegnata come sospetta.
Step 5: Calcolare la Probabilità Totale P(S)
Un’email può essere sospetta in due modi mutualmente esclusivi: o è V e S, o è non-V e S. Usiamo il Teorema della Probabilità Totale:
[math]P(S) = P(S \mid V) \cdot P(V) + P(S \mid \overline{V}) \cdot P(\overline{V})[/math]
Sostituiamo i valori:
[math]\displaystyle \begin{aligned} P(S) &= (0.95 \cdot 0.01) + (0.03 \cdot 0.99) \\ &= 0.0095 + 0.0297 = 0.0392 \end{aligned}[/math]
Step 6: Applicare la Formula di Bayes
Ora possiamo calcolare [math]P(V \mid S)[/math]:
[math]\displaystyle \begin{aligned} P(V \mid S) &= \frac{P(S \mid V) \cdot P(V)}{P(S)} = \frac{0.95 \cdot 0.01}{0.0392} \\ &= \frac{0.0095}{0.0392} \approx 0.242 \end{aligned}[/math]
Step 7: Interpretare il Risultato
La probabilità che un’email contenga la parola “vincita”, dato che è stata segnalata come sospetta, è circa il 24.2%.
💡 Osservazione:
Nonostante l’alta accuratezza del filtro ([math]95\%[/math] di successo nel riconoscere le email “V”), la probabilità a posteriori [math]P(V \mid S)[/math] è solo del [math]24.2\%[/math]. Questo perché la “prevalenza” ([math]P(V) = 1\%[/math]) delle email con la parola “vincita” è molto bassa. Il filtro segna molti falsi positivi rispetto ai pochi veri positivi. Questo è un punto cruciale del Teorema di Bayes: le probabilità condizionate non sono simmetriche.
Domanda di Riflessione:
Perché la probabilità [math]P(V \mid S)[/math] è così bassa nonostante [math]P(S \mid V)[/math] sia molto alta? Quale ruolo gioca [math]P(V)[/math] in questo calcolo?
Esercizio 2 (Facile/Medio) – Recensioni di un Ristorante
Testo:
Su una piattaforma di recensioni, il 70% dei ristoranti eccellenti riceve una recensione a 5 stelle nella loro prima recensione. Tuttavia, anche il 20% dei ristoranti mediocri riceve per caso una prima recensione a 5 stelle. Supponiamo che, in un certo quartiere, solo il 10% dei ristoranti sia effettivamente eccellente. Se un ristorante in questo quartiere riceve una prima recensione a 5 stelle, qual è la probabilità che sia effettivamente eccellente?
Risoluzione
Step 1: Identificare gli Eventi
- E: Il ristorante è eccellente.
- C: Il ristorante riceve una recensione a 5 stelle (“Cinque stelle”).
Step 2: Estrarre i Dati
- [math]P(C \mid E) = 0.70[/math]
- [math]P(C \mid \overline{E}) = 0.20[/math]
- [math]P(E) = 0.10[/math]
- [math]P(\overline{E}) = 1 – 0.10 = 0.90[/math]
Step 3: Comprendere la Richiesta
Vogliamo [math]P(E \mid C)[/math].
Step 4: Applicare il Teorema di Bayes e della Probabilità Totale
[math]\displaystyle P(E \mid C) = \frac{P(C \mid E) \cdot P(E)}{P(C \mid E) \cdot P(E) + P(C \mid \overline{E}) \cdot P(\overline{E})}[/math]
Sostituiamo i valori:
[math]\displaystyle \begin{aligned} P(E \mid C) &= \frac{0.70 \cdot 0.10}{(0.70 \cdot 0.10) + (0.20 \cdot 0.90)} \\ &= \frac{0.07}{0.07 + 0.18} = \frac{0.07}{0.25} = 0.28 \end{aligned}[/math]
Step 5: Interpretare il Risultato
La probabilità che il ristorante sia eccellente, dato che ha una recensione a 5 stelle, è del 28%.
💡 Osservazione:
Anche in questo caso, la probabilità a priori ([math]P(E) = 10\%[/math]) di eccellenza è così bassa che un singolo segnale positivo (la recensione a 5 stelle) non basta per essere sicuri. Serve più di una recensione per “aggiornare” in modo significativo la nostra convinzione iniziale.
Domanda di Riflessione:
Se la percentuale di ristoranti eccellenti nel quartiere fosse del [math]50\%[/math] invece del [math]10\%[/math], come cambierebbe [math]P(E \mid C)[/math]? Prova a calcolarlo.
Esercizio 3 (Medio) – L’Assistente Virtuale e il Linguaggio Improprio
Testo:
Un assistente virtuale è progettato per riconoscere messaggi con linguaggio offensivo. Il sistema identifica correttamente il 99% dei messaggi offensivi (sensibilità). Tuttavia, il 5% dei messaggi normali viene erroneamente classificato come offensivo (falsi positivi). Dalle analisi, emerge che lo 0.5% di tutti i messaggi è effettivamente offensivo.
- Qual è la probabilità che un messaggio sia veramente offensivo, dato che il sistema lo ha classificato come tale?
- Qual è la probabilità che un messaggio sia normale, nonostante sia stato classificato come offensivo?
Risoluzione
Step 1: Identificare gli Eventi
- O: Il messaggio è offensivo.
- R: Il sistema “Riconosce” il messaggio come offensivo.
Step 2: Estrarre i Dati
- Sensibilità: [math]P(R \mid O) = 0.99[/math]
- Falsi Positivi: [math]P(R \mid \overline{O}) = 0.05[/math]
- Prevalenza: [math]P(O) = 0.005[/math]
- [math]P(\overline{O}) = 1 – 0.005 = 0.995[/math]
Step 3.1: Rispondere al Punto 1 – [math]P(O \mid R)[/math]
Applichiamo Bayes.
[math]\displaystyle P(O \mid R) = \frac{P(R \mid O) \cdot P(O)}{P(R \mid O) \cdot P(O) + P(R \mid \overline{O}) \cdot P(\overline{O})}[/math]
[math]\displaystyle \begin{aligned} P(O \mid R) &= \frac{0.99 \cdot 0.005}{(0.99 \cdot 0.005) + (0.05 \cdot 0.995)} \\ &= \frac{0.00495}{0.00495 + 0.04975} = \frac{0.00495}{0.0547} \approx 0.0905 \end{aligned}[/math]
La probabilità che un messaggio sia offensivo, dato che è stato riconosciuto, è circa il 9.05%.
Step 3.2: Rispondere al Punto 2 – [math]P(\overline{O} \mid R)[/math]
Questa è la probabilità complementare a [math]P(O \mid R)[/math], poiché se un messaggio è stato classificato come R, o è O o non è O.
[math]P(\overline{O} \mid R) = 1 – P(O \mid R) = 1 – 0.0905 = 0.9095[/math]
La probabilità che un messaggio sia normale, nonostante l’allarme, è circa il 90.95%.
💡 Osservazione:
Nonostante un’ottima sensibilità ([math]99\%[/math]), oltre il [math]90\%[/math] degli allarmi sono falsi. Questo è un problema reale nella moderazione dei contenuti. Per migliorare la situazione, si dovrebbe agire sulla specificità ([math]1 – P(R \mid \overline{O})[/math]), riducendo i falsi positivi, o applicare il filtro solo in contesti dove la prevalenza [math]P(O)[/math] è più alta.
Dal Teorema alla Professione:
Il Lavoro del Trust & Safety Specialist Il risultato del 90.95% di falsi allarmi non è solo un numero, è il pane quotidiano di un Trust & Safety Specialist o di un AI Ethicist. Queste figure non si limitano a programmare, ma si chiedono: “Qual è il costo di un errore?”. Bloccare ingiustamente il 90% degli utenti segnalati crea frustrazione e mina la fiducia nella piattaforma. D’altra parte, allentare troppo i filtri potrebbe non bloccare contenuti realmente dannosi. Questo esercizio dimostra che la sfida non è solo tecnica (migliorare il 99% di sensibilità), ma etica e di prodotto: come bilanciare sicurezza e libertà, definendo soglie di rischio accettabili per il business e per la società.
Domanda di Riflessione:
Quale delle due probabilità calcolate, [math]P(O \mid R)[/math] o [math]P(\overline{O} \mid R)[/math], è più rilevante per un utente il cui messaggio viene ingiustamente bloccato? E per un moderatore che vuole esaminare solo i messaggi veramente offensivi?
Esercizio 4 (Medio/Difficile) – L’Influencer e i Commenti Falsi
Testo:
Un’azienda sospetta che un influencer paghi per avere commenti falsi e positivi. L’azienda sa che, in media, il 60% degli influencer che ricorrono a commenti falsi ha una sezione commenti in cui oltre il 40% dei commenti usa la parola “fantastico”. Tra gli influencer onesti, solo il 15% ha una tale concentrazione della parola “fantastico”. L’azienda stima che il 25% degli influencer sotto esame paghi per i commenti.
Se l’account di un influencer ha una sezione commenti con oltre il 40% di commenti che contengono la parola “fantastico”, qual è la probabilità che paghi per i commenti falsi?
Risoluzione
Step 1: Identificare gli Eventi
- F: L’influencer paga per commenti Falsi.
- T: La sezione commenti ha oltre il [math]40\%[/math] di commenti con la parola “fantasTico”.
Step 2: Estrarre i Dati
- [math]P(T \mid F) = 0.60[/math]
- [math]P(T \mid \overline{F}) = 0.15[/math]
- [math]P(F) = 0.25[/math]
- [math]P(\overline{F}) = 1 – 0.25 = 0.75[/math]
Step 3: Comprendere la Richiesta
Vogliamo [math]P(F \mid T)[/math].
Step 4: Applicare il Teorema di Bayes
[math]\displaystyle P(F \mid T) = \frac{P(T \mid F) \cdot P(F)}{P(T \mid F) \cdot P(F) + P(T \mid \overline{F}) \cdot P(\overline{F})}[/math]
[math]\displaystyle \begin{aligned} P(F \mid T) &= \frac{0.60 \cdot 0.25}{(0.60 \cdot 0.25) + (0.15 \cdot 0.75)} \\ &= \frac{0.15}{0.15 + 0.1125} = \frac{0.15}{0.2625} \approx 0.571 \end{aligned}[/math]
Step 5: Interpretare il Risultato
La probabilità che l’influencer paghi per commenti falsi, dato l’uso eccessivo della parola “fantastico”, è circa il 57.1%.
💡 Osservazione:
Questo esercizio mostra come Bayes possa essere usato per l’analisi di “pattern” per individuare comportamenti fraudolenti. La probabilità a priori di frode ([math]P(F) = 25\%[/math]) viene più che raddoppiata dall’evidenza osservata (la parola “fantastico”), portandola al [math]57.1\%[/math]. È un indizio forte, ma non conclusivo.
Dal Teorema alla Professione: Il Fiuto del Data Scientist nel Marketing
Un Data Scientist che lavora nel marketing digitale affronta problemi come questo ogni giorno. Il calcolo del 57.1% è un esempio di feature engineering: l’arte di trovare segnali (come l’abuso della parola “fantastico”) che, combinati con una conoscenza del dominio (la stima del 25% di frodi), permettono di costruire modelli di fraud detection. La vera abilità non sta solo nell’applicare Bayes, ma nel porre le domande giuste: “Quali altre parole o pattern indicano un comportamento anomalo? Come cambia la nostra stima iniziale se analizziamo una nicchia diversa di influencer?”.
Domanda di Riflessione:
Se l’azienda diventasse più severa e stimasse che solo il [math]10\%[/math] degli influencer sono disonesti ([math]P(F) = 0.10[/math]), come cambierebbe [math]P(F \mid T)[/math]?
Esercizio 5 (Difficile) – Il Test di Analisi del Sentimento a Due Fasi
Testo:
Un’azienda utilizza un test di analisi del sentimento per classificare le recensioni come “Positive” o “Negative”. Il test non è perfetto. La sua sensibilità (riconoscere una recensione positiva come tale) è [math]0.90[/math] e la sua specificità (riconoscere una negativa come tale) è [math]0.80[/math].
Sapendo che il 70% delle recensioni è effettivamente positiva, calcola:
- La probabilità che una recensione sia positiva, dato che il test la classifica come positiva.
- Per migliorare l’accuratezza, il test viene applicato una seconda volta solo alle recensioni classificate come positive al primo giro. Assumendo che i due test siano indipendenti, qual è la probabilità che una recensione sia positiva dato che è stata classificata come positiva in entrambi i test?
Risoluzione
Step 1: Identificare gli Eventi per il Primo Test
- Pos: La recensione è effettivamente Positiva.
- [math]T_1[/math]: Il primo test dà esito Positivo.
Step 2: Estrarre i Dati per il Primo Test
- Sensibilità: [math]P(T_1 \mid Pos) = 0.90[/math]
- Specificità: [math]P(\overline{T_1} \mid \overline{Pos}) = 0.80[/math]. Quindi, un falso positivo è [math]P(T_1 \mid \overline{Pos}) = 1 – 0.80 = 0.20[/math].
- [math]P(Pos) = 0.70[/math]
- [math]P(\overline{Pos}) = 0.30[/math]
Step 3.1: Rispondere al Punto 1 – [math]P(Pos \mid T_1)[/math]
[math]\displaystyle P(Pos \mid T_1) = \frac{P(T_1 \mid Pos) \cdot P(Pos)}{P(T_1 \mid Pos) \cdot P(Pos) + P(T_1 \mid \overline{Pos}) \cdot P(\overline{Pos})}[/math]
[math]\displaystyle \begin{aligned} P(Pos \mid T_1) &= \frac{0.90 \cdot 0.70}{(0.90 \cdot 0.70) + (0.20 \cdot 0.30)} \\ &= \frac{0.63}{0.63 + 0.06} = \frac{0.63}{0.69} \approx 0.913 \end{aligned}[/math]
Dopo un test positivo, la probabilità è circa 91.3%.
Step 3.2: Rispondere al Punto 2 – Il Secondo Test
Ora l’evidenza è che la recensione è risultata positiva in due test indipendenti: [math]T_1 \cap T_2[/math].
La nostra nuova probabilità a priori non è più [math]P(Pos) = 0.70[/math], ma [math]P(Pos \mid T_1) \approx 0.913[/math]. Questo è il potere di Bayes: l’output di un test diventa l’input del successivo.
Applichiamo nuovamente Bayes, usando [math]P(Pos \mid T_1)[/math] come nuova probabilità a priori. Definiamo [math]T_2[/math]: Il secondo test dà esito Positivo.
Nuovi dati per il calcolo:
- Probabilità a priori aggiornata: [math]P(Pos) = 0.913[/math], [math]P(\overline{Pos}) = 1 – 0.913 = 0.087[/math].
- Le performance del test restano le stesse: [math]P(T_2 \mid Pos) = 0.90[/math], [math]P(T_2 \mid \overline{Pos}) = 0.20[/math].
Calcoliamo [math]P(Pos \mid T_1 \cap T_2)[/math]:
[math]\displaystyle P(Pos \mid T_1 \cap T_2) = \frac{P(T_2 \mid Pos) \cdot P(Pos)}{P(T_2 \mid Pos) \cdot P(Pos) + P(T_2 \mid \overline{Pos}) \cdot P(\overline{Pos})}[/math]
Nota: [math]P(T_2 \mid Pos)[/math] qui è la probabilità che il secondo test sia positivo dato che la recensione È positiva, che è sempre [math]0.90[/math]. L’indipendenza dei test ci assicura che questa probabilità non cambia per il fatto che [math]T_1[/math] sia già accaduto.
[math]\displaystyle \begin{aligned} P(Pos \mid T_1 \cap T_2) &= \frac{0.90 \cdot 0.913}{(0.90 \cdot 0.913) + (0.20 \cdot 0.087)} \\ &= \frac{0.8217}{0.8217 + 0.0174} = \frac{0.8217}{0.8391} \approx 0.979 \end{aligned}[/math]
Step 4: Interpretare il Risultato
Dopo due test consecutivi positivi, la probabilità che la recensione sia effettivamente positiva sale a circa 97.9%.
💡 Osservazione:
Questo esercizio mostra un’applicazione sequenziale e potente del Teorema di Bayes. Ogni nuova evidenza (test positivo) aggiorna la nostra “fiducia” (probabilità a posteriori) che l’ipotesi (recensione positiva) sia vera. È un modello semplificato di come impariamo dall’esperienza.
Domanda di Riflessione:
L’indipendenza dei due test è un’ipotesi realistica? Cosa succederebbe se il secondo test tendesse a confermare il risultato del primo per un difetto di progettazione comune?
Esercizio 6 (Molto Difficile) – La Fonte delle Recensioni: Umano o Bot?
Testo:
Un’analista sta studiando se una certa recensione online è stata scritta da un umano (H) o da un bot (B). Sa che il [math]40\%[/math] delle recensioni in quel sito è generato da bot.
L’analista osserva due caratteristiche nella recensione:
- L: La recensione è eccessivamente Lunga (più di 200 parole).
- E: La recensione contiene Errori di battitura evidenti.
Si sa che:
- La probabilità che una recensione sia lunga, se è di un bot, è [math]P(L \mid B) = 0.10[/math], mentre se è umana è [math]P(L \mid H) = 0.60[/math].
- La probabilità che contenga errori, se è di un bot, è [math]P(E \mid B) = 0.02[/math], mentre se è umana è [math]P(E \mid H) = 0.15[/math].
Le due caratteristiche L ed E possono essere considerate indipendenti, dato che si conosce la fonte (umana o bot).
Se l’analista trova una recensione che è sia Lunga che piena di Errori, qual è la probabilità che sia stata scritta da un umano?
Risoluzione
Step 1: Identificare gli Eventi
- H: La recensione è di un Umano (Human). B: La recensione è di un Bot.
- L: La recensione è Lunga.
- E: La recensione contiene Errori.
Step 2: Estrarre i Dati e le Ipotesi
- Probabilità a priori: [math]P(B) = 0.40[/math], quindi [math]P(H) = 0.60[/math].
- [math]P(L \mid B) = 0.10[/math], [math]P(L \mid H) = 0.60[/math]
- [math]P(E \mid B) = 0.02[/math], [math]P(E \mid H) = 0.15[/math]
Ipotesi cruciale: L ed E sono condizionatamente indipendenti dato H (e dato B). Questo significa che, sapendo che la fonte è umana, il fatto che la recensione sia lunga non influisce sulla probabilità che abbia errori, e viceversa. Quindi:
- [math]P(L \cap E \mid H) = P(L \mid H) \cdot P(E \mid H)[/math]
- [math]P(L \cap E \mid B) = P(L \mid B) \cdot P(E \mid B)[/math]
Step 3: Comprendere la Richiesta
Vogliamo [math]P(H \mid L \cap E)[/math].
Step 4: Applicare il Teorema di Bayes con Evidenza Multipla
La formula di Bayes con evidenza multipla è:
[math]P(H \mid L \cap E) = \frac{P(L \cap E \mid H) \cdot P(H)}{P(L \cap E)}[/math]
Dove la probabilità totale [math]P(L \cap E)[/math] è:
[math]P(L \cap E) = P(L \cap E \mid H) \cdot P(H) + P(L \cap E \mid B) \cdot P(B)[/math]
Step 5: Sfruttare l’Indipendenza Condizionata
Calcoliamo i termini chiave usando l’ipotesi di indipendenza.
- [math]P(L \cap E \mid H) = 0.60 \cdot 0.15 = 0.09[/math]
- [math]P(L \cap E \mid B) = 0.10 \cdot 0.02 = 0.002[/math]
Step 6: Calcolare la Probabilità Totale [math]P(L \cap E)[/math]
[math]\displaystyle \begin{aligned} P(L \cap E) &= (0.09 \cdot 0.60) + (0.002 \cdot 0.40) \\ &= 0.054 + 0.0008 = 0.0548 \end{aligned}[/math]
Step 7: Calcolare la Probabilità a Posteriori Finale
[math]\displaystyle P(H \mid L \cap E) = \frac{0.09 \cdot 0.60}{0.0548} = \frac{0.054}{0.0548} \approx 0.985[/math]
Step 8: Interpretare il Risultato
La probabilità che la recensione (lunga e con errori) sia stata scritta da un umano è circa 98.5%.
💡 Osservazione:
Questo è un esempio classico di “Naive Bayes”, molto usato nel Machine Learning per la classificazione del testo. L’ipotesi di indipendenza condizionata semplifica enormemente il calcolo quando ci sono molte evidenze (ad esempio, tutte le parole in una recensione). Nonostante l’ipotesi sia spesso violata nella realtà, il classificatore funziona sorprendentemente bene. In questo caso, la combinazione di “lunghezza” (più probabile per umani) ed “errori” (più probabili per umani) ci porta a essere quasi certi della fonte umana, nonostante la prior non trascurabile per i bot ([math]40\%[/math]).
Dal Teorema alla Professione: Il Mondo del Machine Learning Engineer
Questo esercizio è un’introduzione al cuore del lavoro di un Machine Learning Engineer: costruire classificatori. Il “Naive Bayes” è un modello semplice ma potente, usato per la classificazione di testi, la diagnosi medica e molto altro. La “domanda di riflessione” sulla dipendenza tra le variabili è cruciale: un ingegnere esperto sa che l’ipotesi “naive” (ingenua) è una semplificazione. La frontiera dell’AI oggi è costruire modelli (come le Reti Bayesiane) che apprendono queste complesse interdipendenze, creando sistemi di riconoscimento molto più sofisticati e simili al ragionamento umano.
Domanda di Riflessione:
Perché l’ipotesi di indipendenza condizionata è così importante in questo calcolo? Cosa dovremmo fare se sapessimo che le recensioni lunghe degli umani tendono ad avere MENO errori di battitura?
