Una campagna email sembra aver prodotto un risultato straordinario.
Dopo l’invio, il 76% dei clienti raggiunti risulta ancora attivo dopo 90 giorni, contro poco più del 54% dei clienti non raggiunti.
La differenza è di oltre 22 punti percentuali.
Il marketing manager potrebbe quindi concludere:
“La campagna ha funzionato. Replichiamola su tutti i clienti.”
Ma questa conclusione potrebbe essere sbagliata.
Il problema è semplice da formulare e molto difficile da risolvere:
i clienti che hanno ricevuto l’email erano davvero comparabili con quelli che non l’hanno ricevuta?
Nel nostro esempio, il team marketing ha coinvolto più spesso clienti Premium e utenti con un engagement già elevato.
Se questi clienti fossero rimasti attivi più spesso anche senza ricevere l’email, il +22,27% osservato nei dati non rappresenterebbe l’effetto della campagna.
Sarebbe invece una combinazione di:
caratteristiche iniziali dei clienti;
modalità con cui il trattamento è stato assegnato;
effetto realmente prodotto dalla campagna.
È qui che entra in gioco l’inferenza causale.
In questo articolo costruiremo una simulazione completa in Python e utilizzeremo DoWhy per rispondere a una domanda molto più utile dal punto di vista aziendale:
Quanto della maggiore retention possiamo attribuire alla campagna, una volta considerate le differenze preesistenti tra i clienti?
L’obiettivo non è trovare semplicemente “il numero giusto”.
È capire quale decisione quel numero permette realmente di prendere.
Pubblicità
Il problema: differenza osservata o effetto causale?
Immaginiamo una piattaforma SaaS con 12.000 clienti.
Il marketing team vuole aumentare la retention nei successivi 90 giorni e decide di inviare una campagna email.
L’assegnazione, però, non è casuale.
Per ragioni commerciali, il team tende a coinvolgere:
clienti Premium;
clienti con elevato engagement;
clienti considerati particolarmente interessanti dal punto di vista commerciale.
Dal punto di vista operativo è perfettamente plausibile.
Dal punto di vista statistico crea però un problema.
Se confrontiamo direttamente:
[math]P(Y=1 \mid T=1)[/math]
con
[math]P(Y=1 \mid T=0)[/math]
stiamo confrontando due gruppi che potrebbero essere diversi prima ancora della campagna.
Le variabili del nostro esempio
Variabile
Significato
email
1 se il cliente riceve la campagna, 0 altrimenti
retained
1 se il cliente è ancora attivo dopo 90 giorni
segment_premium
1 se il cliente appartiene al segmento Premium
engagement
livello di attività osservato prima della campagna
La collocazione temporale è fondamentale.
segment_premium ed engagement sono caratteristiche pre-trattamento.
Questo significa che esistono prima dell’email e possono influenzare sia la probabilità di ricevere il trattamento sia la probabilità di rimanere clienti.
Non dobbiamo invece controllare automaticamente ogni variabile disponibile nel dataset.
Una variabile successiva all’email potrebbe essere un mediatore del trattamento. Controllarla potrebbe significare eliminare proprio una parte dell’effetto che vogliamo misurare.
La prima misura: +22,27 punti percentuali
Cominciamo dall’analisi più semplice.
Calcoliamo la differenza tra la retention dei clienti trattati e quella dei clienti non trattati:
“Quanto differisce la retention osservata tra i due gruppi?”
Non risponde necessariamente alla domanda:
“Quanto sarebbe cambiata la retention di questi stessi clienti se non avessero ricevuto l’email?”
La seconda è una domanda causale.
Questa distinzione è il cuore dell’intero articolo.
Pubblicità
Associazione non significa causalità
Supponiamo di osservare:
76% di retention tra i destinatari;
54% tra i non destinatari.
Possiamo certamente dire:
I clienti che hanno ricevuto l’email hanno avuto una retention maggiore.
Non possiamo però concludere automaticamente:
L’email ha aumentato la retention di 22,27 punti percentuali.
Per capire perché, immaginiamo due scenari.
Scenario A: l’email funziona
L’email modifica realmente il comportamento del cliente.
Senza email:
[math]P(retained) = 0{,}60[/math]
Con email:
[math]P(retained) = 0{,}67[/math]
L’effetto causale sarebbe circa:
[math]+7 \text{ pp}[/math]
Scenario B: l’email non funziona
Supponiamo invece che i clienti più fedeli ricevano più frequentemente l’email.
I clienti ad alto engagement hanno una maggiore probabilità di ricevere il trattamento e, indipendentemente dalla campagna, una maggiore probabilità di rimanere attivi.
Una parte dell’associazione tra email e retention può quindi essere spiegata da variabili che precedono il trattamento.
Nel nostro modello assumiamo che:
[math]Z = \{segment\_premium, engagement\}[/math]
sia sufficiente per bloccare i principali percorsi di confondimento osservati.
Questa però è un’assunzione causale, non un fatto che DoWhy possa dimostrare automaticamente.
Il DAG non è un disegno decorativo
Questo è uno dei concetti più importanti dell’inferenza causale.
Un errore frequente consiste nel pensare:
“Faccio girare DoWhy e sarà il software a dirmi quali variabili controllare.”
Il processo corretto è invece:
comprendere il processo aziendale;
identificare le variabili che precedono il trattamento;
formulare un modello causale;
rappresentarlo con un DAG;
individuare i percorsi di confondimento;
determinare un set di aggiustamento;
scegliere il metodo di stima;
verificare quanto le conclusioni siano robuste.
DoWhy può formalizzare e implementare questo workflow.
Non può però stabilire autonomamente se la nostra rappresentazione del business sia corretta.
In altre parole:
la qualità dell’inferenza causale dipende dalle assunzioni sul processo che genera i dati, non soltanto dall’algoritmo utilizzato.
La documentazione di DoWhy stessa struttura l’analisi intorno a identificazione, stima e successiva verifica dell’effetto.
Il problema controfattuale
Per capire veramente la causalità dobbiamo introdurre il concetto di controfattuale.
Per ogni cliente immaginiamo due possibili risultati.
[math]Y(1)[/math]
è la retention che osserveremmo se il cliente ricevesse l’email.
[math]Y(0)[/math]
è la retention che osserveremmo se lo stesso cliente non ricevesse l’email.
L’effetto individuale sarebbe:
[math]Y(1) – Y(0)[/math]
Ed ecco il problema fondamentale.
Per uno stesso cliente possiamo osservare soltanto uno dei due risultati.
Se riceve l’email osserviamo:
[math]Y(1)[/math]
ma non possiamo osservare contemporaneamente:
[math]Y(0)[/math]
Il risultato mancante è proprio il controfattuale.
L’inferenza causale cerca di ricostruire questo confronto utilizzando informazioni sugli altri clienti e facendo determinate assunzioni sul processo di assegnazione del trattamento.
Nel nostro caso vogliamo stimare l’Average Treatment Effect, ATE:
[math]ATE = E[Y(1) – Y(0)][/math]
L’ATE risponde alla domanda:
“Qual è la variazione media della retention se trattassimo i clienti invece di non trattarli?”
Tre modi diversi di affrontare il problema
A questo punto possiamo confrontare tre famiglie di approcci.
Metodo
Domanda principale
Differenza osservata
Quanto differiscono i gruppi?
Modello di outcome
Qual è l’effetto dopo aver considerato le covariate?
Propensity score
Come rendere più comparabili trattati e controlli?
Nessuno di questi metodi elimina automaticamente tutte le fonti di bias.
Tutti dipendono dalla qualità delle variabili osservate e dalle assunzioni causali.
1. Regressione logistica
Poiché retained è una variabile binaria, possiamo utilizzare una regressione logistica:
Con il seed utilizzato nell’esempio otteniamo circa:
[math]ATE_{sim} \approx 0{,}0685[/math]
cioè:
+6,85 punti percentuali
Questo è il nostro ATE di riferimento della simulazione.
Non sarebbe disponibile in un vero progetto aziendale.
Lo conosciamo perché abbiamo costruito noi il processo che genera i dati.
È proprio questo che rende la simulazione didatticamente interessante: possiamo verificare quanto i diversi metodi riescano a recuperare un effetto che, nel mondo simulato, conosciamo.
Pubblicità
Il confronto diventa interessante
Possiamo quindi sintetizzare il problema:
Analisi
Interpretazione
Differenza osservata
+22,27 pp
Regressione logistica
circa 5–6 pp
Propensity score
circa 5–7 pp, a seconda dell’estimatore
ATE di riferimento della simulazione
+6,85 pp
Il messaggio non è:
“6,59 è giusto e 5,58 è sbagliato.”
Il messaggio è diverso.
I metodi di aggiustamento portano l’analisi verso un ordine di grandezza molto distante dal confronto grezzo.
Questo mostra concretamente quanto il confondimento possa alterare una conclusione aziendale.
Ma attenzione: non abbiamo dimostrato la causalità
Questo è un passaggio che merita di essere sottolineato.
Supponiamo di ottenere:
[math]ATE = 0{,}0659[/math]
Non significa:
“Abbiamo dimostrato matematicamente che l’email causa un aumento del 6,59%.”
Significa:
“Sotto le assunzioni causali del nostro modello e dato il metodo utilizzato, stimiamo un effetto medio di circa 6,59 punti percentuali.”
La differenza è fondamentale.
Un modello causale osservazionale dipende da ipotesi come:
corretto set di confondenti;
assenza di importanti confondenti non osservati;
corretta definizione del trattamento;
corretta misurazione delle variabili;
positivity;
corretta specificazione dell’estimatore.
DoWhy aiuta a rendere esplicite queste assunzioni, ma non può trasformare automaticamente dati osservazionali in un esperimento.
Il problema del confondente che non osserviamo
Immaginiamo una variabile:
customer_intent
che misura quanto il cliente sia realmente intenzionato a rinnovare l’abbonamento.
Il problema è che questa variabile non compare nel dataset.
Rimane quindi aperto il percorso:
email ← customer_intent → retained
La regressione non può controllarlo.
Il propensity score non può controllarlo.
Il matching non può controllarlo.
DoWhy non può inventarlo.
Questa è una delle regole fondamentali dell’inferenza causale:
un algoritmo può correggere il confondimento che abbiamo osservato e modellato; non può eliminare automaticamente ciò che non sappiamo di dover controllare.
Per questo la qualità dei dati e la conoscenza del processo aziendale sono parte integrante dell’analisi causale.
Cosa succede se dimentichiamo Premium?
Possiamo simulare un errore molto comune.
Supponiamo di controllare engagement, ma non segment_premium.
La stima dell’effetto può aumentare sensibilmente rispetto al modello completo.
Nella simulazione originale il risultato passa indicativamente da circa:
[math]+5{,}6 \text{ pp}[/math]
a:
[math]+12{,}3 \text{ pp}[/math]
Non dobbiamo però interpretare la differenza:
[math]12{,}3 – 5{,}6 = 6{,}7 \text{ pp}[/math]
come una misura universale del bias da omissione.
È semplicemente il risultato prodotto da questa simulazione.
Il vero insegnamento è un altro:
una variabile confondente importante può cambiare radicalmente la conclusione dell’analisi.
Refutation: una stima robusta dovrebbe sopravvivere a perturbazioni ragionevoli
Una volta ottenuta una stima, possiamo chiederci:
“Quanto è sensibile il risultato a piccole modifiche del dataset o del trattamento?”
DoWhy mette a disposizione diversi refutation tests, tra cui:
placebo treatment;
random common cause;
data subset;
altri controlli di robustezza.
La documentazione DoWhy presenta i refutation test proprio come strumenti per mettere alla prova la stabilità dell’analisi, non come una prova definitiva della causalità.
Placebo treatment
Sostituiamo il trattamento reale con un trattamento casuale.
Se il metodo è ragionevole, il trattamento placebo non dovrebbe produrre un grande effetto sistematico.
Un risultato vicino a zero è quindi coerente con ciò che ci aspettiamo.
Ma attenzione:
un placebo test positivo non dimostra che l’effetto originale sia causale.
Dice soltanto che l’analisi non sembra generare automaticamente un grande effetto quando il trattamento causale viene sostituito con uno placebo.
Random common cause
Possiamo aggiungere una causa comune generata casualmente.
Se l’effetto stimato rimane sostanzialmente stabile, questo è un comportamento rassicurante.
Ancora una volta, però:
non è una dimostrazione di correttezza.
È un controllo di robustezza.
Data subset
Possiamo anche ripetere l’analisi su un sottoinsieme casuale dei dati.
Se la stima rimane relativamente vicina a quella originale, abbiamo un’altra evidenza di stabilità.
L’obiettivo complessivo dei refutation test è quindi:
non soltanto prevedere chi comprerà, ma stimare chi comprerà grazie all’intervento.
È una distinzione fondamentale.
Un modello predittivo cerca clienti con alta probabilità di conversione.
Un modello causale cerca clienti per i quali l’intervento modifica realmente la probabilità di conversione.
Il vero riferimento: l’esperimento randomizzato
A questo punto emerge una conclusione importante.
Se possiamo progettare la prossima campagna, spesso non abbiamo bisogno di costruire un sistema causale osservazionale estremamente sofisticato.
Possiamo fare qualcosa di più semplice:
Clienti
│
┌─────────┴─────────┐
│ │
▼ ▼
Email Controllo
Assegniamo casualmente i clienti ai due gruppi.
Questo è un randomized controlled trial, o più semplicemente un A/B test.
La randomizzazione tende a rendere i gruppi comparabili anche rispetto a caratteristiche che non abbiamo osservato.
La domanda diventa:
“Tra clienti assegnati casualmente all’email e clienti assegnati casualmente al controllo, quale differenza osserviamo nella retention?”
Quando è tecnicamente, eticamente e operativamente possibile, questo approccio è generalmente il riferimento più diretto per misurare l’incrementalità.
L’inferenza causale osservazionale rimane invece fondamentale quando:
l’esperimento non è stato progettato;
non possiamo randomizzare;
il trattamento è già avvenuto;
la randomizzazione è troppo costosa;
esistono vincoli etici o operativi.
La lezione è quindi paradossale ma importante:
il modo migliore per fare causal inference spesso è progettare meglio i dati prima ancora di analizzarli.
Pubblicità
Il codice Python
Il seguente script costruisce il dataset simulato, calcola la differenza osservata, stima una regressione logistica, costruisce il DAG e utilizza DoWhy per identificare e stimare l’effetto causale.
DoWhy supporta esplicitamente estimatori basati su propensity score, regressione e altri approcci di stima backdoor.
Nota:Se compare un warning su pygraphviz, ignorarlo: DoWhy usa pydot come fallback.
### Estimand : 1 Estimand name: backdoor Estimand expression: d ────────(E[retained|engagement,segmentₚᵣₑₘᵢᵤₘ]) d[email] Estimand assumption 1, Unconfoundedness: If U→{email} and U→retained then P(retained|email,engagement,segment_premium,U) = P(retained|email,engagement,segment_premium)
### Estimand : 2 Estimand name: iv No such variable(s) found!
### Estimand : 3 Estimand name: frontdoor No such variable(s) found!
### Estimand : 4 Estimand name: general_adjustment Estimand expression: d ────────(E[retained|engagement,segmentₚᵣₑₘᵢᵤₘ]) d[email] Estimand assumption 1, Unconfoundedness: If U→{email} and U→retained then P(retained|email,engagement,segment_premium,U) = P(retained|email,engagement,segment_premium)
ATE stratification: 0.06591687222098927 ATE matching: 0.05416666666666667 ATE di riferimento simulazione: 0.0685
Commento applicativo e manageriale
L’output mostra perché una campagna non dovrebbe essere valutata osservando soltanto la retention dei destinatari. Nel nostro caso, il 75,08% dei clienti trattati è rimasto attivo dopo 90 giorni, contro il 52,81% dei clienti non trattati. La differenza osservata è quindi di 22,27 punti percentuali. Questo dato è reale dal punto di vista descrittivo, ma non può essere interpretato automaticamente come incremento prodotto dall’email: i clienti raggiunti erano più spesso Premium e presentavano livelli di engagement differenti già prima dell’invio.
Quando introduciamo queste caratteristiche nella regressione logistica, l’effetto marginale medio dell’email scende a 5,58 punti percentuali. Dal punto di vista manageriale, la lettura cambia radicalmente: non possiamo dire che l’email abbia trattenuto 22 clienti aggiuntivi ogni 100 destinatari; possiamo dire che, sotto le assunzioni del modello causale, l’incremento plausibilmente attribuibile alla campagna è nell’ordine di 5–6 clienti aggiuntivi ogni 100. La differenza rimanente riflette soprattutto la composizione dei gruppi e il fatto che i clienti trattati erano, in parte, già più predisposti a rimanere.
Indicatore
Lettura manageriale
Retention trattati: 75,08%
Risultato osservato tra i destinatari.
Retention controllo: 52,81%
Risultato osservato tra i non destinatari.
Differenza osservata: +22,27 pp
Non equivale automaticamente all’incrementalità.
AME dell’email: +5,58 pp
Incremento medio stimato dopo l’aggiustamento.
Break-even del business case: +4,81 pp
Uplift minimo necessario per coprire i costi ipotizzati.
Il confronto con il break-even è particolarmente importante. Se il costo della campagna è di 98.700 euro e il valore netto incrementale per cliente trattenuto è di 513,33 euro, la campagna deve produrre almeno 4,81 punti percentuali di uplift per risultare economicamente neutrale. L’AME stimato di 5,58 punti percentuali supera questa soglia, ma con un margine relativamente contenuto. La decisione non dovrebbe quindi essere “aumentiamo subito il budget”, bensì: “la campagna appare potenzialmente redditizia, ma dobbiamo misurare meglio l’incertezza dell’effetto prima di scalarla”.
In termini operativi, il risultato suggerisce tre azioni. La prima è non utilizzare il +22,27% come base per il forecast o per il calcolo del ROI. La seconda è stimare intervalli di confidenza, verificare overlap e bilanciamento delle covariate e controllare se l’effetto cambia tra clienti Premium e non Premium. La terza, quando possibile, è progettare la prossima campagna con un gruppo di controllo assegnato casualmente. In questo modo l’azienda potrebbe misurare più direttamente l’incrementalità e ridurre la dipendenza dalle assunzioni necessarie nell’analisi osservazionale.
La conclusione manageriale non è che la campagna abbia fallito. È che il suo valore reale potrebbe essere molto inferiore al valore suggerito dai dati grezzi. Prima di investire di più, bisogna stimare quanto della retention sarebbe avvenuto comunque.
Quale decisione dovrebbe prendere il manager?
A questo punto l’analisi non serve soltanto a stimare un effetto. Serve a trasformare i risultati in una decisione proporzionata alla qualità dell’evidenza disponibile.
Il primo dato da non utilizzare come base decisionale è il +22,27% osservato. Questa è la differenza di retention tra clienti trattati e clienti di controllo, ma i due gruppi non erano comparabili in partenza. I clienti raggiunti erano più spesso Premium e avevano caratteristiche di engagement diverse. Utilizzare il +22,27% come incremento causato dall’email significherebbe attribuire alla campagna anche una parte della retention che probabilmente si sarebbe verificata comunque.
Le stime ottenute dopo l’aggiustamento per i confondenti si collocano invece nell’ordine del 5–7%. Questo intervallo è più utile per il management, ma non deve essere interpretato come una certezza: si tratta di stime basate su un modello causale e su assunzioni che devono essere verificate.
1. Estendere la campagna?
Non sulla base del +22,27% osservato.
Un’estensione può essere presa in considerazione se l’effetto incrementale stimato rimane positivo, se il margine economico è sufficiente e se non emergono problemi di overlap, bilanciamento o confondimento non osservato.
La domanda non dovrebbe essere:
“I destinatari hanno avuto una retention maggiore?”
La risposta a questa domanda è già sì.
La domanda utile è:
“Quanta retention aggiuntiva possiamo attribuire alla campagna, rispetto a ciò che sarebbe successo senza l’intervento?”
Se il risultato causale plausibile è nell’ordine di 5–7 punti percentuali, l’eventuale estensione dovrebbe essere graduale e misurabile, non un passaggio immediato a tutti i clienti. Una possibile strategia consiste nell’estendere la campagna a un nuovo gruppo di clienti mantenendo una quota di controllo, così da continuare a misurare l’effetto durante la fase di rollout.
Questa soluzione consente di ridurre il rischio di scalare un’iniziativa sulla base di una sovrastima iniziale e, allo stesso tempo, di raccogliere nuove evidenze in un contesto più vicino a quello operativo.
2. Aumentare il budget?
Nel nostro scenario il punto di pareggio è:
[math]\displaystyle uplift_{BE} = 4{,}81 \text{ punti percentuali}[/math]
Questo significa che la campagna deve generare almeno 4,81 clienti aggiuntivi trattenuti ogni 100 destinatari per coprire i costi ipotizzati.
Uno scenario prudenziale del 5% supera la soglia, ma soltanto di poco. La differenza fra il ritorno positivo e quello negativo è quindi molto sensibile a piccoli cambiamenti nella stima dell’effetto, nel costo della campagna o nel valore economico attribuito a ciascun cliente.
La decisione prudente non sarebbe:
“La campagna è molto redditizia: aumentiamo enormemente il budget.”
Sarebbe invece:
“La campagna sembra potenzialmente redditizia, ma il margine sopra il break-even è ridotto. Raccogliamo evidenza più precisa prima di scalare significativamente l’investimento.”
Dal punto di vista manageriale, questo è un caso in cui la qualità dell’informazione ha un valore economico. Spendere una parte del budget per migliorare la misurazione può essere più conveniente che investire subito molto di più nella campagna.
Un ulteriore aspetto da considerare è il costo marginale. Se l’estensione coinvolge clienti aggiuntivi, non è sufficiente usare il costo medio della prima campagna. Occorre stimare quanto costa raggiungere ogni nuovo cliente e se il valore dell’uplift resta invariato quando si passa da un gruppo selezionato a una popolazione più ampia.
3. Fare un A/B test?
Se possibile, sì.
La difficoltà principale dell’analisi osservazionale nasce dall’assegnazione non casuale dell’email. La prossima campagna dovrebbe quindi essere progettata in modo da rendere la causalità più facile da identificare.
Una parte dei clienti potrebbe essere assegnata casualmente al gruppo trattato e un’altra parte al gruppo di controllo:
La randomizzazione tende a rendere i due gruppi comparabili anche rispetto a caratteristiche che non abbiamo osservato. In questo modo, la differenza di retention fra trattati e controlli fornisce una misura più diretta dell’incrementalità.
Il gruppo di controllo non dovrebbe essere considerato come una perdita commerciale automatica. È uno strumento di misurazione. Senza gruppo di controllo, l’azienda può inviare più email ma non sapere con sufficiente precisione quante retention aggiuntive abbia generato.
Per un A/B test ben progettato il management dovrebbe definire prima dell’avvio:
la metrica primaria, per esempio la retention a 90 giorni;
la finestra temporale di osservazione;
la dimensione minima dell’effetto economicamente rilevante;
la dimensione del campione;
eventuali metriche di sicurezza, come disiscrizioni, reclami o peggioramento dell’esperienza cliente;
le regole per decidere se interrompere, modificare o estendere la campagna.
In questo modo il test non diventa soltanto un confronto fra percentuali, ma uno strumento di governance della decisione.
4. Migliorare il targeting?
Non necessariamente.
Un segmento con retention elevata non è automaticamente un segmento nel quale l’email funziona meglio. Potrebbe semplicemente essere composto da clienti che sarebbero rimasti attivi anche senza ricevere il messaggio.
Questa distinzione è fondamentale:
Domanda
Tipo di analisi
Quali clienti hanno una retention più alta?
Analisi descrittiva/predittiva
Quali clienti ricevono più spesso l’email?
Analisi del targeting
Su quali clienti l’email produce più effetto?
Analisi causale degli effetti eterogenei
Per decidere dove concentrare il budget non basta quindi calcolare l’ATE complessivo. Servono analisi degli heterogeneous treatment effects, cioè degli effetti che possono cambiare fra segmenti, livelli di engagement, anzianità del cliente o rischio di churn.
Il manager dovrebbe chiedersi, per esempio:
“Il segmento Premium presenta un effetto causale maggiore perché l’email funziona meglio su questi clienti, oppure perché questi clienti erano già più fedeli?”
La risposta richiede di confrontare l’effetto dell’intervento all’interno di sottogruppi comparabili, prestando attenzione alla numerosità dei gruppi e al rischio di ottenere risultati casuali cercando troppe differenze.
Un targeting più sofisticato non è sempre un targeting migliore. Se indirizziamo la campagna soltanto ai clienti con alta probabilità di rimanere, potremmo ottenere una retention assoluta elevata ma pochi risultati incrementali. In molti casi il valore maggiore può trovarsi nei clienti a rischio, purché l’intervento abbia su di loro un effetto reale e il costo di attivazione sia sostenibile.
5. Migliorare i dati?
Sì, soprattutto se emergono confondenti importanti non osservati.
Se una variabile influenza sia la probabilità di ricevere l’email sia la retention, ma non è presente nel dataset, nessun algoritmo può controllarla direttamente.
Potrebbe quindi essere necessario:
migliorare il CRM;
raccogliere variabili pre-campagna più informative;
registrare in modo preciso la motivazione dell’assegnazione del trattamento;
definire meglio che cosa significa “ricevere la campagna”;
distinguere apertura, clic e semplice esposizione al messaggio;
tracciare correttamente il gruppo di controllo;
collegare il trattamento alla successiva attività del cliente;
progettare esperimenti futuri fin dall’inizio.
Questo punto ha una conseguenza manageriale importante: la qualità dell’inferenza causale dipende anche dalla qualità del sistema informativo aziendale. Investire nei dati non significa soltanto migliorare i report. Significa aumentare la qualità delle decisioni future.
Una decisione proporzionata all’evidenza
Possiamo riassumere le decisioni possibili in questo modo:
Decisione
Valutazione manageriale
Estendere subito a tutti i clienti
Sconsigliato sulla base del solo +22,27% osservato.
Effettuare un’estensione controllata
Ragionevole, se mantiene un gruppo di controllo e monitora l’effetto.
Aumentare drasticamente il budget
Prematuro, perché 5 pp sono appena sopra il break-even di 4,81 pp.
Progettare un A/B test
Raccomandato, se tecnicamente ed eticamente possibile.
Cambiare il targeting
Da verificare, non da decidere sulla sola retention descrittiva.
Migliorare CRM e dati pre-campagna
Raccomandato, soprattutto in presenza di confondenti non osservati.
La decisione più equilibrata, sulla base di questo esempio, sarebbe quindi una estensione controllata accompagnata da un esperimento randomizzato o da una nuova raccolta dati più rigorosa, non un aumento indiscriminato della spesa.
Conclusione manageriale
L’analisi non dimostra che la campagna sia inutile. Dimostra qualcosa di più utile: il suo valore apparente è molto più grande del valore incrementale che possiamo sostenere dopo aver considerato le differenze fra i clienti.
Il +22,27% osservato deve essere trattato come un indicatore descrittivo. Le stime fra +5 e +7 punti percentuali rappresentano invece una base più plausibile per il ragionamento economico, ma rimangono condizionate alla correttezza del DAG, all’assenza di confondenti rilevanti non misurati e alla presenza di un adeguato overlap.
Nel nostro scenario, un uplift del 5% supera il break-even di soli 0,19 punti percentuali. Per questo la scelta razionale non è massimizzare immediatamente la scala, ma ridurre l’incertezza prima di impegnare nuovo budget.
[math]\displaystyle \text{osservare una differenza} \rightarrow \text{attribuirla alla campagna} \rightarrow \text{aumentare il budget}[/math]
La domanda finale non è quindi soltanto se la campagna “funziona”. È se l’effetto incrementale, misurato con sufficiente precisione, supera il costo dell’intervento e rimane positivo quando la campagna viene estesa a nuovi clienti.
Dal “chi ha fatto meglio?” al “cosa ha funzionato?”
Questa è la vera differenza tra analisi descrittiva e inferenza causale.
L’analisi descrittiva ci dice:
“I clienti che hanno ricevuto l’email hanno avuto una retention maggiore.”
L’inferenza causale prova a rispondere:
“Quanto della differenza possiamo attribuire alla campagna?”
E il management ha bisogno soprattutto della seconda risposta.
Perché una decisione di investimento non dovrebbe essere basata su:
“I destinatari hanno fatto meglio.”
Dovrebbe essere basata su:
“Quanto risultato aggiuntivo otteniamo grazie all’intervento, con quale incertezza e a quale costo?”
La lezione finale
La simulazione ci mostra tre numeri molto diversi:
[math]\boxed{22{,}27 \text{ pp}}[/math]
è la differenza osservata.
[math]\boxed{5-7 \text{ pp}}[/math]
è l’ordine di grandezza delle stime causali ottenute dopo l’aggiustamento.
[math]\boxed{6{,}85 \text{ pp}}[/math]
è l’ATE di riferimento della simulazione, calcolato conoscendo il meccanismo generativo dei dati.
La differenza è enorme.
Nel nostro scenario economico, utilizzare erroneamente il 22,27% come uplift incrementale porta a stimare un ritorno netto di circa €358.600.
Utilizzando invece uno scenario prudenziale del 5%, il ritorno scende a circa €3.966.
La conclusione manageriale cambia completamente.
Ma la lezione più importante non è nemmeno questa.
È che l’inferenza causale non consiste nel trovare un algoritmo capace di trasformare automaticamente correlazioni in causalità.
Per capire come passare dalla semplice previsione alla misurazione dell’impatto causale delle campagne, questi articoli approfondiscono Uplift Modeling, CATE, CausalML e le differenze tra correlazione, response modeling e causalità, con esempi pratici in Python:
