Design Effect (Deff): Cos’è, Formula e Come Calcolare l’Efficienza del Campionamento

La tua indagine è precisa o è solo costosa? 🧐

Hai mai sentito parlare di Design Effect (Deff)? È quel numero che ti dice se le tue 1.000 interviste valgono davvero… 1.000 interviste. 📉

C’è una bugia che molti analisti si raccontano quando pianificano un’indagine: l’idea che 1.000 interviste abbiano sempre lo stesso valore, a prescindere da come vengono raccolte.

La realtà è molto più cinica.

Se decidi di intervistare persone “comode” da raggiungere, magari tutte nello stesso ufficio o nello stesso quartiere, i tuoi dati iniziano a soffrire di una sorta di eco. Invece di ottenere mille opinioni diverse, finisci per raccogliere la stessa opinione ripetuta mille volte.

Il Design Effect (Deff) è lo strumento che smaschera questa inefficienza. È il “tasso di cambio” della statistica: ti dice quanta precisione stai perdendo per risparmiare tempo e fatica, e ti impedisce di urlare al miracolo quando, in realtà, i tuoi dati sono solo un rumore molto costoso.

Nel nuovo articolo analizziamo il caso “Polis-Data”:
✅ Come calcolare il Deff (senza impazzire).
✅ Perché lo 0.04 di correlazione può rovinarti il budget.
✅ Come trasformare un campionamento “pigro” in uno strategico.

Il punto di partenza: Il “Gold Standard” (CAS)

Per capire il Deff, dobbiamo avere un termine di paragone. In statistica, il riferimento è il Campionamento Casuale Semplice (CAS).

Nel CAS, ogni individuo ha la stessa identica probabilità di essere scelto, come se pescassi nomi da un’urna gigante mescolata perfettamente.

Tutte le formule standard che impari (media, varianza, intervalli di confidenza) nascono ipotizzando che tu stia usando un CAS. Ma nella realtà, il CAS è quasi impossibile o troppo costoso.

 Cos’è esattamente il Deff?

Il Design Effect è il rapporto tra la varianza (l’incertezza) del tuo campione reale e la varianza che avresti avuto con un CAS, a parità di numero di intervistati.

[math]\displaystyle \begin{aligned} Deff = \frac{Var(\text{metodo scelto})}{Var(\text{CAS})} \end{aligned}[/math]

In parole povere, il Deff ti dice quante volte è più grande l’errore che commetti usando un metodo pratico (come i grappoli) rispetto al metodo teorico perfetto.

Come leggere il valore del Deff?

Esistono tre scenari possibili:

1. [math]Deff > 1[/math] (Il caso del Campionamento a Grappolo)

È lo scenario più comune. Se scegli di intervistare persone raggruppate (es. tutti gli abitanti di un palazzo, tutti gli studenti di una classe), i dati non sono “indipendenti”. Le persone nello stesso gruppo tendono a somigliarsi (stesso reddito, stesse opinioni).

Risultato: Hai meno “informazioni nuove” per ogni intervista fatta.

Conseguenza: La varianza aumenta. Se il [math]Deff = 2[/math], significa che il tuo campione è “preciso la metà” di un CAS. Per avere la stessa affidabilità di 100 persone scelte a caso, ne devi intervistare 200.

2. [math]Deff < 1[/math] (Il caso del Campionamento Stratificato)

Se dividi la popolazione in gruppi intelligenti (strati) prima di pescare (es. dividere per fascia d’età o genere), stai forzando il campione a rispecchiare la realtà.

Risultato: Riduci l’errore perché eviti di pescare per sbaglio solo giovani o solo anziani.

Conseguenza: Sei più preciso del caso casuale puro. Un [math]Deff = 0.8[/math] significa che con 80 interviste ottieni la precisione che il CAS otterrebbe con 100.

3. [math]Deff = 1[/math]

Il tuo metodo è equivalente, in termini di precisione, a un campionamento casuale semplice.

💡 Perché è fondamentale per un ricercatore?

Il Deff serve a calcolare il Campione Effettivo.

Se il tuo committente ti chiede una precisione che richiede 1.000 persone ([math]n_{cas}[/math]), ma tu sai che userai un campionamento a grappolo con un [math]Deff[/math] stimato di [math]1.5[/math], non puoi intervistare solo 1.000 persone.

Dovrai pianificare:

[math]\displaystyle \begin{aligned} n_{reale} &= n_{cas} \cdot Deff \\ &= 1.000 \cdot 1.5 = 1.500 \end{aligned}[/math]

Senza il Deff, sottostimeresti clamorosamente l’errore del tuo sondaggio, dichiarando risultati molto più sicuri di quanto non siano in realtà.

In sintesi:

• CAS: L’ideale teorico (Varianza base).
• Grappoli (Cluster): Più economici, ma “sprecano” precisione ([math]Deff > 1[/math]).
• Stratificato: Più complesso da organizzare, ma “guadagna” precisione ([math]Deff < 1[/math]).
• Deff: Il contachilometri che ti dice quanto ti sei allontanato dall’ideale.

Panoramica dei Metodi di Campionamento

Per consolidare i concetti espressi finora, l’infografica sopra mostra visivamente le differenze operative tra i tre principali approcci di campionamento e come queste influenzino la precisione statistica.

• Pannello Sinistro (CAS): Rappresenta il ‘Gold Standard’ teorico. Dalla popolazione mista, ogni individuo viene estratto singolarmente e a caso, garantendo la massima indipendenza dei dati e la varianza base (riferimento di efficienza).

• Pannello Centrale (Grappoli): Mostra come la popolazione sia già organizzata in gruppi (es. blocchi edilizi, scuole). Invece di scegliere individui, il ricercatore seleziona interi gruppi (es. Grappoli A e C). Tutti i soggetti nei grappoli scelti diventano il campione finale. Come evidenziato dai grafici, questo approccio comporta una varianza elevata ([math]Deff > 1[/math]) e una minore efficienza statistica a causa della similarità tra le persone nello stesso grappolo.

• Pannello Destro (Stratificato): Illustra la strategia per ottenere la massima precisione. La popolazione viene prima organizzata per strati omogenei (es. per fasce d’età: GIOVANI, ADULTI, ANZIANI). Successivamente, viene effettuato un campionamento casuale da ciascun strato per creare un campione bilanciato. Come mostrato, questo metodo garantisce la massima rappresentatività, varianza ridotta e un’efficienza maggiore ([math]Deff < 1[/math]).

Esempio Pratico: Il Caso “Polis-Data”

Passo 1: Definire i parametri (Il mondo reale)

Supponiamo che tu decida di intervistare 50 persone per ogni seggio ([math]m = 50[/math]). In totale avrai un campione di 1.000 persone ([math]n = 1.000[/math]).

Dalle analisi storiche, sai che il coefficiente di correlazione intra-classe ([math]\rho[/math]) per quella regione è 0.04. Sembra un numero piccolo (solo il 4% di “somiglianza”), ma vedrai quanto pesa.

[math]\displaystyle \begin{aligned}
n &= 1.000 \quad \text{(Ampiezza del campione totale)} \\
m &= 50 \quad \text{(Intervistati per grappolo)} \\
\rho &= 0.04 \quad \text{(Correlazione intra-classe)}
\end{aligned}[/math]

Passo 2: Calcolare il Design Effect (Il “prezzo” della logistica)

Applichiamo la formula per quantificare l’inefficienza logistica del nostro campionamento a grappolo:

[math]\displaystyle \begin{aligned}
Deff &= 1 + (m – 1) \cdot \rho \\
&= 1 + (50 – 1) \cdot 0.04 \\
&= 1 + (49 \cdot 0.04) \\
&= 1 + 1.96 = \mathbf{2.96}
\end{aligned}[/math]

Cosa significa 2.96? Significa che la varianza (l’incertezza) del tuo sondaggio è quasi 3 volte superiore a quella che avresti avuto se avessi scelto 1.000 persone sparse a caso in tutta la regione.

Passo 3: Calcolare il Campione Effettivo (La dura realtà)

Nonostante tu abbia intervistato 1.000 persone, la “qualità” statistica delle tue informazioni è drasticamente ridotta dal Deff. Il tuo Campione Effettivo ([math]n_{eff}[/math]) è:

[math]\displaystyle \begin{aligned}
n_{eff} &= \frac{n}{Deff} \\
&= \frac{1.000}{2.96} \approx \mathbf{338}
\end{aligned}[/math]

In pratica, è come se avessi intervistato solo 338 persone con un metodo perfetto. Hai pagato per 1.000 interviste, ma ne “porti a casa” solo un terzo in termini di precisione statistica.

Passo 4: L’impatto sul Margine di Errore

Supponiamo che il tuo sondaggio dica che il Candidato A è al 52%. Dobbiamo ora calcolare quanto sia affidabile questo dato.

Se avessi un CAS di 1.000 persone, il tuo margine di errore standard ([math]ME_{CAS}[/math]) sarebbe circa il [math]\pm 3\%[/math]. Saresti abbastanza fiducioso della vittoria (52% è fuori dall’errore rispetto al 50%).

Ma con il tuo Disegno a Grappolo, il margine di errore si gonfia. Devi moltiplicare l’errore standard per la radice del Deff ([math]\sqrt{2.96} \approx 1.72[/math]):

[math]\displaystyle \begin{aligned}
\text{Nuovo Errore} &= ME_{CAS} \cdot \sqrt{Deff} \\
&= 3\% \cdot 1.72 \approx \mathbf{5.1\%}
\end{aligned}[/math]

Il verdetto: Con un errore del 5.1%, il tuo risultato (52%) è “troppo vicino” alla soglia del 50%. Statisticamente, non puoi dire se il candidato vincerà o meno. Il tuo sondaggio è “mosso”.

🚀 Come avresti potuto salvare il sondaggio?

Se invece dei grappoli avessi usato lo Stratificato (dividendo la regione per fasce di reddito e pescando pochi nomi da ogni fascia), avresti potuto ottenere un [math]Deff = 0.8[/math].

In quel caso:

[math]\displaystyle n_{eff} = 1.000 / 0.8 = \mathbf{1.250}[/math]

Il tuo campione da 1.000 sarebbe valso come uno da 1.250! L’errore sarebbe sceso sotto il 3%, rendendo la tua previsione molto più solida.

 

Analisi del Risultato: La Trappola dei Grandi Grappoli

L’aspetto più sorprendente di questo calcolo è come un coefficiente di correlazione apparentemente insignificante ([math]\rho = 0.04[/math]) possa quasi triplicare l’incertezza dei dati.

In statistica, questo fenomeno si chiama perdita di efficienza. Perché succede?

Immagina che ogni persona nel seggio elettorale sia una “fotocopia parziale” del vicino di casa. Se intervisti 50 persone nello stesso posto, non stai ottenendo 50 opinioni indipendenti, ma circa 17 opinioni uniche e 33 “eco” di quelle precedenti.

---

Tre Lezioni Chiave per l’Esame

1. La dimensione del grappolo ([math]m[/math]) è il vero acceleratore

Se avessi intervistato solo 10 persone per seggio in 100 seggi diversi (invece di 50 persone in 20 seggi), il tuo Deff sarebbe stato molto più basso:

[math]\displaystyle \begin{aligned}
Deff &= 1 + (10 – 1) \cdot 0.04 \\
&= 1 + (9 \cdot 0.04) = \mathbf{1.36}
\end{aligned}[/math]

In questo caso, il tuo campione da 1.000 persone sarebbe valso come 735 persone ([math]1.000 / 1.36[/math]), rendendo il sondaggio molto più preciso. Regola: meglio tanti piccoli grappoli che pochi grandi.

2. Il Deff è un moltiplicatore di incertezza

Ricorda sempre che il margine di errore non cresce linearmente con il Deff, ma con la sua radice quadrata ([math]\sqrt{Deff}[/math]). Questo perché l’errore standard è legato alla deviazione standard, non alla varianza.

3. Il paradosso del budget

Spesso conviene spendere di più per un campionamento Stratificato (che ha un [math]Deff < 1[/math]) piuttosto che risparmiare con i Grappoli. Lo stratificato “crea” campioni virtuali più grandi di quelli reali, mentre il grappolo li “distrugge”.

Proviamo a invertire il problema?

Ad esempio, calcolare quante persone dovresti intervistare con il metodo a grappolo per riuscire ad avere la stessa precisione di un CAS da 1.000 (ovvero, come raggiungere un [math]n_{eff} = 1.000[/math])?

---

✅ Risposte Dettagliate

1. Risposta Corretta: B (Aumenta)

Perché? Guarda la formula: [math]Deff = 1 + (m – 1) \cdot \rho[/math]. Poiché [math]m[/math] è un moltiplicatore, più persone intervisti all’interno dello stesso “palazzo” (grappolo), più peserà quella somiglianza ([math]\rho[/math]). Intervistare troppe persone nello stesso posto è inefficiente: dopo un po’, iniziano a dirti tutti le stesse cose!

2. Risposta Corretta: B (Riduce la varianza catturando l’eterogeneità)

Perché? Nello stratificato, tu “costringi” il campione a includere quote precise di ogni gruppo (es. 50% uomini, 50% donne). Questo elimina l’errore che avresti nel CAS se, per puro caso, pescassi l’80% di uomini. Essendo più “ordinato” del caso puro, l’errore diminuisce e il Deff scende sotto la soglia dell’1.

3. Risposta Corretta: B (2.0)

Il calcolo:

[math]\displaystyle \begin{aligned}
Deff &= 1 + (11 – 1) \cdot 0.1 \\
&= 1 + (10 \cdot 0.1) \\
&= 1 + 1 = \mathbf{2}
\end{aligned}[/math]

Un Deff di 2 significa che il tuo campione vale esattamente la metà di un CAS. Se hai intervistato 1.000 persone, la tua precisione è quella di un campione di 500.

4. Risposta Corretta: A (Raddoppia)

Perché? Questa è una trappola classica! Il margine di errore dipende dalla deviazione standard, che è la radice quadrata della varianza. Se la varianza quadruplica ([math]Deff=4[/math]), l’errore aumenta di [math]\sqrt{4} = 2[/math]. Quindi, l’incertezza raddoppia.