Come nasce un dataset di qualità: dalla raccolta ai dati puliti
“I dati sono il nuovo petrolio” è una frase che abbiamo sentito fin troppe volte. Forse è più corretto dire che sono petrolio grezzo. Da soli, sporcano, sono difficili da gestire e il loro valore è solo potenziale. Il vero lavoro, quello che separa un progetto di successo da un fallimento costoso, è la raffinazione: un percorso meticoloso che trasforma un ammasso caotico di informazioni in un carburante pulito e potente per l’intelligenza artificiale e le decisioni di business.
Questo non è un manuale tecnico, ma il racconto del viaggio che ogni dato di valore deve compiere. Un viaggio fatto di ostacoli, scelte critiche e un’enorme cura artigianale, che parte dalla raccolta e arriva a generare insight che possono cambiare le sorti di un’azienda.
1. La Raccolta: L’Origine (Non Sempre Nobile) dei Dati
Tutto inizia, e spesso si complica, con la raccolta. I dati possono provenire da un universo di fonti:
Fonti interne: L’oro di casa, come ERP, CRM, sistemi di e-commerce, sensori IoT.
Fonti esterne: Dataset pubblici (es. open data), social media, provider di dati commerciali.
Dati generati dagli utenti: Recensioni, interazioni digitali, feedback spontanei.
⚠️ Problema tipico: Eterogeneità.
Un’azienda retail può avere dati di vendita nel gestionale, dati di traffico web in Google Analytics e dati di customer service in un help desk. Senza una visione unificata, il rischio è quello di costruire un puzzle con pezzi mancanti o incompatibili.
🔎 Critica necessaria: La trappola del “più dati, meglio è”
Molte aziende arraffano dati da social o piattaforme esterne senza pensare ai bias intrinseci. Un dataset raccolto su Instagram potrebbe sovrarappresentare giovani donne, uno su LinkedIn manager maschi, con il conseguente rischio di addestrare modelli distorti e discriminatori. La vera sfida non è avere “tanti dati”, ma una raccolta consapevole e bilanciata.
💡 Best practice: Già in questa fase, è cruciale stabilire standard minimi di formato (es. timestamp ISO 8601, codici prodotto univoci, encoding UTF-8) e valutare la rappresentatività delle fonti.
Esempio pratico: Un’azienda di food delivery raccoglie dati da:
App mobile (ordini, tempo di consegna, recensioni).
Sito web (traffico, pagine viste, funnel di conversione).
Call center (ticket di assistenza).
Il problema? I tempi di consegna registrati dal corriere sono in minuti, mentre l’app li salva in secondi. Senza un’armonizzazione iniziale, calcolare la “velocità media di consegna” diventa un’impresa impossibile. Questa eterogeneità ci porta dritti al passo successivo.
2. L’Integrazione: Dall’Oceano ai Canali
Dopo aver raccolto flussi di dati diversi, arriva il momento di farli parlare la stessa lingua. Qui entrano in gioco processi di ETL (Extract, Transform, Load) e pipeline moderne, orchestrate da strumenti come Airflow, dbt o Apache Kafka.
🔄 ETL e Pipeline Moderne
I processi ETL (Extract, Transform, Load) sono lo standard per trasformare dati grezzi in informazioni pronte all’uso:
Extract: raccolta dati da fonti diverse (database, API, file).
Transform: pulizia, arricchimento e normalizzazione dei dati.
Load: caricamento nei sistemi di destinazione (es. data warehouse).
Le pipeline moderne vanno oltre il classico ETL, introducendo orchestrazione e automazione continua:
Airflow: gestisce flussi di lavoro complessi con programmazione a DAG.
dbt: permette di trasformare i dati direttamente nel warehouse con SQL.
Apache Kafka: supporta pipeline di dati in streaming in tempo reale.
✅ Con questi strumenti, le pipeline diventano scalabili, monitorabili e affidabili, riducendo errori manuali e garantendo qualità nel ciclo di vita dei dati.
Collegare le entità comuni (es. associare un ID cliente dal CRM alle sue transazioni sull’e-commerce).
📌 Esempio:
Un cliente compare come “Mario Rossi” nel CRM, “M. Rossi” nel sistema vendite e “[email protected]” nel database delle newsletter. L’integrazione, tramite tecniche di entity resolution e deduplicazione, deve capire che si tratta della stessa persona. Se questo step viene saltato, un modello di churn prediction vedrebbe “tre clienti diversi” invece di uno solo, gonfiando la base utenti e falsando ogni previsione.
Tecniche per riconoscere e unire record che rappresentano la stessa entità (es. stesso cliente salvato più volte).
👉 Matching deterministico: regole esplicite (es. email esatto, codice_fiscale uguale). Veloce e interpretabile, ma rigido.
👉 Matching probabilistico (Fellegi–Sunter): punteggio basato su probabilità di corrispondenza su più attributi; utile quando i dati sono rumorosi.
👉 Fuzzy string matching: Levenshtein, Jaro–Winkler, n-gram; usato per nomi e indirizzi con errori di battitura.
👉 Blocking / Indexing: tecniche (es. canopy, sorted-neighborhood) che riducono le coppie da confrontare, migliorano scalabilità.
👉 Clustering: dopo il matching, raggruppare record equivalenti con algoritmi (agglomerative, DBSCAN, connected components).
👉 Data enrichment: arricchire record con terze parti (es. geocoding) per migliorare la qualità del matching.
👉 Workflow di deduplica: score → soglie (match / possibile match / non match) → revisione umana per i casi ambigui.
✅ Metriche di valutazione: precision, recall, F1 — valuta trade-off tra falsi positivi e falsi negativi.
⚠️ Nota pratica: combinale — blocking + fuzzy + clustering + controllo umano — per bilanciare accuratezza e scalabilità.
Esempio completo e pratico di deduplicazione con pandas + rapidfuzz
Il codice mostra:
creazione dataset con duplicati rumorosi,
calcolo similarità fuzzy,
soglia di deduplicazione,
raggruppamento in cluster.
import pandas as pd
from rapidfuzz import fuzz
# 1. Dataset con duplicati "sporchi"
df = pd.DataFrame({
"id": [1, 2, 3, 4],
"nome": ["Mario Rossi", "M. Rossi", "Maria Bianchi", "Mario Rosssi"]
})
# 2. Calcolo similarità fuzzy con record di riferimento
def is_duplicate(x, ref, soglia=85):
return fuzz.ratio(x, ref) >= soglia
# 3. Deduplicazione rispetto al primo "Mario Rossi"
ref = "Mario Rossi"
df["duplicato_di_Mario"] = df["nome"].apply(lambda x: is_duplicate(x, ref))
# 4. Raggruppamento: cluster id
cluster = []
for nome in df["nome"]:
if fuzz.ratio(nome, "Mario Rossi") >= 85:
cluster.append("Cluster_Mario_Rossi")
else:
cluster.append("Altro")
df["cluster"] = cluster
print(df)
👉 Output atteso:
id nome duplicato_di_Mario cluster
0 1 Mario Rossi True Cluster_Mario_Rossi
1 2 M. Rossi True Cluster_Mario_Rossi
2 3 Maria Bianchi False Altro
3 4 Mario Rosssi True Cluster_Mario_Rossi
✅ In questo esempio:
“Mario Rossi”, “M. Rossi” e “Mario Rosssi” finiscono nello stesso cluster.
“Maria Bianchi” resta fuori.
Esempio pratico:
In un progetto di loyalty per la grande distribuzione, si uniscono dati da:
Carte fedeltà
E-commerce
Pagamenti con POS Un cliente che compra “Latte Intero” al supermercato e “Latte Bio” online potrebbe avere due ID diversi. L’integrazione, con regole di entity matching, unisce i puntini e rivela che si tratta dello stesso utente, creando un profilo d’acquisto a 360 gradi.
Pubblicità
3. La Pulizia: La Chirurgia del Dato
Questa è la fase più delicata, il cuore del processo dove si affrontano errori e incoerenze. È un vero e proprio intervento chirurgico.
Le sfide più comuni:
Valori mancanti: Meglio imputarli (es. con la media, mediana o tramite un modello di regressione) o eliminare l’intera riga, rischiando di perdere informazione preziosa?
Outlier: Rumore o segnale? Un acquisto da 10.000 € in un dataset con spesa media di 200 € può essere un errore di battitura… oppure il tuo cliente VIP.
Formati errati: Numeri salvati come testo, date invertite (MM/DD vs DD/MM), caratteri “sporchi”.
Normalizzazione/Standardizzazione: Per portare i valori sulla stessa scala e uniformare unità di misura.
Validazione con regole: Per verificare la coerenza (es. un CAP italiano deve avere 5 cifre).
Esempio pratico:
Un dataset sanitario presenta questi problemi:
Età: Alcuni pazienti risultano avere -5 o 200 anni.
Peso: Salvato a volte in kg, altre in libbre.
CAP: Valori come “ABCDE” o “00000”.
Soluzione:
Filtrare valori impossibili per l’età (es. > 120 anni).
Convertire tutti i pesi in kg con una formula di trasformazione.
Validare i CAP con un’espressione regolare (regex) come ^\d{5}$. Il risultato è un dataset coerente, pronto per analisi epidemiologiche affidabili.
💉 Caso critico: Il dataset di Cambridge Analytica dimostra che un dato può essere tecnicamente “pulito” ma eticamente “sporco”. Profili psicometrici ottenuti da Facebook, sebbene formalmente consistenti, erano carichi di bias e furono usati per micro-targeting politico con implicazioni devastanti.
👉 Lezione: La qualità non è solo tecnica, ma anche morale e sociale.
4. La Documentazione: Il Manuale d’Uso del Dataset
Un dataset senza un data dictionary è come una macchina potente senza manuale di istruzioni: inutile e pericoloso. Ogni colonna (o variabile) deve essere descritta con:
Nome e definizione chiara
Tipo di dato (Integer, String, Boolean…)
Range e unità di misura
Eventuali regole di validazione applicate
📌 Standard utile:
Adottare la Data Documentation Initiative (DDI) o creare semplici schede interne condivise. Per progetti di machine learning, documentare i dati è cruciale per garantire riproducibilità e trasparenza, temi sempre più centrali per la compliance normativa (GDPR, AI Act).
Esempio pratico: In un progetto di machine learning per il settore bancario, si definisce il data dictionary:
Campo
Tipo dato
Descrizione
Range/Regole
ID_cliente
Integer
Identificativo univoco cliente
Unico, non nullo
Reddito_annuo
Float
Reddito dichiarato in €
>0
Score_credito
Integer
Valutazione interna (0–1000)
0–1000
Default
Boolean
Ha avuto insolvenze (Sì/No)
True/False
Questo evita fraintendimenti: ad esempio, sapere che “Reddito_annuo” è già espresso in euro impedisce a un analista di convertirlo erroneamente in dollari.
👩💼 Professioni emergenti:
Figure come il Data Steward stanno diventando indispensabili per navigare norme come l’AI Act. Il loro lavoro trasforma la documentazione da un compito noioso a uno scudo legale e un fattore competitivo. Allo stesso modo, l’AI Ethicist affianca i data scientist per garantire che i dataset rispettino valori etici, oltre che standard tecnici.
Come capire se un dataset è davvero “di qualità”? Esistono metriche precise:
Completezza: % di valori non nulli.
Accuratezza: Grado di aderenza alla realtà.
Consistenza: Assenza di contraddizioni tra fonti diverse.
Tempestività: Dati aggiornati e disponibili al momento giusto.
Unicità: Assenza di record duplicati.
📊 Strumenti come Great Expectations o Deequ (di Amazon) permettono di automatizzare questi controlli e di generare report costanti sulla salute del dato.
Esempio pratico:
Un team e-commerce misura la qualità di un dataset ordini:
Completezza: 97% (il 3% degli ordini non ha una data di consegna).
Accuratezza: 92% (verificando 100 indirizzi a campione, 8 sono risultati errati).
Consistenza: 89% (alcuni ordini risultano “spediti” ma non hanno un corriere associato). Questi numeri parlano chiaro: l’azienda deve investire in un sistema migliore di tracciamento per risolvere il problema della consistenza.
6. Dal Dataset al Valore: I Dati Puliti Diventano Insights
Un dataset pulito non è il punto di arrivo, ma il trampolino di lancio per:
Analisi esplorativa: Visualizzare pattern e correlazioni nascoste.
Machine learning: Addestrare modelli predittivi robusti e affidabili.
Decisioni di business: Definire prezzi dinamici, lanciare campagne mirate, ottimizzare la supply chain.
📌 Caso d’uso:
Un e-commerce che pulisce e analizza i dati di navigazione web scopre che gli utenti che abbandonano il carrello spesso ritornano sul sito entro 48 ore. Questo insight porta alla creazione di un workflow automatico di remarketing personalizzato, che si attiva solo in quella finestra temporale.
Esempio pratico:
Una catena retail, dopo aver pulito e integrato i dati di vendita e delle carte fedeltà, scopre che:
Il 20% dei clienti (quelli con scontrini medi sopra i 50€) genera il 60% del fatturato.
I clienti che acquistano scarpe sportive hanno un’alta probabilità di comprare anche abbigliamento tecnico entro 30 giorni.
Risultato: Nasce una campagna di cross-selling mirata, con coupon digitali inviati via app solo ai clienti con quel profilo, massimizzando il ROI.
Conclusione: Il Dataset Perfetto Non Esiste (Ma Ci Si Può Avvicinare)
La verità è che un dataset completamente “perfetto” è un’utopia. Ci saranno sempre rumori, bias e approssimazioni. Ma puntare alla qualità significa costruire fondamenta solide per qualsiasi progetto di data science o business intelligence.
Con l’avvento dell’AI generativa, che oggi crea dati sintetici per arricchire dataset limitati, i dati di domani saranno sempre più ibridi: un mix di umano e macchina. La sfida non sarà più solo tecnica, ma anche etica e filosofica: dovremo chiederci se quei dati rispecchiano il mondo reale o se lo stanno silenziosamente deformando. La qualità del futuro non sarà più solo “pulizia”, ma curatela con visione strategica.
In un mondo dove “garbage in, garbage out” è più che un detto, è una legge, la differenza tra successo e fallimento si gioca tutta qui: nella capacità di trasformare dati grezzi in informazioni affidabili.
