LLM: Guida Definitiva ai Colloqui e Quiz di Autovalutazione su Large Language Models (2025)

Padroneggiare i Colloqui LLM: La Tua Guida Definitiva

I Large Language Models (LLM) sono diventati una tecnologia fondamentale, ridefinendo il modo in cui interagiamo con la conoscenza e creiamo contenuti. Per sviluppatori, data scientist e ingegneri AI, comprendere a fondo gli LLM non è più solo un vantaggio, ma una necessità per eccellere nel settore.

È in questo contesto che la guida “Top 50 Large Language Model (LLM) Interview Questions” (maggio 2025) di Hao Hoang si rivela uno strumento indispensabile. Questo documento non è una semplice raccolta di domande e risposte, ma una vera e propria immersione tecnica nei concetti che governano gli LLM. Dalle basi come la tokenizzazione e gli embedding, fino alle tecniche avanzate come il self-attention dei Transformer, il fine-tuning efficiente (con metodologie come LoRA e QLoRA) e le strategie di decoding (come il beam search), la guida offre una copertura esaustiva.

Che tu stia preparando un colloquio tecnico, cercando di approfondire la tua conoscenza per progetti personali o semplicemente desiderando trasformare la teoria in competenze pratiche, questa risorsa è pensata per te. Preparati a mettere alla prova la tua comprensione e a consolidare la tua expertise nel mondo degli LLM.

Ecco un quiz di autovalutazione basato sul documento “Top 50 Large Language Model Interview Questions”, pensato per determinare il livello di conoscenza dei concetti chiave legati ai LLM. Il test include domande a scelta multipla suddivise in 3 livelli:

Quiz a risposta multipla – Livelli di conoscenza sugli LLM

LIVELLO 1 – Fondamenti (Principiante)

Cosa rappresenta un “token” in un LLM?
A. Un frammento di codice sorgente
B. Un’unità di testo, come una parola o parte di essa ✅
C. Un modello di sicurezza
D. Una rete neurale

Spiegazione: I modelli linguistici elaborano testo in forma di token – segmenti del testo (parole, sottoparole o caratteri) – che vengono poi convertiti in vettori numerici per l’elaborazione.

Approfondimento sui Token: La tokenizzazione è il primo, fondamentale passo in qualsiasi pipeline di LLM. Questo processo scompone il testo grezzo in unità discrete. Esistono diverse strategie di tokenizzazione:

Word-level tokenization: Divide il testo in parole. Semplice ma inefficiente per le lingue agglutinanti o per gestire parole rare e “out-of-vocabulary” (OOV).
Character-level tokenization: Divide il testo in singoli caratteri. Molto flessibile ma perde molta della struttura semantica e richiede sequenze molto lunghe.
Subword tokenization: La più comune negli LLM moderni. Tecniche come il Byte-Pair Encoding (BPE), WordPiece (usato da BERT) e SentencePiece (usato da T5 e XLNet) suddividono le parole in sottocomponenti (es. “tokenizzazione” potrebbe diventare “token”, “izz”, “azione”). Questo bilancia la granularità e la gestione delle parole OOV, mantenendo il vocabolario a una dimensione gestibile pur coprendo un’ampia varietà di testi. Ogni token viene poi mappato a un ID numerico, che è l’input effettivo per il modello.

Perché i modelli linguistici usano embedding?
A. Per migliorare la crittografia dei dati
B. Per rappresentare i token in uno spazio vettoriale continuo ✅
C. Per ridurre il numero di layer
D. Per trasformare i token in immagini

Spiegazione: Gli embedding trasformano i token in vettori densi che preservano relazioni semantiche e sintattiche.

Approfondimento sugli Embedding: Dopo la tokenizzazione, i token devono essere convertiti in un formato numerico che i modelli neurali possano elaborare. Gli embedding sono rappresentazioni vettoriali a bassa dimensione (spesso centinaia o migliaia di dimensioni) che catturano il significato contestuale dei token. A differenza di una rappresentazione one-hot, dove ogni parola è un vettore binario con un solo “1”, gli embedding sono vettori densi di numeri reali. La magia degli embedding risiede nel fatto che parole con significati simili o che appaiono in contesti simili avranno vettori embedding “vicini” nello spazio vettoriale, consentendo al modello di comprendere relazioni semantiche e sintattiche. Esistono diversi tipi di embedding, come i word embeddings pre-addestrati (Word2Vec, GloVe) o i contestualized embeddings (quelli generati dai Transformer come BERT o GPT), che variano la rappresentazione di una parola in base al contesto in cui appare.

Cos’è la “finestra di contesto”?
A. La lunghezza della frase di input
B. Il numero di layer del modello
C. Il numero massimo di token che il modello può considerare contemporaneamente ✅
D. Il numero di domande nel dataset di addestramento

Spiegazione: La finestra di contesto è la “memoria” a breve termine del modello, cioè quanti token può prendere in input e considerare per generare risposte coerenti.

Approfondimento sulla Finestra di Contesto: La finestra di contesto, o context window, è una limitazione fondamentale degli LLM attuali. Rappresenta la dimensione massima della sequenza di input (prompt e conversazione precedente) che il modello può processare in una singola inferenza. Se il testo di input supera questa lunghezza, il modello deve troncare la parte iniziale, perdendo informazioni importanti. La dimensione della finestra di contesto influisce direttamente sulla capacità del modello di mantenere la coerenza su lunghi testi, risolvere problemi complessi che richiedono molta “memoria” (come riassunti di documenti estesi) o gestire conversazioni prolungate. Ampliare la finestra di contesto aumenta significativamente i requisiti computazionali e di memoria (spesso in modo quadratico rispetto alla lunghezza della sequenza), rendendo la gestione efficiente della finestra di contesto una delle sfide chiave nella ricerca sugli LLM.

Forse potrebbe interessarti anche: Come i Modelli di Linguaggio Elaborano i File: Guida Pratica con Utility Python

Qual è lo scopo della funzione softmax?
A. Ridurre i parametri del modello
B. Normalizzare i punteggi di attenzione in probabilità ✅
C. Costruire le embedding
D. Creare nuovi token

Spiegazione: La softmax trasforma i punteggi grezzi in probabilità che sommano a 1, permettendo una distribuzione di attenzione coerente tra i token. Approfondimento sulla Funzione Softmax: La funzione Softmax è un operatore matematico cruciale, specialmente nelle reti neurali per problemi di classificazione o, nel contesto degli LLM, per la distribuzione di probabilità. Prende un vettore di numeri reali (spesso chiamati “logits” o “punteggi grezzi”) e lo trasforma in un vettore di probabilità, dove ogni elemento è compreso tra 0 e 1 e la somma di tutti gli elementi è 1.

La formula è:

Nel meccanismo di attenzione dei Transformer, la Softmax viene applicata ai “punteggi di compatibilità” tra la query e le chiavi, garantendo che i pesi di attenzione per ogni token sommino a 1. Questo permette al modello di “concentrarsi” in modo proporzionale sui token più rilevanti. È anche usata nello strato di output finale di molti LLM per convertire i logits di tutti i possibili token del vocabolario in una distribuzione di probabilità, da cui viene poi campionato il token successivo da generare.

LIVELLO 2 – Tecniche intermedie

In cosa consiste il meccanismo di attenzione nei Transformer?
A. Costruisce le embedding iniziali
B. Seleziona solo i token finali
C. Valuta l’importanza relativa dei token rispetto a un altro ✅
D. Calcola la probabilità di overfitting

Spiegazione: Il meccanismo di attenzione consente al modello di pesare diversamente ogni token del contesto, enfatizzando quelli più rilevanti per la generazione.

Approfondimento sul Meccanismo di Attenzione: L’attenzione, e in particolare l’Self-Attention (attenzione auto-referenziale), è il cuore dell’architettura Transformer. Risolve un limite cruciale delle reti neurali ricorrenti (RNN), che faticavano a mantenere la memoria su lunghe sequenze. Il meccanismo di attenzione permette al modello di “vedere” simultaneamente tutti i token in una sequenza e calcolare un punteggio di rilevanza (peso) per ogni token rispetto a tutti gli altri. Questo significa che, quando il modello elabora una parola, può dare più peso alle parole correlate che sono apparse precedentemente nella sequenza, indipendentemente dalla loro posizione. Il calcolo si basa su tre vettori per ogni token: Query (Q), Key (K) e Value (V). Per ogni token, la Query viene confrontata con tutte le Keys (attraverso un prodotto scalare) per ottenere i punteggi di attenzione. Questi punteggi vengono normalizzati con Softmax e poi usati per creare una somma pesata dei Value vectors, che rappresenta l’output contestualizzato per quel token. Questo permette ai Transformer di parallelizzare l’elaborazione (a differenza delle RNN) e di catturare dipendenze a lungo raggio.

Qual è la differenza tra LoRA e QLoRA?
A. LoRA è più veloce ma meno accurato
B. QLoRA include anche tecniche di quantizzazione oltre alla riduzione di rango ✅
C. QLoRA è una tecnica di compressione dei dati
D. LoRA funziona solo con modelli di visione

Spiegazione: QLoRA (Quantized LoRA) combina la riduzione di rango (Low-Rank Adaptation) con la quantizzazione a bassa precisione per ottimizzare memoria e performance.

Approfondimento su LoRA e QLoRA: Le tecniche di Parameter-Efficient Fine-Tuning (PEFT) sono cruciali per adattare LLM molto grandi a compiti specifici senza dover addestrare milioni o miliardi di parametri.

LoRA (Low-Rank Adaptation): Invece di addestrare tutti i parametri di un LLM (che può essere inefficiente e costoso), LoRA aggiunge piccole matrici a basso rango (low-rank matrices) in parallelo a quelle originali del modello. Durante il fine-tuning, solo i parametri di queste nuove matrici vengono aggiornati, mentre i pesi del modello originale rimangono congelati. Questo riduce drasticamente il numero di parametri addestrabili (spesso di 10.000 volte) e la VRAM richiesta, rendendo il fine-tuning accessibile anche su hardware di fascia media.
QLoRA (Quantized LoRA): Si basa su LoRA, ma aggiunge un ulteriore livello di ottimizzazione: la quantizzazione. I pesi del modello base (quelli congelati) vengono quantizzati a precisioni inferiori (es. 4-bit anziché 16-bit o 32-bit float). Questo riduce ulteriormente l’impronta di memoria del modello durante il caricamento e l’inferenza, permettendo di caricare modelli ancora più grandi in memoria senza compromettere eccessivamente le performance. QLoRA rappresenta un passo avanti significativo per democratizzare il fine-tuning degli LLM.

Quale metodo genera output più coerenti nella generazione di testo?
A. Greedy decoding
B. Beam search ✅
C. Sampling casuale
D. Token mask

Spiegazione: Beam search mantiene più ipotesi contemporaneamente durante la generazione, evitando scelte miopi che potrebbero compromettere la coerenza.

Approfondimento sulle Tecniche di Decoding: Dopo che un LLM ha calcolato le probabilità per il prossimo token, è necessario un algoritmo di decoding per scegliere quale token generare.

Greedy Decoding: Semplicemente seleziona il token con la probabilità più alta in ogni passo. È il più veloce ma può portare a risposte ripetitive o subottimali perché non considera l’impatto a lungo termine delle scelte.
Sampling: Introduce casualità. Il token successivo viene campionato da una distribuzione di probabilità. Tecniche come Top-K sampling (considera solo i K token più probabili) e Nucleus sampling (Top-P) (considera i token la cui probabilità cumulata supera una soglia P) aggiungono variabilità e creatività, rendendo le risposte meno robotiche ma potenzialmente meno coerenti.
Beam Search: Questo è l’algoritmo più robusto per la coerenza. Invece di scegliere un solo token per passo, mantiene un numero fisso di B (beam width) sequenze candidate (chiamate “beams”) che hanno le probabilità più alte. A ogni passo, estende tutte le beams con i possibili token successivi e poi seleziona le B beams migliori in base alla probabilità cumulativa. Questo riduce il rischio di scelte “miopi” e tende a produrre output più fluidi e grammaticalmente corretti, sebbene a un costo computazionale maggiore e con una minore varietà.

Forse potrebbe interessarti anche: L’arte di mentire con la statistica (e perché ci caschiamo ogni volta)

Cosa significa “catastrophic forgetting”?
A. Perdita accidentale dei dati di addestramento
B. Sovrapposizione delle embedding
C. Il modello dimentica conoscenze pregresse dopo il fine-tuning ✅
D. Una regressione delle performance nel tempo

Spiegazione: Avviene quando il fine-tuning su nuovi dati sovrascrive completamente le conoscenze precedenti. Tecniche come replay e regularizzazione lo mitigano.

Approfondimento sul Catastrophic Forgetting: Conosciuto anche come “interferenza catastrofica”, il catastrophic forgetting è un problema significativo nell’apprendimento incrementale delle reti neurali. Si verifica quando un modello, dopo essere stato addestrato su un dataset, viene ulteriormente addestrato (fine-tuned) su un nuovo dataset per un compito diverso o dati aggiornati. In questo processo, il modello tende a “dimenticare” le conoscenze e le performance acquisite sul dataset originale. Le sue prestazioni sui compiti precedenti crollano drasticamente. Negli LLM, questo può accadere quando un modello viene fine-tuned su un dataset specifico del dominio, perdendo le sue capacità generali di linguaggio. Per mitigarla, si usano tecniche come:

Replay: Includere un piccolo sottoinsieme dei dati originali nel nuovo dataset di fine-tuning.
Regularizzazione: Aggiungere termini di penalità alla funzione di perdita per impedire ai pesi di allontanarsi troppo dalla loro configurazione originale.
Elastic Weight Consolidation (EWC): Identifica i pesi importanti per i compiti precedenti e li penalizza maggiormente se tentano di cambiare troppo.
Parameter-Efficient Fine-Tuning (PEFT): Tecniche come LoRA sono intrinsecamente più resistenti al catastrophic forgetting perché modificano solo una piccola parte dei pesi del modello.

LIVELLO 3 – Avanzato

Come funziona la tecnica RAG (Retrieval-Augmented Generation)?
A. Utilizza una base di conoscenza esterna durante la generazione del testo ✅
B. Applica una compressione vettoriale ai prompt
C. Si basa solo su memoria interna del modello
D. È un metodo per ridurre la quantizzazione

Spiegazione: RAG integra la generazione con un modulo di retrieval, che recupera documenti o dati esterni per arricchire il contenuto generato. Approfondimento sulla RAG (Retrieval-Augmented Generation): Gli LLM, per quanto potenti, hanno limitazioni: la loro conoscenza è “congelata” al momento del loro ultimo addestramento (knowledge cutoff), possono “allucinare” fatti inesistenti e possono avere difficoltà a rispondere a domande molto specifiche che richiedono accesso a informazioni in tempo reale o proprietarie. RAG è una tecnica che combina la potenza generativa di un LLM con la capacità di recuperare informazioni da una o più basi di conoscenza esterne (es. database, documenti, web). Funziona tipicamente così:

Retrieval: Quando riceve un prompt, il sistema RAG prima esegue una ricerca in una base di conoscenza esterna (spesso un database vettoriale di documenti) per trovare i passaggi più pertinenti.
Augmentation: Questi passaggi recuperati vengono quindi aggiunti al prompt originale dell’utente, creando un “prompt aumentato”.
Generation: L’LLM riceve questo prompt aumentato e genera la sua risposta, basandosi sia sulle sue conoscenze interne che sulle informazioni esterne fornite. Questo rende le risposte più accurate, aggiornate e riduce il rischio di allucinazioni, rendendo gli LLM più affidabili per applicazioni aziendali e domini specifici.

Che cos’è il prompting “Chain-of-Thought”?
A. Una catena di token predetti casualmente
B. Un modello di reti neurali ricorrenti
C. Un approccio che guida il modello a risolvere problemi passo dopo passo ✅
D. Una tecnica di pruning

Spiegazione: Il Chain-of-Thought Prompting incoraggia il modello a esplicitare il proprio ragionamento per migliorare trasparenza e accuratezza. Approfondimento sul Chain-of-Thought Prompting (CoT): CoT Prompting è una tecnica di ingegneria del prompt che migliora notevolmente la capacità degli LLM di risolvere problemi complessi di ragionamento, aritmetica, logica e buon senso. Invece di chiedere all’LLM di fornire solo la risposta finale, il CoT incoraggia il modello a produrre una serie di passaggi intermedi di ragionamento prima di arrivare alla soluzione. Si può implementare in due modi principali:

Few-shot CoT: Si forniscono al modello alcuni esempi di problemi risolti passo-passo nel prompt.
Zero-shot CoT: Si aggiunge semplicemente una frase come “Pensiamo passo dopo passo” (“Let’s think step by step”) al prompt, inducendo il modello a generare il proprio ragionamento intermedio. Questa tecnica rende il processo di ragionamento del modello più trasparente, migliora la correttezza delle risposte (specialmente per problemi multi-step) e può aiutare a identificare errori nel ragionamento del modello. È particolarmente efficace per compiti che vanno oltre il semplice recupero di fatti.

Perché i modelli transformer riducono il problema del vanishing gradient?
A. Usano dropout ad alta intensità
B. Applicano padding ai gradienti
C. Hanno connessioni residue e attenzione auto-consistente ✅
D. Limitano il numero di token elaborati

Spiegazione: Le residual connection e la layer normalization mantengono la stabilità del flusso del gradiente anche nei modelli profondi. Approfondimento sul Vanishing Gradient nei Transformer: Il problema del vanishing gradient si verifica nelle reti neurali profonde quando i gradienti (segnali di errore usati per aggiornare i pesi durante l’addestramento) diventano estremamente piccoli man mano che si propagano all’indietro attraverso molti strati. Questo porta a pesi agli strati iniziali che si aggiornano pochissimo, rendendo difficile l’apprendimento delle dipendenze a lungo raggio. Al contrario, l’exploding gradient si verifica quando i gradienti diventano troppo grandi. I Transformer mitigano il problema del vanishing gradient principalmente grazie a due caratteristiche chiave:

Residual Connections (Connessioni Residue): Introdotte nelle Reti Neurali Residue (ResNet), queste connessioni permettono al gradiente di fluire direttamente attraverso più strati, bypassando potenziali “colli di bottiglia” che potrebbero degradare il segnale del gradiente. Ogni sottostrato in un blocco Transformer è avvolto da una connessione residua.
Layer Normalization: Applicata dopo le connessioni residue, la normalizzazione dei layer stabilizza le attivazioni all’interno di ogni strato, mantenendo l’input della funzione di attivazione in un intervallo stabile, il che previene che i gradienti diventino troppo piccoli o troppo grandi.
Meccanismo di Self-Attention: A differenza delle RNN che elaborano sequenzialmente, l’attenzione opera su tutti i token contemporaneamente, consentendo alle informazioni di fluire più direttamente tra token distanti, senza la necessità di propagarsi attraverso molti passi temporali che degraderebbero il gradiente.

Forse potrebbe interessarti anche: Costo Marginale e Costo Medio: Calcolo, Differenze e Impatto Strategico sulle Decisioni Aziendali

Cosa distingue un modello generativo da uno discriminativo?
A. Il numero di parametri
B. Il generativo crea nuovi dati, il discriminativo classifica ✅
C. Il primo è supervisionato, il secondo no
D. Il generativo è sempre più preciso

Spiegazione: I modelli generativi, come GPT, producono nuovi dati (testo, immagini), mentre quelli discriminativi classificano input esistenti. Approfondimento su Modelli Generativi vs. Discriminativi: Questa è una distinzione fondamentale nell’apprendimento automatico:

Modelli Generativi: Mirano a modellare la distribuzione congiunta delle osservazioni e delle etichette, o semplicemente la distribuzione dei dati stessi, per capire come i dati sono stati “generati”. Possono creare nuovi esempi di dati che assomigliano ai dati su cui sono stati addestrati. Esempi includono:
- LLM (come GPT): Generano nuovo testo.
- Generative Adversarial Networks (GANs): Generano immagini realistiche.
- Variational Autoencoders (VAEs): Generano nuovi dati simili a quelli di addestramento. Possono essere usati anche per la classificazione o altre attività, ma la loro forza risiede nella capacità di “generare”.
Modelli Discriminativi: Mirano a modellare direttamente la probabilità condizionale delle etichette dato le osservazioni ( $P (y ∣ x)$ ). Il loro obiettivo è apprendere un confine di decisione che separa le diverse classi di dati. Non cercano di capire come i dati sono stati generati, ma solo di classificarli. Esempi includono:
- Support Vector Machines (SVMs)
- Logistic Regression
- Classificatori basati su alberi decisionali
- Alcune reti neurali convoluzionali (CNN) per la classificazione di immagini. In sintesi, i generativi costruiscono un modello del mondo da cui possono campionare, mentre i discriminativi imparano a distinguere tra diverse categorie nel mondo.

Sistema di valutazione finale

In base al numero di risposte corrette:

0–4 corrette → 🔴 Principiante
Suggerimento: ripassare concetti base come tokenizzazione, embedding e architettura Transformer.
5–8 corrette → 🟡 Intermedio
Suggerimento: approfondire tecniche di fine-tuning, sampling, LoRA, QLoRA.
9–12 corrette → 🟢 Avanzato
Ottimo! Puoi affrontare colloqui tecnici, progettare pipeline con LLM o costruire app AI-based.

Approfondisci le Tue Competenze con Articoli Correlati

Prepararsi a un colloquio sugli LLM è solo una parte del percorso per emergere nel campo dell’Intelligenza Artificiale e della Data Science. Per supportarti ulteriormente nella tua crescita professionale e nella preparazione ai colloqui, abbiamo selezionato alcuni articoli correlati che ti aiuteranno a consolidare le tue competenze in aree chiave:

Test di Autovalutazione Python: Valuta le Tue Competenze da Base ad Avanzato con 20 Domande Essenziali

Il ruolo di Python è centrale in quasi ogni ruolo legato all’AI e ai dati. Questo test ti offre un’opportunità unica per misurare la tua padronanza del linguaggio, dalle basi alle funzionalità più avanzate. Se il tuo obiettivo è lavorare con gli LLM o nella Data Science, una solida base in Python è indispensabile.

Questionario AI: Valuta le Tue Competenze in Intelligenza Artificiale – Livello Base, Intermedio, Avanzato

Al di là degli LLM, l’Intelligenza Artificiale è un campo vastissimo. Questo questionario ti permetterà di fare il punto sulle tue conoscenze generali in AI, coprendo concetti fondamentali che si intersecano con i modelli linguistici e con il Machine Learning in generale. Un’ottima risorsa per avere una visione a 360 gradi delle tue capacità.

Checklist Tecnico Data Scientist: La Tua Guida Completa per il Colloquio in Italia (Entry-Level)

Se il tuo percorso ti porta verso il ruolo di Data Scientist, questa checklist è un’alleata preziosa. Offre una panoramica delle competenze tecniche e delle aree di conoscenza tipicamente richieste nei colloqui per posizioni entry-level in Italia. È una guida pratica per assicurarti di non tralasciare nessun aspetto cruciale della preparazione.

Sfrutta queste risorse per una preparazione a tutto tondo e aumenta le tue chance di successo nel mondo dell’AI e della Data Science!