Per anni la Silicon Valley ci ha venduto una promessa lineare: aggiungi un miliardo di parametri, versa fiumi di dati, brucia più elettricità e otterrai un’intelligenza artificiale miracolosamente più avanzata. È il dogma delle scaling laws, la cieca fede nella forza bruta computazionale che ha guidato lo sviluppo di giganti come GPT, Gemini, Claude o Llama.
Eppure, dietro le quinte dei laboratori di ricerca, l’ingegneria dei Large Language Models sta andando a sbattere contro un muro invisibile. Emergono anomalie sistemiche che la narrativa ufficiale fatica a spiegare: modelli che regrediscono se addestrati troppo a lungo, prestazioni che si sbriciolano dopo una compressione hardware e una cronica perdita di generalizzazione nei sistemi sovradimensionati.
Per capire dove si trovi questo limite non serve inseguire l’ultima stravagante teoria sul deep learning. Bisogna fare un salto indietro di quasi ottant’anni, rispolverando un saggio sulle telecomunicazioni del 1948 firmato da Claude Shannon: il padre della teoria dell’informazione.
Il paper “Shannon Scaling Laws for Large Language Models” propone una provocazione radicale: un LLM non si comporta come un cervello biologico che apprende, ma come un canale di comunicazione rumoroso.
La teoria che ha costruito Internet
Per capire il significato del paper bisogna fare un passo indietro.
Nel 1948 Claude Shannon pubblicò uno dei lavori più importanti della storia dell’ingegneria: A Mathematical Theory of Communication.
Shannon introdusse il concetto di:
informazione;
entropia;
rumore;
capacità di canale.
L’idea fondamentale era semplice ma rivoluzionaria:
ogni sistema di comunicazione ha un limite massimo di informazione trasmissibile senza errori.
Un telefono.
Una fibra ottica.
Un satellite.
Una rete Wi-Fi.
Tutti funzionano entro un equilibrio tra:
segnale utile;
rumore;
banda disponibile.
La formula simbolo di questa teoria è il teorema di Shannon‑Hartley.
[math]C = B \log_2(1 + S/N)[/math]
Dove:
[math]C[/math] è la capacità massima del canale;
[math]B[/math] è la banda;
[math]S/N[/math] è il rapporto segnale/rumore.
Se il rumore cresce troppo, il messaggio non riesce più a essere trasmesso correttamente.
Ed è qui che il paper introduce il parallelo con gli LLM.
LLM come canali di comunicazione
Secondo gli autori, un modello linguistico può essere reinterpretato come un sistema di trasmissione dell’informazione.
Nel framework proposto:
i parametri del modello equivalgono alla banda;
i token di training diventano il segnale;
il rumore deriva da quantizzazione, instabilità numerica, compressione, errori di ottimizzazione e dati imperfetti.
Una precisazione importante: non è una traduzione perfetta di Shannon
A questo punto serve una distinzione fondamentale.
Il paper non sostiene che un LLM sia letteralmente equivalente a un canale di telecomunicazione classico nel senso stretto del teorema di Shannon-Hartley.
Quello proposto dagli autori è piuttosto un framework interpretativo matematicamente ispirato alla teoria dell’informazione, utile per descrivere fenomeni osservati negli LLM che le scaling laws tradizionali faticano a spiegare. Claude Shannon rimane la fonte teorica di ispirazione, ma il mapping tra componenti non è perfettamente uno-a-uno.
Per esempio:
parametri del modello → banda, nel senso che aumentano la capacità rappresentazionale;
token di training → segnale, cioè l’informazione utile disponibile per apprendere pattern;
rumore → perturbazioni interne ed esterne, come quantizzazione, rounding numerico, dati imperfetti, instabilità di ottimizzazione e rumore statistico.
Qui emerge una differenza cruciale rispetto ai sistemi di telecomunicazione classici:
negli LLM il rumore è in parte endogeno.
In una linea telefonica tradizionale, il rumore arriva soprattutto dall’esterno del canale.
In un modello linguistico, invece, parte dell’instabilità nasce all’interno del sistema stesso:
errori di ottimizzazione;
fragilità numerica;
degradazione dovuta alla compressione;
rappresentazioni latenti instabili.
Inoltre, il paper introduce una formulazione più sofisticata della cosiddetta Shannon Scaling Law, usando parametri specifici (come α, β e γ) per modellare il rapporto tra capacità del modello, rumore e prestazioni osservate. Non si tratta quindi di applicare direttamente la formula di Shannon-Hartley agli LLM, ma di costruire un’estensione teorica ispirata ai suoi principi. Per questo motivo è più corretto parlare di:
LLM come sistemi analoghi a canali rumorosi, non di equivalenza matematica perfetta.
In pratica:
l’addestramento di un LLM non sarebbe soltanto “apprendere conoscenza”, ma tentare di trasmettere pattern statistici attraverso un canale limitato e rumoroso.
Questo cambia completamente la prospettiva.
Le scaling laws classiche assumono implicitamente che:
aggiungere dati migliori sempre il modello;
aumentare i parametri migliori sempre il modello;
aumentare il compute produca sempre guadagni progressivi.
La teoria di Shannon suggerisce invece qualcosa di molto diverso:
oltre una certa soglia, il rumore può crescere più rapidamente del segnale utile.
E quando accade, la qualità del modello non migliora più, può addirittura peggiorare.
Perché i modelli possono peggiorare crescendo
Questo punto è cruciale perché spiega alcune anomalie osservate negli ultimi anni.
1. Catastrophic overtraining
In teoria, più training dovrebbe migliorare il modello.
Nella pratica, esiste un punto oltre il quale il modello:
memorizza rumore;
amplifica correlazioni spurie;
perde capacità di generalizzazione.
È un fenomeno simile all’overfitting classico, ma su scala gigantesca.
Nel paradigma Shannoniano, il motivo è intuitivo: il segnale informativo utile viene sommerso dal rumore statistico.
2. Quantizzazione aggressiva
Per rendere i modelli più leggeri e veloci da usare, gli sviluppatori spesso li “comprimono”, riducendo la precisione numerica con una tecnica chiamata quantizzazione.
Immagina di passare da una bilancia super precisa (che misura al grammo) a una più economica che arrotonda ai 100 grammi. Si risparmia spazio e energia, ma si perde un po’ di accuratezza.
I livelli di quantizzazione più comuni sono:
FP16 (precisione alta, quasi quella originale)
INT8 (già più compresso)
INT4 (molto compresso)
Fino ad arrivare a 1 o 2 bit (estremamente compresso)
Fin qui tutto logico: meno bit = meno memoria e costi più bassi.
Il problema è quello che succede dopo.
Spesso, quando si comprime solo un po’, il modello sembra reggere bene. Ma a un certo punto, anche una piccola riduzione di precisione provoca un crollo improvviso delle performance. Non un peggioramento graduale, ma un vero e proprio collasso.
Nel framework ispirato a Shannon, questo fenomeno ha una spiegazione intuitiva: la quantizzazione aumenta fortemente il rumore nel canale di comunicazione.
Finché il rapporto tra segnale utile (le conoscenze reali del modello) e rumore (gli errori introdotti dalla compressione) rimane sopra una certa soglia, il modello continua a funzionare decentemente.
Ma quando questo rumore diventa troppo elevato, la trasmissione del significato collassa: il modello perde la capacità di ragionare in modo affidabile, anche se continua a scrivere in modo grammaticalmente corretto.
Il caso EleutherAI Pythia 6.9B: quando la logica crolla a 4 bit
Per capire come questa dinamica si traduca nella pratica, basta osservare uno degli esempi più interessanti discussi nel paper: il comportamento del modello Pythia 6.9B di EleutherAI sotto forte quantizzazione. Il sistema diventa quasi un laboratorio perfetto per studiare il punto di rottura di un LLM.
Quando Pythia 6.9B lavora a piena precisione numerica (FP16), mantiene una buona stabilità in task di ragionamento intermedio, coding e matematica. Il quadro cambia quando il modello viene compresso in formato INT4, cioè a 4 bit, una tecnica utilizzata per ridurre drasticamente memoria, costi computazionali e requisiti hardware.
A prima vista sembra che il modello abbia superato la “cura dimagrante” senza grandi conseguenze. Il linguaggio resta fluido, la grammatica appare solida e le frasi mantengono coerenza sintattica.
Poi arrivano i test davvero difficili.
Problemi matematici. Ragionamento multi-step. Coding.
Ed è qui che compare il comportamento anomalo: le performance non peggiorano gradualmente. Collassano in modo non lineare.
Secondo il framework proposto dagli autori, la spiegazione può essere letta attraverso la teoria dell’informazione di Shannon.
1. La ridondanza del linguaggio salva le apparenze
Il linguaggio naturale è altamente ridondante.
Anche se perdiamo parte dell’informazione, il contesto ci permette spesso di ricostruire il significato:
“l’intel_igenza art_ficiale sta camb_ando il mon_o”
Probabilmente hai letto la frase senza alcuna difficoltà.
Questo significa che un modello quantizzato può continuare a sembrare sorprendentemente competente nel dialogo quotidiano, anche quando parte dell’informazione interna viene degradata dal rumore numerico.
2. La logica è molto meno tollerante al rumore
La matematica e il codice funzionano in modo diverso.
Qui quasi non esiste ridondanza.
Un singolo simbolo sbagliato può compromettere tutto:
un segno “–” al posto di “+”;
una parentesi mancante in Python;
una variabile alterata;
un coefficiente numerico leggermente distorto.
La catena inferenziale si rompe.
Nel linguaggio di Shannon, è come se il messaggio attraversasse un canale in cui il rapporto segnale/rumore è diventato troppo basso per preservare l’informazione critica.
Il risultato è paradossale:
il modello continua a parlare bene, ma smette progressivamente di “pensare bene” nei compiti più sensibili alla precisione.
La cosa interessante è che, nel framework del paper, questo non viene interpretato semplicemente come un modello “meno intelligente”, ma come un sistema che sta perdendo fedeltà nella trasmissione delle proprie rappresentazioni interne sotto un livello eccessivo di rumore computazionale.
Questa distinzione è sottile ma importantissima: la fluidità linguistica può sopravvivere molto più a lungo della precisione logica.
Ed è forse uno dei motivi per cui i benchmark conversazionali, da soli, rischiano di nascondere limiti profondi dei modelli compressi.
Il caso Pythia 6.9B lascia una domanda aperta: perché un modello continua a parlare in modo convincente mentre perde improvvisamente capacità logiche? Per rispondere bisogna introdurre un concetto sempre più importante nella ricerca sui modelli linguistici: la robustezza semantica.
Robustezza semantica: la proprietà invisibile che separa un LLM utile da uno fragile
Spesso sfugge un dettaglio fondamentale quando si parla di modelli linguistici: un LLM può apparire brillante in superficie, scrive con eleganza, risponde in modo fluido e mantiene una grammatica impeccabile, ma rivelarsi sorprendentemente fragile appena lo si sottopone a stress.
Basta applicare una quantizzazione aggressiva, introdurre un po’ di rumore numerico o una piccola perturbazione nei pesi, e improvvisamente il modello inizia a confondere relazioni logiche, commettere errori banali di inferenza, allucinare o perdere consistenza matematica.
La domanda cruciale non è più “Quanto sa questo modello?”, ma “Quanto riesce a preservare ciò che sa quando il sistema viene perturbato?”.
È qui che entra in gioco un concetto sempre più rilevante: la robustezza semantica.
Per capirne l’importanza, immagina di chiedere al modello:
Se un treno parte da Roma alle 9:00 e viaggia a 100 km/h, a che ora arriverà a Firenze (distante 280 km)?
Un modello semanticamente robusto risolverà correttamente il problema anche dopo una leggera compressione o perturbazione. Un modello fragile, invece, potrebbe all’improvviso rispondere alle 11:20 (calcolo sbagliato) o inventare distanze assurde, pur continuando a scrivere una risposta grammaticalmente perfetta e stilisticamente convincente.
Cos’è davvero la robustezza semantica?
Possiamo pensarla come:
la capacità di un modello di mantenere stabile il significato delle proprie rappresentazioni interne anche quando il sistema viene perturbato.
Attenzione: non riguarda la quantità di conoscenza.
Riguarda la stabilità strutturale della conoscenza.
In altre parole:
un modello semanticamente robusto continua a mantenere relazioni concettuali corrette anche in condizioni difficili:
rumore;
compressione;
quantizzazione;
perturbazioni numeriche;
dati imperfetti.
È la differenza tra un sistema che “regge il colpo” e uno che si rompe silenziosamente.
Le tre componenti della robustezza semantica
1. Coerenza interna
Le rappresentazioni latenti non devono deformarsi troppo quando il modello viene perturbato.
Se chiediamo:
“Roma è la capitale dell’Italia”
e poi introduciamo una piccola modifica numerica nei pesi, il modello non dovrebbe improvvisamente comportarsi come se:
“Milano fosse la capitale”.
Sembra banale.
In realtà è un enorme problema matematico.
Perché gli embedding vivono in spazi ad altissima dimensionalità estremamente sensibili alle perturbazioni.
2. Stabilità numerica
Un modello robusto tollera:
FP16;
INT8;
INT4;
rounding;
dropout;
rumore computazionale.
Questo è esattamente il fenomeno osservato nel paper su Shannon: alcuni LLM sembrano sopravvivere linguisticamente alla compressione, ma collassano semanticamente nei task più rigorosi.
Un modello stabile non perde improvvisamente capacità inferenziali appena riduci precisione numerica.
3. Continuità semantica
Piccole variazioni dell’input non dovrebbero produrre salti concettuali sproporzionati.
Se scrivo:
“Spiegami le derivate”
oppure:
“Puoi spiegarmi le derivate?”
non dovrei ottenere due modelli cognitivamente diversi.
Sembra ovvio.
Ma gli LLM possono essere sorprendentemente instabili su prompt quasi equivalenti.
Possiamo misurare la robustezza semantica?
Non esiste ancora una metrica standard universale, ma possiamo immaginare un framework operativo.
1. Perturbation Tests
Si introduce rumore nei pesi.
Poi si osserva:
quanto velocemente degrada la qualità logica del modello?
2. Quantization Tolerance
Quanto resiste il modello passando da:
FP16 → INT8 → INT4?
Alcuni mantengono sorprendente stabilità.
Altri collassano rapidamente.
3. Semantic Drift
Si misura quanto cambiano le rappresentazioni interne mantenendo lo stesso significato concettuale.
Domanda fondamentale:
il modello continua davvero a rappresentare la stessa idea?
4. Logical Consistency
Le relazioni logiche sopravvivono alla perturbazione?
Se A implica B prima del rumore, dovrebbe restare vero anche dopo.
5. Cross-Task Stability
Un modello robusto non dovrebbe:
eccellere in scrittura;
collassare in matematica;
degradarsi nel coding.
La qualità dovrebbe degradare in modo graduale, non catastrofico.
Questo suggerisce che il paradigma potrebbe avere potere predittivo reale e non soltanto descrittivo.
Il vero problema: preservare coerenza
L’idea più profonda del paper non riguarda semplicemente il rumore matematico.
Riguarda la coerenza cognitiva.
Gli LLM funzionano perché riescono a mantenere strutture semantiche coerenti attraverso miliardi di operazioni numeriche.
Ma quando il rumore cresce:
le rappresentazioni latenti diventano instabili;
il significato si degrada;
emergono allucinazioni;
aumenta l’incoerenza logica.
Questo porta a una reinterpretazione radicale dell’intelligenza artificiale:
forse l’intelligenza non dipende solo dalla quantità di informazione immagazzinata, ma dalla capacità di preservarne la struttura significativa in presenza di rumore.
È una distinzione enorme.
Perché implica che:
accumulare dati non basta;
aumentare parametri non basta;
aumentare compute non basta.
Serve robustezza informazionale.
Dalla neuroscienza alle telecomunicazioni
Negli ultimi anni molte metafore sull’AI sono state prese dalla neuroscienza:
neuroni artificiali;
sinapsi;
reti neurali;
cervelli digitali.
Questo paper propone invece una metafora completamente diversa: l’LLM come infrastruttura di telecomunicazione.
Non più “cervello”.
Ma:
canale;
codifica;
trasmissione;
rumore;
decodifica.
E paradossalmente questa metafora potrebbe spiegare meglio alcuni limiti emergenti dell’AI moderna.
Perché gli LLM non “capiscono” realmente nel senso umano del termine.
Trasmettono e comprimono pattern statistici.
E ogni compressione ha inevitabilmente una perdita.
Implicazioni economiche e industriali
Se questa teoria fosse corretta, le implicazioni per il settore AI sarebbero enormi.
L’industria oggi è costruita sull’idea che:
più GPU → migliore AI;
più dati → migliore AI;
più scala → vantaggio competitivo.
Ma se esiste una soglia Shannoniana:
il ritorno marginale del scaling potrebbe ridursi drasticamente;
i costi energetici potrebbero crescere più velocemente delle capacità emergenti;
la qualità dei dati diventerebbe più importante della quantità;
l’architettura conterebbe più della dimensione.
In pratica:
potremmo entrare in una fase post-scaling.
Una fase in cui il problema principale non sarà costruire modelli più grandi, ma modelli più stabili, coerenti e resistenti al rumore.
Il parallelo con le reti Internet
C’è un dettaglio storico affascinante. Internet non è diventato affidabile perché i segnali erano perfetti.
È diventato affidabile perché sono stati sviluppati:
protocolli di correzione errore;
ridondanza;
codifica robusta;
gestione intelligente del rumore.
Forse l’AI seguirà lo stesso percorso.
Non vinceranno necessariamente i modelli più enormi.
Potrebbero vincere quelli con:
migliore efficienza informazionale;
minore entropia interna;
maggiore robustezza semantica;
architetture più resilienti.
Una nuova fase della ricerca AI
Questo paper non dimostra che le scaling laws tradizionali siano “sbagliate”.
Dimostra qualcosa di più interessante: potrebbero essere incomplete.
Le scaling laws hanno funzionato molto bene fino a oggi perché il settore era ancora lontano dai limiti fisici e informazionali.
Ma quando i modelli diventano giganteschi:
il rumore numerico conta;
la compressione conta;
la stabilità dinamica conta;
l’entropia interna conta.
E improvvisamente Claude Shannon, un matematico del XX secolo che studiava linee telefoniche, torna centrale nel dibattito sull’intelligenza artificiale del XXI secolo.
È un passaggio culturale importante.
Perché suggerisce che il futuro dell’AI potrebbe dipendere meno dalla forza bruta computazionale e più da qualcosa di molto più sottile:
la capacità di preservare significato attraverso sistemi inevitabilmente rumorosi.
