Cinquantamila miliardi di token, e il trucco per raddoppiarli

Open weight, token efficiency, contesti lunghi, sciami di agenti. Dove sta andando la scala dei modelli, letta a partire dal talk di un ricercatore di Moonshot AI.

Su internet ci sono sì e no cinquantamila miliardi di token di testo buono. Non molti di più. Il resto è rumore, duplicati, spam, la stessa notizia ricopiata da trecento siti. Per anni, per costruire un modello linguistico più bravo bastava una ricetta semplice: più testo da leggere, più grosso il modello, più potenza di calcolo sotto. E c’era un modo preciso di vedere che funzionava. Durante l’addestramento il modello legge una frase, prova a indovinare la parola dopo, e poi gli si mostra quella giusta; quanto ha sbagliato la previsione si chiama loss, la perdita. Più impara, più la perdita scende. Tutti i grafici qui sotto hanno la perdita sull’asse verticale, e vanno tutti nella stessa direzione, verso il basso.

Poi è saltata fuori una cosa scomoda. I token buoni sono un giacimento, e i giacimenti si esauriscono.

Se i dati buoni finiscono, resta una strada sola: cavare più intelligenza dagli stessi token. Si chiama token efficiency, e nei prossimi anni la sentirete nominare parecchio. Parto da un talk di un ricercatore di Moonshot AI, il laboratorio dietro Kimi, l’assistente in stile ChatGPT molto usato in Cina, perché mette in fila tre modi diversi di spingere un modello oltre il limite dei dati. Mani avanti d’obbligo: quando un laboratorio racconta il proprio lavoro sta facendo marketing tecnico, per quanto ben fatto. Nessuno sale su un palco per dire che i suoi grafici sono venuti abbastanza bene.

Cosa è Moonshot AI e perché conviene saperlo

Moonshot AI è una startup cinese fondata nel 2023 da Yang Zhilin, che viene dalla ricerca sul linguaggio naturale tra Tsinghua e Carnegie Mellon. Nella primavera del 2026 ha raccolto circa due miliardi di dollari a una valutazione intorno ai venti, con dietro Alibaba, Tencent e Meituan (TechCrunch). Kimi è la loro linea di modelli open weight. Tieni a mente quei numeri. Quando un’azienda da venti miliardi racconta quanto è brava non sta mentendo: ti mostra i suoi esperimenti, con le sue metriche, inquadrandoli e infiocchettandoli al meglio. Il mestiere di chi legge queste cose è separare il progresso dalla vetrina.

Open weight non significa open source

Un modello addestrato è due cose. Da una parte l’architettura, lo schema di come i pezzi sono collegati, che è pubblica e sta nei paper. Dall’altra i pesi: miliardi di numeri, uno per ogni collegamento, che dicono quanto quel collegamento conta. I pesi sono tutto quello che il modello ha imparato leggendo, e sono la stessa cosa che poco fa ho chiamato parametri. Se te li danno da scaricare, il modello lo metti dove vuoi, sul tuo server o sul cloud (sì, lo so, per farlo girare servono schiere di GPU: passami la semplificazione), e non dipendi più dal servizio di nessuno. Kimi è uno di questi. Qui però va detta una cosa che il marketing salta volentieri. Open weight non è open source. Ti danno i pesi, spesso con licenza permissiva, ma non i dati di addestramento, non la pipeline, non la ricetta che li ha prodotti. Metterci le mani sì, rifarlo da zero no. È una distinzione tutt’altro che accademica, ne ho scritto qui. Chiamare “open source” questi modelli, come capita di leggere, è impreciso e un po’ grossolano per non dire interessato.

C’è poi un secondo livello, geopolitico. Se regali i pesi dei tuoi modelli, il modello smette di essere un prodotto da vendere e diventa un ingrediente gratuito, come il cemento. Il valore si sposta su quello che ci costruisci sopra: gli strumenti, il cloud, i chip, chi lavora con la tua roba. Per la Cina è una mossa sensata, perché sui chip è indietro e i controlli americani sull’export la tengono lì, mentre sul software può ancora giocare alla pari (Stanford HAI, CSIS). L’accessibilità è reale, e in certi casi preziosa. Le motivazioni sono meno romantiche di come vengono raccontate.

Il divario con i modelli proprietari, comunque, si è assottigliato parecchio, e colmarlo ha voluto dire ripensare tre cose da capo: l’algoritmo che addestra, il modo in cui il modello guarda il contesto, e perfino cosa intendiamo per “modello”.

Primo: spremere più intelligenza da ogni token

Torniamo al giacimento. Immagina di avere i tuoi cinquantamila miliardi di token e di applicare un ottimizzatore che, a parità di dati, dimezza la perdita rispetto al passato. È come se quei cinquantamila miliardi, di colpo, ne valessero centomila: stessi dati, più intelligenza “estratta”. Ecco perché la token efficiency non riguarda solo la bolletta energetica, che pure conta, visto che questa storia consuma come le mining farm delle cripto. Quando i dati buoni sono una quantità fissa, cavarne di più è l’unica leva rimasta.

La legge di scaling: con un ottimizzatore più efficiente la curva si sposta a sinistra e raggiunge la stessa perdita con meno token. Rielaborazione originale a scopo illustrativo, ispirata ai grafici del talk.

Quanto vale un token, e quanto costa

Come si conta un token.

Un modello non legge lettere né parole intere, ma token: frammenti di testo di pochi caratteri, prodotti da un tokenizzatore che spezza le parole in pezzi ricorrenti. In inglese un token vale in media circa quattro caratteri, tre parole ogni quattro token; l’italiano, con parole più lunghe e piene di desinenze, ne consuma un po’ di più.

La finestra di contesto è quanti token il modello tiene in testa in una volta, domanda e risposta insieme: oggi si va dai 200 mila token a oltre un milione, cioè dal singolo libro alla piccola biblioteca. E si paga a token, quindi riempire una finestra da un milione per una sola domanda vuol dire pagare quel milione ogni volta. Ecco perché spremere più intelligenza da ogni token non è filosofia da convegno, è la voce di costo che decide se un prodotto sta in piedi.

Quanto costano i token (dollari per milione, input / output).

Prezzi delle API al 17 luglio 2026, tariffe standard; le modalità batch e il caching costano meno. L’output costa sempre molto più dell’input.

Muon, un ottimizzatore preso in prestito

C’è poi una cosa che il talk, per ovvie ragioni, non mette in primo piano: lo strumento non è di Moonshot. Si chiama Muon, e lo ha proposto nel dicembre 2024 Keller Jordan, ricercatore indipendente, in un singolo post sul suo blog (kellerjordan.github.io).

Da oltre dieci anni quasi tutte le reti neurali si addestrano con Adam, un ottimizzatore del 2014 di Diederik Kingma e Jimmy Ba. Un ottimizzatore è l’algoritmo che, a ogni passo dell’addestramento, decide come correggere i pesi del modello. Il nome Adam sta per Adaptive Moment Estimation, perché dosa la correzione tenendo conto della media e dell’oscillazione dei gradienti passati, la direzione delle correzioni viste fin lì. Muon prende un’altra strada, e la dichiara nel nome: MomentUm Orthogonalized by Newton-Schulz. Adam guarda i pesi uno per uno, come se ognuno vivesse per conto suo; ma i pesi di uno strato stanno in una matrice e si influenzano a vicenda, e capita che la correzione spinga in più direzioni che si sovrappongono, sprecando lavoro. Muon prende quella correzione e la rende ortogonale, cioè rimette le sue direzioni tutte perpendicolari fra loro, così ognuna porta informazione sua e nessuna ripete il lavoro delle altre. Farlo in modo esatto costerebbe troppo, e allora si usa una scorciatoia a forza di moltiplicazioni, l’iterazione di Newton-Schulz.

Il merito di Moonshot

Il merito di Moonshot, ed è un merito ingegneristico vero, non è aver inventato Muon: è averlo fatto funzionare su un modello da mille miliardi di parametri, il punto dove muore quasi tutto. Uno strumento che sui modelli piccoli, quelli su cui si fanno le prove in laboratorio, va benissimo, sui modelli grossi diventa instabile o troppo lento, e nessuno lo usa più. Sono serviti tre accorgimenti. Il primo riguarda il weight decay, il freno che a ogni passo tira i pesi un po’ verso lo zero perché non crescano senza limite: il valore buono per un modello piccolo, su uno da mille miliardi di parametri era sbagliato, e l’hanno ritarato. Il secondo tiene conto di un’eredità. Dieci anni di Adam hanno lasciato un patrimonio di ricette pratiche, quanto imparare in fretta, come scaldare l’addestramento all’inizio e rallentarlo alla fine, tutte tarate sull’ampiezza dei passi di Adam; Muon fa passi suoi, e senza un aggiustamento quelle ricette andrebbero buttate, così gli hanno messo un fattore di scala che riporta i suoi passi alla misura di quelli di Adam. Il terzo è di pura fatica: la matrice da ortogonalizzare, a quelle dimensioni, in una GPU sola non ci sta, e hanno scritto un’implementazione che la spezza fra tante schede. Il raddoppio di efficienza è un numero che riportano loro, sui loro esperimenti; la conferma arriva quando lo replicano altri, e Muon fuori da Moonshot ci sta già arrivando.

L’imprevisto: i logit che esplodono

Il problema è saltato fuori con la scala. Addestrando il modello da mille miliardi di parametri, i conti hanno cominciato a non tornare [a quelle scale succede quasi sempre]. A impazzire era l’attenzione, il meccanismo con cui il modello decide, parola per parola, a quali altre parole dare peso: è quello che gli fa capire che in “il gatto che avevo visto ieri dormiva”, a dormire è il gatto e non ieri. Il conto funziona così: per ogni parola il modello calcola due vettori, uno che dice cosa quella parola cerca nel resto del testo (la query) e uno che dice cosa quella parola offre a chi la cerca (la key, la chiave). Moltiplichi la query di una parola per la key di un’altra e ottieni un numero, il logit, cioè quanto la prima deve dare peso alla seconda. Di norma il logit più alto sta intorno a cinquanta. Qui schizzava oltre mille, e la perdita, invece di scendere, tornava a salire: con numeri così l’attenzione si incaponisce su una parola sola e ignora tutte le altre, e da lì l’addestramento va a pezzi.

Va aggiunta una cosa: il modello non calcola l’attenzione una volta sola. Ogni strato la fa in parallelo su più canali indipendenti, le teste, e ognuna impara a guardare qualcosa di diverso, una i legami grammaticali, una il filo del discorso, una i nomi propri. A impazzire non erano tutte, ma alcune. La soluzione ha un nome asciutto, QK Clip, e il nome dice dove interviene: sulla query e sulla key, le due grandezze da cui il logit nasce. Testa per testa, controlla il logit più alto che si è prodotto e, se ha sforato, rimpicciolisce di quel tanto che serve le query e le key di quella testa, riportandolo sotto. Un limitatore, come quello che sui vecchi mixer taglia i picchi prima che il suono distorca. La cosa notevole è che il freno non frena: nei loro grafici la curva con e senza QK Clip si sovrappone, stessa velocità e stessa qualità, senza i picchi che mandavano tutto all’aria. Muon e QK Clip insieme, cioè MuonClip, sono la combinazione con cui hanno addestrato il K2, come raccontano nel loro report tecnico. Adam è del 2014: che sia ora di un rimpiazzo lo pensano in molti, me compreso.

Secondo: una memoria che sa cosa dimenticare

La seconda dimensione è la lunghezza del contesto, quanto testo il modello riesce a tenere davanti mentre lavora. C’è un grafico vecchio e istruttivo che mette a confronto due architetture. Da una parte le LSTM, le reti di prima del 2017: leggono una parola alla volta e si portano dietro un riassunto di quello che hanno letto, come chi ascolta una storia e ne tiene a mente il succo. Dall’altra i transformer, l’architettura di tutti i modelli di frontiera attuali: niente riassunto, il testo resta tutto a disposizione, e per ogni parola nuova il modello lo ripercorre da capo pesando quello che gli serve. Il grafico misura quanto il modello sbaglia sulla parola numero mille, sulla duemila, sulla cinquemila. I transformer partono più bassi e continuano a scendere: più testo hanno visto, meglio indovinano. Le LSTM dopo un po’ si appiattiscono, perché quel riassunto ha una capienza fissa e, quando è pieno, il nuovo scaccia il vecchio. Dieci anni fa con le LSTM traducevi qualche frase. Non ci scrivevi un agente che legge un’intera base di codice o macina un compito per giorni. E nell’era degli agenti i compiti si allungano.

Più il contesto si allunga, più il transformer migliora; la vecchia rete ricorrente si ferma presto. Rielaborazione originale a scopo illustrativo, ispirata ai grafici del talk.

Kimi Linear e la Kimi Delta Attention

I transformer, però, hanno un difetto che si paga in bolletta: se ogni parola guarda tutte le altre, con mille parole fai un milione di confronti, con un milione di parole ne fai mille miliardi. Il costo cresce con il quadrato della lunghezza, ed è per questo che le finestre grandi costano tanto. Da qui l’idea dell’attenzione lineare: invece di far guardare ogni parola a tutte le altre, tieni una memoria di dimensione fissa che si aggiorna a ogni parola, e il costo cresce dritto invece che al quadrato. Che poi è tornare all’idea della LSTM, con lo stesso problema: memoria fissa, quindi prima o poi qualcosa va buttato.

La proposta di Moonshot si chiama Kimi Linear, e ha un pregio che i grafici da soli non hanno: è descritta in un paper pubblico, sottoponibile a critica (arXiv). Dentro c’è una variante di attenzione lineare, la Kimi Delta Attention, e l’idea, ripulita dalla matematica, è quasi umana.

Nelle attenzioni lineari classiche la memoria sbiadisce tutta insieme, con una manopola sola: la giri da una parte e ti ricordi quasi tutto, spazzatura compresa; dall’altra dimentichi quasi tutto, comprese le cose che servivano. Qui le manopole diventano tante. Quella memoria è fatta di tante caselle, e ognuna ha la sua: alcune tengono per pagine, il nome del protagonista, l’argomento; altre svuotano quasi subito, l’ultima virgola, l’articolo di due parole fa. È la differenza tra un magazziniere che a fine giornata butta via tutto e uno che sa cosa tenere. Dimenticare in modo selettivo rende il modello più preciso senza appesantirlo; e siccome una memoria che si aggiorna parola per parola sarebbe una catena da sbrogliare in fila, con le schede ferme ad aspettare, hanno riscritto i conti a blocchi, così le GPU lavorano tutte insieme, e senza approssimare: il risultato è identico, cambia solo l’ordine dei calcoli.

La tesi forte, che Kimi Linear batta l’attenzione piena sui contesti corti, sugli input lunghi e sugli output lunghi, resta un risultato misurato da loro. Plausibile, elegante, da verificare. Le attenzioni lineari promettono da anni di mandare in pensione quella piena, e finora hanno quasi sempre pagato dazio da qualche parte: vanno bene sui test e poi perdono il filo proprio quando il contesto conta. Se stavolta il dazio non c’è, lo diranno gli usi reali, non le slide.

Terzo: moltiplicare gli agenti

La terza dimensione cambia l’unità di misura. Finora ho parlato di un modello. E se invece di uno ne mettessimo al lavoro cento? Un agente è un modello a cui hai dato degli strumenti, un obiettivo e il permesso di procedere da solo: cerca, legge, scrive un file, controlla se ha funzionato, riprova. Lo sciame, che loro chiamano agent swarm, mette un agente a fare da capo: prende un compito grosso, lo spezza, ne apre dieci come lui, dà a ciascuno un pezzo, aspetta, rimette insieme i risultati e, se non bastano, ricomincia. È lo schema di un’azienda: qualcuno scompone il lavoro, ruoli diversi lo eseguono, qualcuno riassembla. E siccome i dieci lavorano nello stesso momento invece che in fila, sui compiti grossi il tempo crolla.

Al crescere della complessità il singolo agente in serie esplode, lo sciame in parallelo resta piatto. Rielaborazione originale a scopo illustrativo, ispirata ai grafici del talk.

“Sciame” è una parola seducente, e qui il senso critico serve più che altrove. La parte solida è l’orchestrazione parallela, che funziona e non l’ha inventata nessuno di preciso. La parte da guardare con occhio critico è come gli hanno insegnato a fare il capo. Lo hanno addestrato a premi, come si fa con questi sistemi: gli fai provare un compito mille volte, gli dai un punteggio, e lui si sposta verso quello che fa punteggio. I premi sono tre. Uno per aprire sotto-agenti, altrimenti il modello ripiega pigramente sul fare tutto da solo, che è la cosa che ha già imparato a fare. Uno per i sotto-compiti che arrivano davvero a un risultato usabile, altrimenti scopre la scorciatoia di aprirne quindici, incassare il primo premio e lasciarli tutti a metà [imparano a imbrogliare come gli umani]. E uno sul risultato finale, che poi è l’unica cosa che interessa. Design ragionevole. Però i punteggi se li sono dati loro, su compiti scelti da loro. Che uno sciame di cento agenti produca valore, e non solo bollette di token più salate, resta da dimostrare.

Immagini e testo, cresciuti insieme

Tutto questo confluisce in Kimi K2.5, presentato circa un mese prima del talk, e la novità è nel metodo. Di solito un modello che vede le immagini si fa in due tempi: prima lo addestri a leggere, per mesi, poi gli attacchi sopra un pezzo che guarda le figure e glielo fai digerire; la vista arriva come un innesto su un cervello già formato. Loro invece hanno dato testo e immagini insieme dal primo giorno, quella che chiamano early fusion. Sostengono che le due cose si tirino a vicenda, che vedere la foto di un cane aiuti a capire la parola cane e viceversa, tanto che alla fine non è servita la fase di rifinitura sulle immagini di solito obbligatoria. E mostrano una curva di addestramento lunga e liscia, senza picchi. Se regge, è un bel risultato.

Il ritmo, però, è la miglior cura contro l’entusiasmo. K2.5 è già vecchio: a metà 2026 esistono versioni successive e modelli più grandi, dello stesso laboratorio e dei concorrenti. Quelle curve bellissime hanno la vita breve di un primato che verrà battuto il mese dopo. Servono a dire “ci siamo anche noi”, non a vincere una gara che non ha traguardo.

L’ultima idea è vecchia di dieci anni

L’ultima proposta il ricercatore la dà per anticipazione, roba non ancora pubblicata, e va a toccare il pezzo di architettura più intoccabile che ci sia. Si chiama Attention Residual.

Una rete profonda è fatta di strati impilati: l’informazione entra in basso, sale, e ogni strato lavora sul risultato di quello sotto. L’addestramento va nel verso opposto. L’errore si misura in cima, sull’ultima previsione, e da lì la correzione scende, strato per strato, distribuendo a ciascuno i gradienti di cui parlavo prima, cioè quanto e in che verso spostare ogni peso.

Prima del 2015 quella discesa era il problema. A ogni strato attraversato la correzione veniva rimaneggiata e si assottigliava, e dopo venti strati in fondo non arrivava quasi più niente: gli strati bassi restavano fermi, e impilarne tanti non serviva a nulla. Kaiming He e colleghi hanno risolto con una mossa quasi banale, la connessione residua: ogni strato, oltre a fare il suo lavoro, lascia passare intatto quello che ha ricevuto e ci somma sopra la sua modifica. Una somma, scendendo, si attraversa senza perdite: la correzione trova una strada che la porta fino in fondo integra. Da lì in poi le reti hanno potuto avere cento strati invece di venti, e quella connessione sta ancora dentro ogni modello che usi oggi.

Ilya Sutskever, che di questa roba ha scritto le fondamenta prima di uscire da OpenAI per fondare la sua Safe Superintelligence, l’ha messa così. Una LSTM tiene uno stato e lo aggiorna passando da una parola alla successiva, cioè nel tempo. La connessione residua tiene uno stato e lo aggiorna passando da uno strato al successivo, cioè in profondità. Stessa struttura, asse diverso: la connessione residua è una LSTM girata di novanta gradi.

E qui viene il bello. Nel tempo la LSTM l’abbiamo mandata in pensione nel 2017, proprio perché l’attenzione fa di meglio: invece di portarsi dietro un riassunto guarda tutto quanto. In profondità, invece, stiamo ancora usando una LSTM. Da dieci anni, dentro ogni modello, senza essercene accorti. Perché non provare l’attenzione anche lì?

Applicando l’attenzione alla profondità della rete, la perdita di validazione scende a parità di dati: un 24% di token efficiency in più, nei loro esperimenti. Rielaborazione originale a scopo illustrativo, ispirata ai grafici del talk.

Detto e fatto: ogni strato, invece di prendere solo il risultato di quello appena sotto, guarda con l’attenzione tutti gli strati che vengono prima e sceglie da quali attingere. Tenerli tutti a disposizione costerebbe troppa memoria, e allora gli strati vengono raggruppati a blocchi.

Il risultato che riportano è un 24% di token efficiency in più: a parità di dati letti, il modello sbaglia di meno. Anche questo, come tutto il resto, è un numero misurato in casa. L’idea però è buona a prescindere dal numero, perché non è uscita da una manopola girata a caso: è uscita da un’osservazione su come sono fatte le reti. Le idee così restano anche quando i numeri si sgonfiano.

Perché adesso, e non dieci anni fa

Il filo che tiene insieme Muon, Kimi Linear e Attention Residual conta più dei tre risultati presi uno per uno, ed è la parte che meno somiglia a una vetrina. Sono tutte revisioni di idee anziane: l’ottimizzatore di Kingma e Ba, la LSTM, la connessione residua di He. Roba su cui, fino a ieri, non si metteva mano. Dieci anni fa la ricerca funzionava diversamente. Si pubblicava un’idea, la si difendeva a parole, e mancavano le risorse per metterla alla prova su scala vera. Oggi un laboratorio addestra lo stesso modello a cinque dimensioni diverse, guarda come si comporta la curva quando cresce, e capisce se l’idea regge o se era fortuna del caso; poi la passa su interi panieri di prove standard e vede se ha rotto qualcos’altro. Le opinioni contano meno perché si può misurare, e quando misuri puoi permetterti di toccare le fondamenta. Questo, più della singola trovata, permette di rimettere le mani su tecniche che sembravano intoccabili. E non è un vantaggio di un solo laboratorio: è il clima in cui lavorano tutti.

Chi paga la torta

Una cosa buona però c’è, ed è che i pesi li puoi scaricare. Chi un data center non ce l’ha, con Kimi ci lavora lo stesso.

Il resto lo prenderei con le pinze. “Open” copre i pesi, e finisce lì. L’ottimizzatore che regge tutto l’ha scritto un ricercatore indipendente in un post sul blog, gratis e per chiunque, e ci hanno costruito sopra un modello da mille miliardi di parametri di cui non sapremo mai come è stato fatto. Nessuno ha rubato niente, per carità. Ma quello che entra è aperto per davvero, quello che esce è aperto per modo di dire. E i numeri, il raddoppio di efficienza, il 24%, le curve lisce, li ha misurati Moonshot sui propri esperimenti, e finché non li rifà qualcun altro restano promesse.

Resta il conto. Addestrare un modello da mille miliardi di parametri costa centinaia di milioni, e chi poi lo regala non lo fa per generosità. Il modo di rientrare è noto: regali il modello, la gente ci costruisce sopra i propri prodotti, e quando è il momento di far girare quella roba in produzione la fa girare sul tuo cloud, con i tuoi strumenti, e paga lì. Il modello è l’esca. Per Moonshot funzionerà? Non lo so. Ma quando qualcuno ti regala una torta, la domanda su chi l’ha pagata è sempre quella giusta.

Fonti

• Talk pubblico di un ricercatore di Moonshot AI (team Kimi) su token efficiency, Kimi Linear, agent swarm, Kimi K2.5 e Attention Residual.
• Report tecnico di Kimi K2 e paper Kimi Linear.
• Il post originale sull’ottimizzatore Muon di Keller Jordan.
• Finanziamento e valutazione di Moonshot AI (TechCrunch).
• L’ecosistema open weight cinese secondo Stanford HAI e CSIS.
• Sulla differenza di fondo, open weight non è open source.
• Prezzi dei token al 17 luglio 2026 dalle pagine ufficiali di OpenAI, Anthropic e Google Gemini.