NVIDIA ha annunciato l’entrata in piena produzione di NVIDIA Groq 3 LPX, piattaforma pensata per la generazione di token a bassa latenza, e ne ha definito il ruolo all’interno dell’architettura Vera Rubin. La mossa riguarda soprattutto i carichi di inferenza legati agli agenti AI: sistemi che non si limitano a restituire una risposta, ma mantengono contesti molto estesi, richiamano strumenti esterni, eseguono codice e coordinano più passaggi per completare un compito.
L’annuncio, presentato in occasione di Hot Chips a Palo Alto, non introduce Vera Rubin come prodotto isolato. NVIDIA propone invece un insieme composto da calcolo, accelerazione dell’inferenza e rete, sostenendo che questa integrazione diventerà decisiva con la crescita dei modelli orientati al ragionamento e dei flussi multi-agente. In questo schema, Vera Rubin NVL72 gestisce l’infrastruttura rack-scale, Groq 3 LPX punta alla fase di emissione rapida delle risposte e Spectrum-X Ethernet è destinata a trasportare i dati fra i nodi dell’AI factory.
Il collo di bottiglia si sposta sulla produzione dei token
Negli ultimi anni l’attenzione dell’industria si è concentrata soprattutto sull’addestramento dei grandi modelli. Per applicazioni che servono utenti e aziende in tempo reale, tuttavia, è l’inferenza a determinare tempi di risposta, capacità disponibile e costo operativo. Il problema diventa più evidente quando un modello deve elaborare documenti, basi di conoscenza o cronologie molto lunghe prima di iniziare a generare testo, codice o istruzioni.
NVIDIA colloca Groq 3 LPX proprio in questa fase finale del processo. L’obiettivo dichiarato è ridurre la latenza e aumentare il ritmo con cui vengono prodotti i token, mentre la piattaforma Vera Rubin affronta il carico più ampio dell’elaborazione del contesto. La separazione delle funzioni è rilevante per gli agenti: una risposta lenta può ritardare una catena di chiamate a strumenti software, controlli sui dati, esecuzioni di codice e ulteriori passaggi di ragionamento.
Come indicazione prestazionale, NVIDIA cita un test di Artificial Analysis con Gemma 4 31B, descritto come modello open source per impieghi agentici. Nello scenario considerato, con contesto da 100.000 token, Groq 3 LPX avrebbe raggiunto 3.400 token in uscita al secondo. Secondo l’azienda, il dato è quattro volte superiore rispetto alla piattaforma alternativa più vicina nel benchmark. È una misurazione utile per inquadrare il posizionamento del prodotto, ma resta un risultato relativo a un modello, a una configurazione e a un carico di lavoro specifici; non equivale automaticamente alle prestazioni che si osserveranno su ogni applicazione.
Vera Rubin come architettura coordinata
Il messaggio di NVIDIA è che l’efficienza nell’inferenza non dipenderà da un singolo acceleratore. Per servire modelli con finestre di contesto molto grandi occorre infatti combinare la potenza di calcolo con una memoria adeguata e con collegamenti capaci di muovere rapidamente grandi quantità di dati tra rack e sistemi. Da qui l’enfasi sul cosiddetto codesign, cioè sulla progettazione coordinata dell’intera pila infrastrutturale.
Vera Rubin NVL72 è il perno rack-scale di questa proposta. Groq 3 LPX viene presentato come complemento per le richieste dove contano particolarmente velocità di generazione e reattività, anziché come sostituto dell’infrastruttura principale. NVIDIA punta così a offrire a cloud provider e imprese una composizione modulare: risorse per processare il contesto, accelerazione per l’output e rete per collegare l’insieme su scala di data center.
La componente di rete è Spectrum-X Multiplane. CoreWeave ha già avviato il suo impiego in produzione per collegare rack Vera Rubin attraverso più switch paralleli. NVIDIA sostiene che la configurazione consenta una rete ad alta banda, piatta e lossless per i carichi AI. In ambienti in cui un servizio distribuisce lavoro su molti nodi, la rete non è un dettaglio accessorio: ritardi e congestioni nei trasferimenti possono ridurre il beneficio di acceleratori molto veloci.
I primi utilizzatori e il fronte cloud
Nebius sarà il primo AI cloud ad adottare NVIDIA Groq 3 LPX. L’azienda prevede di inserirlo nella propria Nebius Token Factory accanto a Vera Rubin NVL72, per mettere a disposizione degli sviluppatori capacità di inferenza rivolte ad agenti interattivi, strumenti di coding e servizi che richiedono risposte in tempo reale. Il passaggio al cloud è importante perché rende questa tecnologia accessibile anche a chi non intende costruire internamente un’infrastruttura rack-scale.
Per NVIDIA, la disponibilità attraverso un provider è anche un banco di prova concreto. Le metriche annunciate dovranno tradursi in prezzi per token, disponibilità, qualità del servizio e compatibilità con modelli diversi, aspetti che incidono direttamente sulla scelta di chi sviluppa prodotti basati su agenti. L’azienda parla di costi dei token più bassi, ma nel materiale diffuso non comunica listini, prezzi del servizio Nebius né confronti economici dettagliati. Al momento, quindi, è possibile registrare la direzione della piattaforma, non quantificare il vantaggio finanziario per gli utilizzatori.
Tra gli altri partner citati figura SpaceXAI, che pianifica di basare la propria futura architettura AI su Vera Rubin, dai data center terrestri fino ai satelliti orbitali. La società intende usare le CPU NVIDIA Vera per attività ad alta intensità di CPU che accompagnano il lavoro degli agenti, comprese orchestrazione, utilizzo di tool, esecuzione di codice, trattamento dati e simulazione. NVIDIA sottolinea per queste CPU le prestazioni per core, la banda di memoria e un comportamento prevedibile sotto carico, con l’obiettivo di mantenere utilizzate in modo efficiente le risorse GPU.
Una proposta che alza anche il livello di integrazione
La piena produzione di Groq 3 LPX segna un passaggio dalla presentazione tecnologica alla disponibilità industriale, ma non elimina le incognite tipiche di una nuova piattaforma. La velocità di generazione è soltanto una delle variabili che definiscono l’esperienza di un agente: contano anche il tempo necessario a elaborare il prompt, l’affidabilità delle chiamate a software esterno, la qualità dei modelli, la gestione della memoria e i costi complessivi dell’infrastruttura.
Inoltre, un’architettura fortemente integrata può offrire vantaggi quando tutti i suoi componenti lavorano insieme, ma richiede alle aziende di valutare con attenzione interoperabilità, modalità di distribuzione e dipendenza dalla stessa filiera hardware e software. NVIDIA non ha fornito, nel materiale dell’annuncio, dettagli su disponibilità geografica, configurazioni commerciali complete o tempistiche di espansione oltre i partner indicati.
Il dato più significativo dell’operazione è dunque strategico. NVIDIA sta adattando la propria offerta a una fase in cui l’AI generativa viene usata meno come semplice interfaccia conversazionale e più come infrastruttura capace di portare a termine processi articolati. Con Groq 3 LPX in produzione, Vera Rubin NVL72, Spectrum-X Multiplane e le CPU Vera, il gruppo tenta di coprire ogni segmento di quel processo. Sarà l’adozione in produzione da parte dei cloud e la verifica su carichi reali, oltre i benchmark pubblicati, a indicare quanto questo disegno riesca a trasformarsi in un vantaggio operativo per gli agenti AI.
