d-Matrix ha scelto NVIDIA NVLink Fusion come base di integrazione per Raptor, la prossima generazione dei suoi XPU destinati all’inferenza AI. L’accordo non riguarda la semplice adozione di un collegamento ad alta velocità: l’obiettivo è inserire processori specializzati di d-Matrix nella piattaforma infrastrutturale di NVIDIA, usando la stessa architettura rack, le reti e parte dell’ecosistema che oggi sostengono i sistemi GPU del gruppo.
Per un’azienda che progetta silicio dedicato all’esecuzione dei modelli, il passaggio è rilevante soprattutto sul piano industriale. Un acceleratore può essere competitivo per latenza, consumo o costo di esecuzione, ma arrivare in un data center richiede molto altro: interconnessioni tra chip, server, alimentazione, raffreddamento, software, validazione dei rack e una catena di fornitura capace di produrre e consegnare sistemi completi. d-Matrix proverà a non ricostruire questa parte da zero, agganciandosi all’infrastruttura NVIDIA.
Raptor entra nel dominio NVLink
NVLink Fusion è la proposta con cui NVIDIA apre il proprio collegamento scale-up a CPU e XPU realizzati da terzi. Per scale-up si intende la comunicazione stretta e ad ampia banda tra acceleratori all’interno di un sistema o di un rack; è un livello diverso dalla rete che collega più rack nel data center. Nel piano annunciato, i Raptor XPU di d-Matrix saranno connessi attraverso NVLink in un unico dominio a bassa latenza e alta larghezza di banda.
A completare il disegno ci sarà Spectrum-X, la piattaforma Ethernet di NVIDIA pensata per lo scale-out, cioè per mettere in comunicazione sistemi e rack distinti. d-Matrix ha inoltre indicato l’intenzione di integrare CPU NVIDIA Vera, ConnectX-9 SuperNIC e BlueField-4 DPU. Sono componenti che coprono ruoli diversi: la CPU general purpose, le interfacce di rete e i processori per servizi infrastrutturali e di sicurezza. La combinazione prospettata colloca quindi Raptor in un ambiente eterogeneo, non in un’appliance isolata dedicata esclusivamente ai chip della società.
La compatibilità con l’architettura rack NVIDIA MGX è il secondo tassello dell’annuncio. MGX mette a disposizione progetti modulari e già validati per realizzare server e rack destinati ai carichi AI. In questa configurazione un operatore potrebbe adottare chassis e infrastrutture comuni per GPU, CPU e XPU, invece di creare un layout specifico per ogni famiglia di processori. È un aspetto meno visibile dell’interconnessione, ma spesso decisivo quando un progetto deve passare dal prototipo alla distribuzione in molti sistemi.
La scommessa è sull’inferenza, non sull’addestramento
d-Matrix opera nel segmento dell’inferenza, la fase in cui un modello già addestrato viene usato per generare risposte, classificare dati o svolgere compiti applicativi. La domanda di capacità per questa fase è aumentata con l’espansione dei modelli generativi e con il loro utilizzo in servizi rivolti a utenti e imprese. È anche un mercato nel quale metriche come la latenza, l’energia necessaria per ogni elaborazione e il costo per token assumono un peso diretto.
La società presenta Raptor come un processore specializzato per questi vincoli. NVIDIA, dal canto suo, offre a d-Matrix una strada per portarlo all’interno di infrastrutture di dimensioni maggiori e affiancarlo a sistemi basati su GPU, inclusi quelli della famiglia Vera Rubin NVL72 citata nel piano. L’ipotesi è una distribuzione disaggregata dell’inferenza: risorse differenti possono essere assegnate a compiti differenti, mantenendo una base comune per rack e networking.
Questo non implica che Raptor sostituirà le GPU NVIDIA. Il senso dell’integrazione è piuttosto rendere utilizzabile un acceleratore di terze parti nel perimetro tecnico e commerciale dell’ecosistema NVIDIA. Per le aziende che gestiscono AI factory, termine con cui NVIDIA identifica infrastrutture destinate alla produzione di output dei modelli, l’attrattiva sta nella possibilità di scegliere un componente specializzato senza cambiare integralmente il resto della piattaforma.
NVIDIA sostiene che la sesta generazione di NVLink possa offrire fino a 3 TB/s di banda all-to-all per XPU, oltre a una latenza tra XPU inferiore rispetto a Ethernet standard e a tassi di pacchetti più elevati. Sono dati forniti dall’azienda e vanno letti nel contesto della configurazione e dei carichi di lavoro effettivi: le prestazioni che un cliente otterrà con Raptor dipenderanno dal silicio finale, dal software, dalla topologia del rack e dal tipo di modelli eseguiti.
Per NVIDIA l’apertura resta sotto il controllo della piattaforma
L’annuncio descrive bene l’evoluzione della strategia NVIDIA. Da un lato il gruppo mantiene un’offerta fortemente integrata, che comprende processori, rete, software e design dei rack. Dall’altro, con NVLink Fusion, cerca di rendere quella stessa offerta una piattaforma per produttori esterni di CPU e acceleratori. Invece di lasciare che i chip specializzati costruiscano un proprio stack completo, NVIDIA propone di ospitarli all’interno del suo.
La distinzione è importante anche per il posizionamento di d-Matrix. Entrare in un’architettura già diffusa può accorciare i tempi di industrializzazione e ridurre i rischi legati all’integrazione, ma comporta anche una dipendenza dalle specifiche, dai cicli prodotto e dall’ecosistema di NVIDIA. NVLink Fusion è dunque un’apertura tecnica che rafforza contemporaneamente il ruolo centrale di NVIDIA nella definizione del rack AI.
Il programma raccoglie già nomi provenienti da più livelli della filiera. NVIDIA cita, fra gli altri, AWS, Arm, Intel, Fujitsu, SiFive, Alchip, Astera Labs, GUC, Marvell, MediaTek, Samsung, Cadence, Synopsys, Ayar Labs e Lightmatter. La presenza di progettisti di chip, fornitori di IP, aziende di packaging e specialisti delle interconnessioni segnala che la competizione non si svolge soltanto sul singolo acceleratore. Conta sempre di più la capacità di integrarlo fisicamente e logicamente in sistemi che possono essere costruiti, raffreddati e gestiti su vasta scala.
Cosa manca ancora al progetto
d-Matrix ha annunciato l’adozione di NVLink Fusion e l’integrazione prevista per Raptor, ma non ha comunicato nel materiale diffuso una data di disponibilità commerciale dei sistemi, prezzi, configurazioni rack definitive o benchmark indipendenti. Non sono quindi ancora misurabili i vantaggi concreti rispetto a soluzioni basate su GPU o su altri acceleratori per inferenza.
Restano da verificare anche gli aspetti software. In un’installazione mista, la qualità dell’integrazione dipende dalla capacità di orchestrare modelli, memoria, rete e carichi fra componenti differenti. NVIDIA include nel messaggio di NVLink Fusion l’accesso alla propria piattaforma software, ma d-Matrix dovrà dimostrare quanto agevole sarà per clienti e sviluppatori sfruttare Raptor in flussi operativi reali.
Il prossimo passaggio sarà quindi il trasferimento dell’intesa dal piano architetturale ai prodotti disponibili. Se l’integrazione arriverà sul mercato nei termini prospettati, d-Matrix potrà proporre un’alternativa specializzata per l’inferenza senza chiedere ai data center di adottare una piattaforma parallela. Per NVIDIA, invece, il caso d-Matrix sarà un test della capacità di trasformare NVLink Fusion in uno standard di fatto per chip non NVIDIA ospitati nei rack NVIDIA.
