NVIDIA ha annunciato di aver potenziato la piattaforma di elaborazione AI con l'introduzione di NVIDIA HGX H200. Basata sull'architettura NVIDIA Hopper, la piattaforma presenta la GPU NVIDIA H200 Tensor Core con memoria avanzata per gestire enormi quantità di dati per l'AI generativa e i carichi di lavoro di elaborazione ad alte prestazioni. NVIDIA H200 è la prima GPU a offrire HBM3e ?

una memoria più veloce e più grande per alimentare l'accelerazione dell'AI generativa e dei modelli linguistici di grandi dimensioni, oltre a far progredire il calcolo scientifico per i carichi di lavoro HPC. Con HBM3e, NVIDIA H200 offre 141 GB di memoria a 4,8 terabyte al secondo, una capacità quasi doppia e una larghezza di banda 2,4 volte superiore rispetto al suo predecessore, NVIDIA A100. Si prevede che i sistemi alimentati da H200 dei principali produttori di server e provider di servizi cloud del mondo cominceranno a essere spediti nel secondo trimestre del 2024.

Innovazione continua, salti di prestazioni continui: L'architettura NVIDIA Hopper offre un salto di prestazioni senza precedenti rispetto al suo predecessore e continua ad alzare il livello grazie ai continui miglioramenti del software con H100, fra cui il recente rilascio di potenti librerie open-source come NVIDIA TensorRT-LLM. L'introduzione di H200 porterà a ulteriori balzi prestazionali, compreso il quasi raddoppio della velocità di inferenza su Llama 2, un LLM da 70 miliardi di parametri, rispetto a H100. Ulteriori leadership e miglioramenti delle prestazioni con H200 sono attesi con i futuri aggiornamenti del software.

Fattori di forma di NVIDIA H200: NVIDIA H200 sarà disponibile nelle schede server NVIDIA HGX H200 con configurazioni a quattro e otto vie, che sono compatibili con l'hardware e il software dei sistemi HGX H100. È anche disponibile nel Superchip NVIDIA GH200 Grace Hopper con HBM3e, annunciato in agosto. Grazie a queste opzioni, H200 può essere implementato in ogni tipo di data center, compresi quelli on premises, cloud, hybrid-cloud ed edge. L'ecosistema globale di produttori di server partner di NVIDIA?

tra cui ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron e Wiwynn? possono aggiornare i loro sistemi esistenti con un H200. Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure saranno fra i primi fornitori di servizi cloud a distribuire istanze basate su H200 a partire dal prossimo anno, oltre a CoreWeave, Lambda e Vultr.

Grazie alle interconnessioni ad alta velocità NVIDIA NVLink e NVSwitch, HGX H200 offre prestazioni elevate su vari carichi di lavoro applicativi, fra cui l'addestramento e l'inferenza LLM per i modelli di grandi dimensioni che superano i 175 miliardi di parametri. Un HGX H200 a otto vie offre oltre 32 petaflop di calcolo FP8 per l'apprendimento profondo e 1,1 TB di memoria aggregata ad alta larghezza di banda per prestazioni elevate nelle applicazioni AI e HPC generative. Se abbinato alle CPU NVIDIA Grace con un'interconnessione NVLink-C2C ultraveloce, H200 crea il Superchip GH200 Grace Hopper con HBM3e?

un modulo integrato progettato per servire le applicazioni HPC e AI su scala gigante. Accelerazione dell'AI con il software NVIDIA Full-Stack: La piattaforma di computing accelerato di NVIDIA è supportata da potenti strumenti software che consentono agli sviluppatori e alle aziende di costruire e accelerare le applicazioni pronte per la produzione, dall'AI all'HPC. Questo include la suite di software NVIDIA AI Enterprise per carichi di lavoro come il parlato, i sistemi di raccomandazione e l'inferenza su scala iperscala.

Disponibilità: NVIDIA H200 sarà disponibile presso i produttori di sistemi globali e i fornitori di servizi cloud a partire dal secondo trimestre del 2024.