NVIDIA ha lanciato quattro piattaforme di inferenza ottimizzate per una serie diversificata di applicazioni di AI generativa in rapida ascesa, aiutando gli sviluppatori a realizzare rapidamente applicazioni specializzate e basate sull'AI in grado di offrire nuovi servizi e intuizioni. Le piattaforme combinano l'intero stack di software di inferenza di NVIDIA con i più recenti processori NVIDIA Ada, Hopper e Grace Hopper, fra cui la GPU NVIDIA L4 Tensor Core e la GPU NVIDIA H100 NVL. Ogni piattaforma è ottimizzata per i carichi di lavoro più richiesti, fra cui i video di AI, la generazione di immagini, l'implementazione di modelli linguistici di grandi dimensioni e l'inferenza di raccomandazione. Accelerazione della serie diversificata di carichi di lavoro di inferenza dell'AI generativa
Ciascuna delle piattaforme contiene una GPU NVIDIA ottimizzata per specifici carichi di lavoro di inferenza dell'AI generativa, nonché un software specializzato: NVIDIA L4 for AI Video è in grado di offrire prestazioni video AI 120 volte superiori rispetto alle CPU, combinate con un'efficienza energetica migliore del 99%. Essendo una GPU universale per quasi tutti i carichi di lavoro, offre capacità migliorate di decodifica e transcodifica video, streaming video, realtà aumentata, video AI generativo e altro ancora. NVIDIA L40 for Image Generation è ottimizzata per la grafica e la generazione di immagini 2D, video e 3D abilitate dall'AI. La piattaforma L40 funge da motore di NVIDIA Omniverseo, una piattaforma per la costruzione e la gestione di applicazioni metaverse nel data center, offrendo prestazioni di inferenza 7 volte superiori per la Diffusione Stabile e prestazioni di Omniverse 12 volte superiori alla generazione precedente. NVIDIA H100 NVL for Large Language Model Deployment è ideale per la distribuzione di LLM massicci come ChatGPT su scala. Il nuovo H100 NVL con 94 GB di memoria e l'accelerazione Transformer Engine offre prestazioni di inferenza fino a 12 volte superiori a GPT-3 rispetto alla generazione precedente A100 su scala data center. NVIDIA Grace Hopper for Recommendation Models è ideale per i modelli di raccomandazione a grafo, i database vettoriali e le reti neurali a grafo. Grazie alla connessione NVLink®-C2C da 900 GB/s fra CPU e GPU, Grace Hopper è in grado di offrire trasferimenti di dati e query 7 volte più veloci rispetto a PCIe Gen 5. Il livello software delle piattaforme comprende la suite di software NVIDIA AI Enterprise, che include NVIDIA TensorRTo, un kit di sviluppo software per l'inferenza di apprendimento profondo ad alte prestazioni, e NVIDIA Triton Inference Servero, un software di inferenza open-source che aiuta a standardizzare la distribuzione dei modelli.