New Relic ha annunciato l'integrazione della sua piattaforma con i microservizi di inferenza NVIDIA NIM per ridurre la complessità e i costi dello sviluppo, della distribuzione e del monitoraggio delle applicazioni di AI generativa (GenAI). Ora i clienti possono utilizzare il monitoraggio di New Relic AI per ottenere un'ampia visibilità su tutto lo stack AI per le applicazioni costruite con NVIDIA NIM, il tutto con una configurazione semplificata e una maggiore sicurezza dei dati. Questo integra le solide funzionalità di sicurezza e la facilità d'uso dei modelli self-hosted di NVIDIA NIM, che accelerano la consegna delle applicazioni di AI generativa.

Insieme, New Relic integrato con NVIDIA NIM può aiutare i clienti ad adottare l'AI più rapidamente e a ottenere un ROI più rapido. Le organizzazioni stanno adottando rapidamente l'AI generativa per migliorare le esperienze digitali, aumentare la produttività e incrementare il fatturato. Gartner prevede che oltre l'80% delle aziende utilizzerà l'AI generativa o distribuirà applicazioni di AI generativa entro il 2026.

Un'implementazione rapida e un ROI più veloce sono fondamentali per le organizzazioni per ottenere un vantaggio sul mercato e l'osservabilità è la chiave. Offre una visione ampia e in tempo reale dello stack di applicazioni AI - attraverso i servizi, l'infrastruttura e il livello AI - per garantire un funzionamento efficiente, affidabile ed economico. New Relic sblocca un ROI più rapido per le applicazioni AI costruite con NVIDIA NIM.

Le applicazioni AI possono semplificare gli stack tecnologici, aumentare i problemi di sicurezza ed essere proibitive dal punto di vista dei costi. Il monitoraggio di New Relic AI offre un'ampia visione dello stack AI, insieme a metriche chiave su throughput, latenza e costi, garantendo al contempo la privacy dei dati. Inoltre, traccia i flussi di richieste tra i servizi e i modelli per comprendere il funzionamento interno delle app AI.

New Relic estende il suo monitoraggio approfondito a NVIDIA NIM, supportando un'ampia gamma di modelli AI, fra cui Databricks DBRX, Gemma di Google, Llama 3 di Meta, Phi-3 di Microsoft, Mistral Large e Mixtral 8x22B e Arctic di Snowflake. Questo aiuta le organizzazioni a distribuire con sicurezza le applicazioni di AI costruite con NVIDIA NIM, ad accelerare il time-to-market e a migliorare il ROI. Le caratteristiche e i casi d'uso principali del monitoraggio dell'AI includono: Visibilità completa dello stack AI: Individuazione dei problemi più rapida grazie a una vista su tutte le app, l'infrastruttura basata su GPU NVIDIA, il livello AI, la qualità delle risposte, il conteggio dei token e i segnali d'oro dell'APM.

Approfondimenti sulle tracce per ogni risposta: Risolvere i problemi di performance e di qualità, come distorsioni, tossicità e allucinazioni, tracciando il ciclo di vita delle risposte dell'AI. Inventario dei modelli: Isolare facilmente i problemi di prestazioni, errori e costi legati ai modelli, tracciando le metriche chiave dei microservizi di inferenza NVIDIA NIM in un unico posto. Confronto dei modelli: Confronta le prestazioni dei microservizi di inferenza NVIDIA NIM in esecuzione in produzione in un'unica vista per ottimizzare la scelta dei modelli in base alle esigenze dell'infrastruttura e degli utenti.

Approfondimenti sulle GPU: Analizzare le metriche critiche del calcolo accelerato come l'utilizzo della GPU, la temperatura e gli stati delle prestazioni; comprendere il contesto e risolvere i problemi più rapidamente. Maggiore sicurezza dei dati: Oltre al vantaggio della sicurezza del modello self-hosted di NVIDIA, New Relic permette di escludere il monitoraggio dei dati sensibili (PII) nelle richieste e nelle risposte di AI. New Relic approfondisce il suo ecosistema di integrazione con 60+ AI con NVIDIA Questa integrazione segue la recente aggiunta di New Relic all'ecosistema di partner AIOps di NVIDIA.

Sfruttando l'elaborazione accelerata di NVIDIA AI, New Relic combina l'osservabilità e l'AI per semplificare le operazioni IT e accelerare l'innovazione attraverso l'apprendimento automatico e l'assistente AI generativo, New Relic AI. New Relic offre la soluzione di osservabilità più ampia con oltre 60 integrazioni di AI, tra cui le GPU NVIDIA e il software NVIDIA Tritonference Server. Il monitoraggio di New Relic AI è disponibile come parte della sua piattaforma di osservabilità all-in-one e offerto tramite il suo modello di prezzo basato sull'uso.