New Relic ha lanciato New Relic AI monitoring (AIM), la prima soluzione APM del settore per applicazioni alimentate dall'AI. New Relic è pioniere dell'osservabilità dell'AI con AIM, per fornire agli ingegneri una visibilità e degli approfondimenti senza precedenti su tutto lo stack di applicazioni AI, rendendo più facile la risoluzione dei problemi e l'ottimizzazione delle applicazioni AI per quanto riguarda le prestazioni, la qualità, i costi e l'uso responsabile dell'AI. Con oltre 50 integrazioni e funzioni come il tracciamento delle risposte LLM e il confronto dei modelli, AIM aiuta i team a costruire ed eseguire applicazioni basate su LLM con fiducia.

Le applicazioni basate sull'AI introducono una nuova complessità nelle organizzazioni. I componenti AI come i modelli linguistici di grandi dimensioni (LLM) e i database vettoriali sono spesso una scatola nera per gli ingegneri, con il potenziale di fornire risultati imprecisi e distorti, introdurre problemi di sicurezza e generare grandi volumi di dati telemetrici che devono essere monitorati e analizzati. AIM risolve questo problema fornendo l'osservabilità end-to-end a qualsiasi applicazione alimentata dall'AI.

Gli ingegneri possono accedere a un'unica vista per risolvere i problemi, confrontare e ottimizzare le diverse richieste e risposte di LLM per quanto riguarda le prestazioni, i costi, la sicurezza e i problemi di qualità, tra cui le allucinazioni, i pregiudizi, la tossicità e l'equità. Il compromesso è che l'AI crea complessità nel loro stack tecnologico e deve essere adottata in modo responsabile, con sicurezza, qualità, conformità e costi in primo piano. L'applicazione dell'osservabilità alle applicazioni AI è un modo intelligente ed efficiente per affrontare queste complessità, in modo che le aziende possano scalare e guidare l'innovazione.

Qualsiasi azienda che fornisca queste soluzioni, in ultima analisi, consente alle organizzazioni di offrire prodotti ed esperienze dei clienti migliori. Le caratteristiche e i casi d'uso principali includono: Strumentazione automatica: Gli agenti New Relic sono dotati di tutte le funzionalità AIM, compresa la visibilità completa dello stack AI, il tracciamento delle risposte, il confronto dei modelli e altro ancora, per una configurazione rapida e semplice. Visibilità completa dello stack AI: visione olistica dell'applicazione, dell'infrastruttura e del livello AI, comprese le metriche AI come la qualità della risposta e i token, oltre ai segnali d'oro APM.

Monitoraggio istantaneo del suo ecosistema AI: La soluzione più completa per monitorare l'intero stack di qualsiasi ecosistema AI, con oltre 50 integrazioni e quickstart inclusi: Framework di orchestrazione: LangChain, LLM: OpenAI, PaLM2, HuggingFace, librerie di apprendimento automatico: Pytorch, TensorFlow, Model serving: Amazon SageMaker, AzureML, Database vettoriali: Pinecone, Weaviate, Milvus, FAISS, Infrastruttura AI: Azure, AWS, GCP. AIM è ora disponibile in accesso anticipato per gli utenti di New Relic in tutto il mondo. Gli utenti possono registrarsi qui per richiedere l'accesso anticipato, che è incluso come parte dei prezzi semplificati e basati sul consumo di New Relic.