New Relic ha annunciato che New Relic AI monitoring (AIM), una delle prime soluzioni APM del settore per le applicazioni AI, è ora integrata con Amazon Bedrock, un servizio completamente gestito da Amazon Web Services, Inc. (AWS) che rende accessibili i modelli di fondazione (FM) delle principali aziende AI tramite un'API per costruire e scalare applicazioni AI generative. I clienti di AWS possono ora utilizzare New Relic per ottenere maggiore visibilità e approfondimenti su tutto lo stack AI, rendendo più facile la risoluzione dei problemi e l'ottimizzazione delle applicazioni in termini di prestazioni, qualità e costi. Se da un lato l'AI sta rivoluzionando le applicazioni moderne, dall'altro introduce nuove sfide e complessità negli stack tecnologici delle organizzazioni. Gli stack tecnologici di AI includono nuovi componenti come i modelli linguistici di grandi dimensioni (LLM) e gli archivi di dati vettoriali e generano telemetria aggiuntiva da monitorare, come la qualità e il costo. AIM risolve queste nuove sfide portando l'APM nello stack AI. Analogamente a come gli ingegneri monitorano il loro stack di applicazioni con New Relic APM, AIM offre agli ingegneri una visibilità completa su tutti i componenti dello stack AI. AIM offre un'unica vista facile per risolvere i problemi, confrontare e ottimizzare diversi prompt e risposte LLM per le prestazioni, il costo e i token, e i problemi di qualità, tra cui allucinazioni, parzialità, tossicità e correttezza in tutti i modelli supportati da Amazon Bedrock. AIM si integra con Amazon Bedrock per fornire un'osservabilità end-to-end approfondita. Con le integrazioni integrate di AIM, come Langchain, i clienti di Amazon Bedrock possono ottenere metriche e tracciati lungo tutto il ciclo di vita dei prompt e delle risposte LLM, dai prompt grezzi alle risposte riparate e conformi al business. Le caratteristiche chiave e i casi d'uso includono: Strumentazione automatica: Gli agenti New Relic sono dotati di tutte le funzionalità AIM, compresa la visibilità completa dello stack AI, il tracciamento delle risposte, il confronto dei modelli e altro ancora, per una configurazione rapida e semplice. Visibilità completa dello stack AI: visione olistica dell'applicazione, dell'infrastruttura e del livello AI, comprese le metriche AI come la qualità della risposta e i token, oltre ai segnali d'oro APM. Approfondimenti di tracciamento per ogni risposta LLM: Traccia il ciclo di vita di risposte LLM complesse costruite con strumenti come LangChain per risolvere i problemi di performance e di qualità, come pregiudizi, tossicità e allucinazioni. Confrontare le prestazioni e i costi: Traccia l'uso, le prestazioni, la qualità e i costi di tutti i modelli in un'unica vista; ottimizza l'uso con approfondimenti sui prompt più frequenti, sulla catena di pensiero e sui modelli di prompt e cache. Consentire un uso responsabile dell'IA: garantire un uso sicuro e responsabile dell'IA verificando che le risposte siano etichettate in modo appropriato per indicare che sono generate dall'IA e siano prive di pregiudizi, tossicità e allucinazioni, grazie agli approfondimenti sulla traccia delle risposte. Monitorare istantaneamente il suo ecosistema AI: La soluzione più completa per il monitoraggio dell'intero stack di qualsiasi ecosistema di IA, con oltre 50 integrazioni e quickstart, tra cui: Framework di orchestrazione: Langchain. Database vettoriali: Pinecone, Weaviate, Milvus, FAISS, Zilliz.
LLM: Amazon Bedrock (modelli di AI21 Labs, Amazon, Anthropic e Cohere). Infrastruttura AI: Amazon SageMaker. New Relic AIM si basa sulla profonda relazione di New Relic con AWS e si aggiunge alle oltre 95 integrazioni AWS esistenti. AIM è ora disponibile in accesso anticipato per gli utenti di New Relic e AWS in tutto il mondo. Gli utenti possono registrarsi qui per richiedere l'accesso anticipato, che è incluso come parte dei prezzi semplificati e basati sul consumo di New Relic.