Fastly, Inc. ha annunciato il lancio di Fastly AI Accelerator, la prima soluzione AI dell'azienda progettata per creare un'esperienza migliore per gli sviluppatori, aiutando a migliorare le prestazioni e a ridurre i costi attraverso l'uso di prompt simili per le app con modelli linguistici di grandi dimensioni (LLM). Fastly AI Accelerator è progettato per ridurre le chiamate API e i costi con un caching intelligente e semantico. Costruito sulla piattaforma Edge Cloud di Fastly e sfruttando la tecnologia di caching leader del settore, AI Accelerator utilizza un gateway API specializzato per migliorare drasticamente le prestazioni delle applicazioni che utilizzano i più diffusi LLM, iniziando con ChatGPT ed espandendo il supporto ad altri modelli.

Le applicazioni AI più diffuse possono elaborare centinaia di migliaia di chiamate API o domande al giorno. Molte delle domande poste dagli utenti sono probabilmente molto simili e possono essere già state poste in precedenza. Senza la cache semantica, ogni chiamata all'LLM richiede di tornare al fornitore per ottenere le informazioni, aumentando potenzialmente i costi e la latenza.

Tuttavia, il caching semantico di Fastly AI Accelerator fornisce una risposta in cache per le domande ripetute direttamente dalla piattaforma edge ad alte prestazioni di Fastly, invece di tornare al provider di AI, contribuendo a offrire un'esperienza migliore migliorando le prestazioni e riducendo i costi. Quando si utilizza Fastly AI Accelerator, gli sviluppatori devono solo aggiornare la loro applicazione per utilizzare un nuovo endpoint API, che in genere richiede la modifica di una sola riga di codice. Fastly AI Accelerator implementerà in modo trasparente il caching semantico per le API compatibili con OpenAI.

Questo approccio va oltre il caching tradizionale, in quanto Fastly AI Accelerator è in grado di comprendere il contesto delle richieste e delle interrogazioni e invierà una risposta simile se due o più richieste sono simili. Per aiutare gli sviluppatori a costruire esperienze più veloci, più sicure e più coinvolgenti, Fastly sta anche rendendo ancora più facile per gli sviluppatori provare Fastly con un livello di account gratuito ampliato che aiuta i coder a impostare un nuovo sito, creare una nuova app o lanciare un nuovo servizio in pochi minuti. Gli account di livello gratuito includono anche l'accesso alla Content Delivery Network (CDN) di Fastly, generose allocazioni di memoria e storage, reindirizzamenti senza limiti, regole di pagina ed espressioni regolari.

Inoltre, il livello gratuito di Fastly include funzioni di sicurezza come TLS e mitigazione DDoS sempre attiva, strumenti di osservabilità e molto altro ancora.