I piani di formazione flessibili facilitano il rispetto dei tempi e dei budget di formazione: Sebbene le innovazioni dell'infrastruttura aiutino a ridurre i costi e consentano ai clienti di formare i modelli in modo più efficiente, i clienti devono comunque pianificare e gestire la capacità di calcolo necessaria per completare le attività di formazione in tempo e nel rispetto del budget. Ecco perché AWS sta lanciando piani di formazione flessibili per SageMaker HyperPod. In pochi clic, i clienti possono specificare il loro budget, la data di completamento desiderata e la quantità massima di risorse di calcolo di cui hanno bisogno.

SageMaker HyperPod riserva quindi automaticamente la capacità, imposta i cluster e crea i lavori di formazione dei modelli, risparmiando ai team settimane di tempo per la formazione dei modelli. Questo riduce l'incertezza che i clienti devono affrontare quando cercano di acquisire grandi cluster di calcolo per completare le attività di sviluppo dei modelli. Nei casi in cui il piano di formazione proposto non soddisfa i requisiti di tempo, budget o calcolo specificati, SageMaker HyperPod suggerisce piani alternativi, come l'estensione dell'intervallo di date, l'aggiunta di altri calcoli o la conduzione della formazione in una regione AWS diversa, come opzione successiva migliore.

Una volta approvato il piano, SageMaker provvede automaticamente al provisioning dell'infrastruttura e all'esecuzione dei lavori di formazione. SageMaker utilizza i blocchi di capacità di Amazon Elastic Compute Cloud (EC2) per riservare la giusta quantità di istanze di calcolo accelerato necessarie per completare il lavoro di formazione in tempo. Mettendo in pausa e riprendendo in modo efficiente i lavori di formazione in base alla disponibilità di questi blocchi di capacità, SageMaker HyperPod aiuta a garantire che i clienti abbiano accesso alle risorse di calcolo necessarie per completare il lavoro in tempo, il tutto senza interventi manuali.

Hippocratic AI sviluppa grandi modelli linguistici (LLM) incentrati sulla sicurezza per l'assistenza sanitaria. Per addestrare diversi dei suoi modelli, Hippocratic AI ha utilizzato i piani di formazione flessibili di SageMaker HyperPod per accedere alle risorse di calcolo accelerate di cui aveva bisogno per completare i compiti di formazione in tempo. Questo li ha aiutati ad accelerare di 4 volte la velocità di addestramento dei loro modelli e a scalare in modo più efficiente la loro soluzione per accogliere centinaia di casi d'uso.

Gli sviluppatori e i data scientist di OpenBabylon, un'azienda di AI che personalizza gli LLM per le lingue poco rappresentate, hanno utilizzato i piani di formazione flessibili di SageMaker HyperPod per ottimizzare l'accesso alle risorse GPU per eseguire esperimenti su larga scala. Utilizzando SageMaker HyperPod, hanno condotto 100 esperimenti di addestramento del modello su larga scala che hanno permesso di costruire un modello che ha ottenuto risultati nella traduzione dall'inglese all'ucraino. Grazie a SageMaker HyperPod, OpenBabylon è stata in grado di raggiungere questa svolta nei tempi previsti, gestendo efficacemente i costi.

La governance dei task massimizza l'utilizzo dell'acceleratore: Sempre più spesso, le organizzazioni mettono a disposizione grandi quantità di capacità di calcolo accelerato per la formazione dei modelli. Queste risorse di calcolo coinvolte sono costose e limitate, quindi i clienti hanno bisogno di un modo per governare l'uso, per garantire che le risorse di calcolo siano prioritarie per i compiti di sviluppo dei modelli più critici, evitando anche qualsiasi spreco o sottoutilizzo. Senza controlli adeguati sulla prioritizzazione dei compiti e sull'allocazione delle risorse, alcuni progetti finiscono per bloccarsi per mancanza di risorse, mentre altri lasciano le risorse sottoutilizzate.

Questo crea un onere significativo per gli amministratori, che devono costantemente ripianificare l'allocazione delle risorse, mentre i data scientist faticano a fare progressi. Questo impedisce alle organizzazioni di portare rapidamente le innovazioni AI sul mercato e porta a un superamento dei costi. Con la task governance di SageMaker HyperPod, i clienti possono massimizzare l'utilizzo dell'acceleratore per l'addestramento del modello, la messa a punto e l'inferenza, riducendo i costi di sviluppo del modello fino al 40%.

Con pochi clic, i clienti possono facilmente definire le priorità per i diversi compiti e impostare i limiti per le risorse di calcolo che ogni team o progetto può utilizzare. Una volta impostati i limiti tra i diversi team e progetti, SageMaker HyperPod assegnerà le risorse pertinenti, gestendo automaticamente la coda di attività per garantire che il lavoro più critico sia prioritario. Ad esempio, se un cliente ha bisogno urgentemente di più calcolo per un'attività di inferenza che alimenta un servizio rivolto ai clienti, ma tutte le risorse di calcolo sono utilizzate, SageMaker HyperPod libererà automaticamente le risorse di calcolo sottoutilizzate, o quelle assegnate a compiti non urgenti, per assicurarsi che l'attività di inferenza urgente riceva le risorse necessarie.

Quando ciò accade, SageMaker HyperPod mette automaticamente in pausa le attività non urgenti, salva il checkpoint in modo che tutto il lavoro completato sia intatto e riprende automaticamente l'attività dall'ultimo checkpoint salvato una volta che sono disponibili più risorse, assicurando che i clienti sfruttino al massimo il loro calcolo. Come startup in rapida crescita che aiuta le imprese a costruire le proprie applicazioni di AI generativa, Articul8 AI deve ottimizzare costantemente il suo ambiente di calcolo per allocare le risorse nel modo più efficiente possibile. Utilizzando la nuova funzionalità di task governance di SageMaker HyperPod, l'azienda ha registrato un miglioramento significativo nell'utilizzo della GPU, con conseguente riduzione dei tempi morti e accelerazione dello sviluppo del modello end-to-end.

La capacità di spostare automaticamente le risorse verso le attività ad alta priorità ha aumentato la produttività del team, consentendo loro di portare più rapidamente sul mercato le nuove innovazioni di IA generativa. Accelerare lo sviluppo e l'implementazione di modelli utilizzando le applicazioni AI più diffuse dei partner AWS all'interno di SageMakerMolti clienti utilizzano gli strumenti di sviluppo di modelli AI e ML generativi migliori della categoria insieme a SageMaker AI per svolgere attività specializzate, come il monitoraggio e la gestione degli esperimenti, la valutazione della qualità dei modelli, il monitoraggio delle prestazioni e la messa in sicurezza di un'applicazione AI. Tuttavia, l'integrazione delle applicazioni AI più diffuse nel flusso di lavoro di un team è un processo che richiede molto tempo e in più fasi.

Questo include la ricerca della soluzione giusta, l'esecuzione di valutazioni di sicurezza e conformità, il monitoraggio dell'accesso ai dati attraverso più strumenti, il provisioning e la gestione dell'infrastruttura necessaria, la creazione di integrazioni di dati e la verifica dell'aderenza ai requisiti di governance. Ora, AWS sta rendendo più facile per i clienti combinare la potenza delle app AI specializzate con le funzionalità gestite e la sicurezza di Amazon SageMaker. Questa nuova funzionalità elimina l'attrito e il lavoro pesante per i clienti, semplificando la scoperta, la distribuzione e l'utilizzo delle migliori applicazioni di sviluppo generativo AI e ML dei partner leader, tra cui Comet, Deepchecks, Fiddler e Lakera Guard, direttamente all'interno di SageMaker.