Il gruppo di benchmarking dell'intelligenza artificiale MLCommons ha pubblicato mercoledì una nuova serie di test e risultati che valutano la velocità con cui l'hardware top di gamma può eseguire le applicazioni AI e rispondere agli utenti.

I due nuovi benchmark aggiunti da MLCommons misurano la velocità con cui i chip e i sistemi di AI possono generare risposte dai potenti modelli di AI ricchi di dati. I risultati dimostrano approssimativamente la velocità con cui un'applicazione AI come ChatGPT può fornire una risposta a una domanda dell'utente.

Uno dei nuovi benchmark ha aggiunto la capacità di misurare la velocità di uno scenario di domande e risposte per modelli linguistici di grandi dimensioni. Chiamato Llama 2, include 70 miliardi di parametri ed è stato sviluppato da Meta Platforms.

I funzionari di MLCommons hanno anche aggiunto un secondo generatore di testo-immagine alla suite di strumenti di benchmarking, chiamato MLPerf, basato sul modello Stable Diffusion XL di Stability AI.

I server alimentati dai chip H100 di Nvidia, costruiti da aziende del calibro di Google di Alphabet, Supermicro e la stessa Nvidia, hanno vinto con successo entrambi i nuovi benchmark sulle prestazioni grezze. Diversi costruttori di server hanno presentato progetti basati sul meno potente chip L40S dell'azienda.

Il costruttore di server Krai ha presentato un progetto per il benchmark di generazione di immagini con un chip AI di Qualcomm che assorbe una quantità di energia notevolmente inferiore rispetto ai processori all'avanguardia di Nvidia.

Anche Intel ha presentato un progetto basato sui suoi chip acceleratori Gaudi2. L'azienda ha descritto i risultati come "solidi".

Le prestazioni grezze non sono l'unica misura critica per l'implementazione delle applicazioni AI. I chip AI avanzati consumano enormi quantità di energia e una delle sfide più importanti per le aziende di AI è l'implementazione di chip che offrano una quantità ottimale di prestazioni con una quantità minima di energia.

MLCommons ha una categoria di benchmark separata per misurare il consumo energetico. (Relazioni di Max A. Cherney a San Francisco; Redazione di Jamie Freed)