Innodata Inc. ha annunciato di aver rilasciato un Toolkit di valutazione LLM open-source, insieme a un repository di 14 set di dati di valutazione semisintetici e creati dall'uomo, che le aziende possono utilizzare per valutare la sicurezza dei loro Large Language Models (LLM) nel contesto delle attività aziendali. Utilizzando il toolkit e i set di dati, i data scientist possono testare automaticamente la sicurezza degli LLM sottostanti su più categorie di danni contemporaneamente. Identificando le condizioni precise di input che generano output problematici, gli sviluppatori possono capire come i loro sistemi AI rispondono a una varietà di richieste e possono identificare la messa a punto correttiva necessaria per allineare i sistemi ai risultati desiderati.

Innodata incoraggia gli sviluppatori di LLM aziendali a iniziare a utilizzare il toolkit e i set di dati pubblicati così come sono. Innodata prevede che una versione commerciale del toolkit e set di dati di benchmarking più ampi e continuamente aggiornati saranno disponibili nel corso dell'anno. Insieme al rilascio del toolkit e dei set di dati, Innodata ha pubblicato la ricerca di base sui suoi metodi di benchmarking della sicurezza LLM.

Nel documento, Innodata condivide i risultati riproducibili ottenuti utilizzando il toolkit per effettuare il benchmark di Llama2, Mistral, Gemma e GPT per quanto riguarda la fattualità, la tossicità, la parzialità e la propensione all'allucinazione.