12 luglio - Il produttore di ChatGPT OpenAI sta lavorando su un nuovo approccio ai suoi modelli di intelligenza artificiale in un progetto con il nome in codice Strawberry, secondo una persona che ha familiarità con la questione e la documentazione interna esaminata da Reuters.

Il progetto, i cui dettagli non sono stati riferiti in precedenza, arriva mentre la startup sostenuta da Microsoft è in corsa per dimostrare che i tipi di modelli che offre sono in grado di fornire capacità di ragionamento avanzate.

I team all'interno di OpenAI stanno lavorando su Strawberry, secondo una copia di un recente documento interno di OpenAI visto da Reuters a maggio. Reuters non ha potuto accertare la data precisa del documento, che illustra un piano su come OpenAI intende utilizzare Strawberry per effettuare ricerche. La fonte ha descritto il piano a Reuters come un lavoro in corso. L'agenzia di stampa non ha potuto stabilire quanto Strawberry sia vicino ad essere disponibile al pubblico.

Il funzionamento di Strawberry è un segreto strettamente custodito anche all'interno di OpenAI, ha detto la persona.

Il documento descrive un progetto che utilizza i modelli Strawberry con l'obiettivo di consentire all'AI dell'azienda di non limitarsi a generare risposte alle domande, ma di pianificare in anticipo per navigare in Internet in modo autonomo e affidabile, per eseguire ciò che OpenAI definisce ricerca profonda, secondo la fonte.

Si tratta di un aspetto che finora è sfuggito ai modelli di AI, secondo le interviste con più di una dozzina di ricercatori di AI.

Alla domanda su Strawberry e sui dettagli riportati in questa storia, un portavoce dell'azienda OpenAI ha risposto in un comunicato: Vogliamo che i nostri modelli di IA vedano e capiscano il mondo come lo vediamo noi. La ricerca continua di nuove capacità di AI è una pratica comune nel settore, con la convinzione condivisa che questi sistemi miglioreranno il ragionamento nel tempo.

Il portavoce non ha risposto direttamente alle domande su Strawberry.

Il progetto Strawberry era precedentemente noto come Q*, che secondo Reuters l'anno scorso era già visto all'interno dell'azienda come una svolta.

Due fonti hanno descritto di aver visto all'inizio di quest'anno ciò che i collaboratori di OpenAI hanno detto loro essere demo di Q*, in grado di rispondere a domande scientifiche e matematiche complicate, al di fuori della portata degli attuali modelli disponibili in commercio.

Martedì scorso, in occasione di una riunione interna di tutti i dipendenti, OpenAI ha mostrato una demo di un progetto di ricerca che sosteneva di avere nuove capacità di ragionamento simili a quelle umane, secondo Bloomberg. Un portavoce di OpenAI ha confermato la riunione, ma ha rifiutato di fornire dettagli sui contenuti. Reuters non ha potuto determinare se il progetto dimostrato fosse Strawberry.

OpenAI spera che l'innovazione migliori drasticamente le capacità di ragionamento dei suoi modelli AI, ha detto la persona che ne è a conoscenza, aggiungendo che Strawberry comporta un modo specializzato di elaborare un modello AI dopo che è stato pre-addestrato su serie di dati molto grandi.

I ricercatori intervistati da Reuters affermano che il ragionamento è la chiave per far sì che l'AI raggiunga un'intelligenza di livello umano o superumano.

Sebbene i modelli linguistici di grandi dimensioni siano già in grado di riassumere testi densi e di comporre una prosa elegante molto più rapidamente di qualsiasi essere umano, la tecnologia spesso non è all'altezza di problemi di buon senso le cui soluzioni sembrano intuitive per le persone, come riconoscere le fallacie logiche e giocare a tris. Quando il modello incontra questo tipo di problemi, spesso ha un'allucinazione di informazioni false.

I ricercatori di AI intervistati da Reuters sono generalmente d'accordo sul fatto che il ragionamento, nel contesto dell'AI, implica la formazione di un modello che consenta all'AI di pianificare in anticipo, di riflettere il funzionamento del mondo fisico e di risolvere in modo affidabile problemi impegnativi in più fasi.

Il miglioramento del ragionamento nei modelli di AI è considerato la chiave per sbloccare la capacità dei modelli di fare tutto, dalle scoperte scientifiche più importanti alla pianificazione e alla costruzione di nuove applicazioni software. Il CEO di OpenAI, Sam Altman, ha dichiarato all'inizio di quest'anno che nell'AI le aree di progresso più importanti riguarderanno la capacità di ragionamento.

Anche altre aziende come Google, Meta e Microsoft stanno sperimentando diverse tecniche per migliorare il ragionamento nei modelli di AI, così come la maggior parte dei laboratori accademici che effettuano ricerche sull'AI. I ricercatori differiscono, tuttavia, sul fatto che i modelli linguistici di grandi dimensioni (LLM) siano in grado di incorporare le idee e la pianificazione a lungo termine nel loro modo di fare previsioni. Per esempio, uno dei pionieri dell'AI moderna, Yann LeCun, che lavora presso Meta, ha spesso affermato che gli LLM non sono in grado di ragionare come gli esseri umani.

SFIDE DELL'AI

Strawberry è un componente chiave del piano di OpenAI per superare queste sfide, ha detto la fonte che ha familiarità con la questione. Il documento visionato da Reuters descrive ciò che Strawberry intende abilitare, ma non come.

Negli ultimi mesi, l'azienda ha segnalato privatamente agli sviluppatori e ad altre parti esterne di essere sul punto di rilasciare una tecnologia con capacità di ragionamento significativamente più avanzate, secondo quattro persone che hanno sentito i discorsi dell'azienda. Hanno rifiutato di essere identificate perché non sono autorizzate a parlare di questioni private.

Strawberry include un metodo specializzato di quello che è noto come post-training dei modelli generativi di AI di OpenAIs, ovvero l'adattamento dei modelli di base per affinare le loro prestazioni in modi specifici, dopo che sono già stati addestrati su risme di dati generalizzati, ha detto una delle fonti.

La fase post-addestramento dello sviluppo di un modello implica metodi come la messa a punto, un processo utilizzato su quasi tutti i modelli linguistici di oggi, che si presenta in molti modi, ad esempio facendo in modo che gli esseri umani diano un feedback al modello in base alle sue risposte e fornendogli esempi di risposte buone e cattive.

Strawberry ha delle somiglianze con un metodo sviluppato a Stanford nel 2022 chiamato "Self-Taught Reasoner o STaR", ha detto una delle fonti a conoscenza della questione. STaR consente ai modelli di intelligenza artificiale di avviarsi verso livelli di intelligenza più elevati attraverso la creazione iterativa dei propri dati di addestramento e, in teoria, potrebbe essere utilizzato per far sì che i modelli linguistici trascendano l'intelligenza di livello umano, ha dichiarato a Reuters uno dei suoi creatori, il professore di Stanford Noah Goodman.

Penso che sia allo stesso tempo eccitante e terrificante, se le cose continueranno ad andare in questa direzione, dovremo pensare a qualcosa di serio come esseri umani", ha detto Goodman. Goodman non è affiliato a OpenAI e non conosce Strawberry.

Tra le capacità a cui OpenAI punta Strawberry c'è l'esecuzione di compiti a lungo orizzonte (LHT), si legge nel documento, riferendosi a compiti complessi che richiedono a un modello di pianificare in anticipo ed eseguire una serie di azioni in un periodo di tempo prolungato, ha spiegato la prima fonte.

Per fare ciò, OpenAI sta creando, addestrando e valutando i modelli su quello che l'azienda chiama un set di dati di ricerca profonda, secondo la documentazione interna di OpenAI. Reuters non è stata in grado di determinare cosa contiene questo set di dati o quanto tempo significherebbe un periodo prolungato.

OpenAI vuole specificamente che i suoi modelli utilizzino queste capacità per condurre ricerche navigando sul web in modo autonomo con l'assistenza di un CUA, o agente che utilizza il computer, che può intraprendere azioni basate sulle sue scoperte, secondo il documento e una delle fonti. OpenAI prevede anche di testare le sue capacità di svolgere il lavoro di ingegneri di software e di apprendimento automatico. (Relazioni di Anna Tong a San Francisco e Katie Paul a New York; redazione di Ken Li e Claudia Parsons)