Avevano un problema spinoso: nonostante gli investimenti di alto profilo nella ricerca sull'AI, il gigante dei social media era stato lento nell'adottare sistemi hardware e software costosi e compatibili con l'AI per la sua attività principale, ostacolando la sua capacità di tenere il passo con l'innovazione su scala, anche se si affidava sempre più all'AI per sostenere la sua crescita, secondo il promemoria, le dichiarazioni dell'azienda e le interviste con 12 persone che hanno avuto familiarità con i cambiamenti, che hanno parlato a condizione di anonimato per discutere questioni interne all'azienda.

"Abbiamo una lacuna significativa nei nostri strumenti, flussi di lavoro e processi quando si tratta di sviluppare per l'AI. Dobbiamo investire molto in questo ambito", si legge nel promemoria, scritto dal nuovo responsabile delle infrastrutture Santosh Janardhan, che è stato pubblicato sulla bacheca interna di Meta a settembre e che viene riportato ora per la prima volta.

Sostenere il lavoro dell'AI richiederebbe a Meta di "cambiare radicalmente il design della nostra infrastruttura fisica, i nostri sistemi software e il nostro approccio per fornire una piattaforma stabile", ha aggiunto.

Per più di un anno, Meta è stata impegnata in un progetto massiccio per mettere a punto la sua infrastruttura AI. Sebbene l'azienda abbia ammesso pubblicamente di aver "giocato un po' di anticipo" sulle tendenze dell'hardware AI, i dettagli della revisione - tra cui la riduzione della capacità, i cambiamenti di leadership e un progetto di chip AI abbandonato - non sono stati riportati in precedenza.

Interpellato sul memo e sulla ristrutturazione, il portavoce di Meta Jon Carvill ha detto che l'azienda "ha una comprovata esperienza nella creazione e nell'implementazione di infrastrutture all'avanguardia su scala, combinata con una profonda esperienza nella ricerca e nell'ingegneria dell'AI".

"Siamo fiduciosi nella nostra capacità di continuare ad espandere le capacità della nostra infrastruttura per soddisfare le nostre esigenze a breve e lungo termine, mentre portiamo nuove esperienze basate sull'AI nella nostra famiglia di app e prodotti di consumo", ha detto Carvill. Non ha voluto commentare se Meta abbia abbandonato il suo chip AI.

Janardhan e altri dirigenti non hanno risposto alle richieste di interviste fatte tramite l'azienda.

La revisione ha fatto impennare le spese di capitale di Meta di circa 4 miliardi di dollari a trimestre, secondo le dichiarazioni dell'azienda - quasi il doppio della sua spesa a partire dal 2021 - e l'ha portata a sospendere o cancellare la costruzione di centri dati precedentemente pianificati in quattro località.

Grafico: Aumento del capex di Meta - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/dwvkdldgkpm/chart.png

Questi investimenti hanno coinciso con un periodo di forte contrazione finanziaria per Meta, che da novembre sta licenziando dipendenti ad un ritmo che non si vedeva dai tempi della crisi delle dotcom.

Nel frattempo, ChatGPT di OpenAI, sostenuta da Microsoft, ha registrato un'impennata diventando l'applicazione consumer con la crescita più rapida nella storia dopo il suo debutto del 30 novembre, innescando una corsa agli armamenti tra i giganti tecnologici per rilasciare prodotti che utilizzano la cosiddetta AI generativa, che, oltre a riconoscere schemi nei dati come altre AI, crea contenuti scritti e visivi simili a quelli umani in risposta a richieste.

L'Intelligenza Artificiale Generativa assorbe risme di potenza di calcolo, amplificando l'urgenza della corsa alla capacità di Meta, hanno detto cinque delle fonti.

IN RITARDO

Una fonte chiave dei problemi, hanno detto le cinque fonti, può essere ricondotta all'adozione tardiva da parte di Meta dell'unità di elaborazione grafica, o GPU, per il lavoro dell'AI.

I chip GPU sono particolarmente adatti all'elaborazione dell'intelligenza artificiale perché possono eseguire un gran numero di compiti simultaneamente, riducendo il tempo necessario per elaborare miliardi di dati.

Tuttavia, le GPU sono anche più costose di altri chip, con il chipmaker Nvidia Corp che controlla l'80% del mercato e mantiene un vantaggio dominante sul software di accompagnamento, hanno detto le fonti.

Nvidia non ha risposto a una richiesta di commento per questa storia.

Invece, fino all'anno scorso, Meta gestiva in gran parte i carichi di lavoro AI utilizzando la flotta di unità di elaborazione centrale (CPU) commodity dell'azienda, il chip cavallo di battaglia del mondo dell'informatica, che ha riempito i data center per decenni, ma che svolge male il lavoro AI.

Secondo due di queste fonti, l'azienda ha anche iniziato a utilizzare il proprio chip personalizzato progettato internamente per l'inferenza, un processo di AI in cui gli algoritmi addestrati su enormi quantità di dati emettono giudizi e generano risposte a richieste.

Entro il 2021, questo approccio a due punte si è rivelato più lento e meno efficiente di quello costruito attorno alle GPU, che erano anche più flessibili nell'esecuzione di diversi tipi di modelli rispetto al chip di Meta, hanno detto le due persone.

Meta ha rifiutato di commentare le prestazioni del suo chip AI.

Mentre Zuckerberg ha orientato l'azienda verso il metaverso - un insieme di mondi digitali abilitati dalla realtà aumentata e virtuale - la sua carenza di capacità stava rallentando la sua capacità di impiegare l'AI per rispondere alle minacce, come l'ascesa del rivale dei social media TikTok e le modifiche alla privacy degli annunci guidate da Apple, hanno detto quattro delle fonti.

Gli inciampi hanno attirato l'attenzione dell'ex membro del consiglio di amministrazione di Meta, Peter Thiel, che si è dimesso all'inizio del 2022, senza spiegazioni.

In una riunione del consiglio di amministrazione prima di lasciare, Thiel ha detto a Zuckerberg e ai suoi dirigenti che erano compiacenti riguardo all'attività principale di Meta nel settore dei social media, mentre si concentravano troppo sul metaverso, il che secondo lui rendeva l'azienda vulnerabile alla sfida di TikTok, secondo due fonti familiari con lo scambio.

Meta ha rifiutato di commentare la conversazione.

CATCH-UP

Dopo aver interrotto il rollout su larga scala del chip di inferenza personalizzato di Meta, che era previsto per il 2022, i dirigenti hanno invece invertito la rotta e hanno effettuato ordini per miliardi di dollari di GPU Nvidia nello stesso anno, secondo una fonte.

Meta ha rifiutato di commentare l'ordine.

A quel punto, Meta era già molto indietro rispetto a colleghi come Google, che aveva iniziato a distribuire la propria versione personalizzata di GPU, chiamata TPU, nel 2015.

Nella primavera dello stesso anno, i dirigenti hanno iniziato a riorganizzare le unità AI di Meta, nominando due nuovi responsabili dell'ingegneria, tra cui Janardhan, l'autore del memo di settembre.

Più di una dozzina di dirigenti hanno lasciato Meta durante i mesi di sconvolgimenti, secondo i loro profili LinkedIn e una fonte che ha familiarità con le partenze, un cambiamento quasi totale della leadership dell'infrastruttura AI.

Meta ha poi iniziato a riattrezzare i suoi data center per accogliere le GPU in arrivo, che assorbono più energia e producono più calore delle CPU, e che devono essere raggruppate a stretto contatto con un networking specializzato tra di loro.

Grafico: Stato dei centri dati statunitensi di Meta - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/mopakdkmzpa/chart.png

Le strutture necessitavano di una capacità di rete da 24 a 32 volte superiore e di nuovi sistemi di raffreddamento a liquido per gestire il calore dei cluster, richiedendo una "riprogettazione completa", secondo il promemoria di Janardhan e quattro fonti familiari con il progetto, i cui dettagli non sono stati resi noti in precedenza.

Mentre il lavoro era in corso, Meta ha pianificato internamente di iniziare a sviluppare un nuovo e più ambizioso chip interno, che, come una GPU, sarebbe in grado sia di addestrare modelli AI che di eseguire inferenze. Il progetto, che non è stato riportato in precedenza, dovrebbe terminare intorno al 2025, hanno detto due fonti.

Carvill, il portavoce di Meta, ha detto che la costruzione di data center, che era stata messa in pausa durante la transizione ai nuovi progetti, riprenderà alla fine di quest'anno. Ha rifiutato di commentare il progetto del chip.

SCAMBI

Pur aumentando la sua capacità di GPU, Meta, per ora, ha avuto poco da mostrare mentre concorrenti come Microsoft e Google promuovono lanci pubblici di prodotti commerciali di AI generativa.

Il direttore finanziario Susan Li ha riconosciuto a febbraio che Meta non sta dedicando molto del suo attuale calcolo al lavoro generativo, affermando che "fondamentalmente tutta la nostra capacità AI è destinata agli annunci, ai feed e a Reels", il suo formato di video brevi simile a TikTok, popolare tra gli utenti più giovani.

Secondo quattro delle fonti, Meta non ha dato priorità alla costruzione di prodotti di AI generativa fino a dopo il lancio di ChatGPT a novembre. Anche se il suo laboratorio di ricerca FAIR, o Facebook AI Research, ha pubblicato prototipi della tecnologia dalla fine del 2021, l'azienda non si è concentrata sulla conversione della sua apprezzata ricerca in prodotti, hanno detto.

Con l'aumento dell'interesse degli investitori, questa situazione sta cambiando. A febbraio, Zuckerberg ha annunciato un nuovo team di AI generativa di alto livello che, a suo dire, avrebbe "messo il turbo" al lavoro dell'azienda in questo settore.

Anche il Chief Technology Officer Andrew Bosworth ha dichiarato questo mese che l'AI generativa è l'area in cui lui e Zuckerberg stanno dedicando più tempo, prevedendo che Meta rilascerà un prodotto quest'anno.

Due persone che hanno familiarità con il nuovo team hanno detto che il suo lavoro è nelle fasi iniziali e si concentra sulla costruzione di un modello di base, un programma fondamentale che in seguito potrà essere messo a punto e adattato per diversi prodotti.

Carvill, il portavoce di Meta, ha detto che l'azienda sta costruendo prodotti di AI generativa in diversi team da più di un anno. Ha confermato che il lavoro si è accelerato nei mesi successivi all'arrivo di ChatGPT.