Groq, una startup che sviluppa chip per eseguire modelli AI generativi più velocemente rispetto ai processori convenzionali, ha annunciato lunedì di aver raccolto $640 milioni in una nuova serie di finanziamenti guidata da Blackrock. Hanno partecipato anche Neuberger Berman, Type One Ventures, Cisco, KDDI e Samsung Catalyst Fund.
La tranche, che porta il totale raccolto di Groq a oltre $1 miliardo e valuta l'azienda a $2,8 miliardi, è una grande vittoria per Groq, che secondo quanto riferito stava originariamente cercando di raccogliere $300 milioni a una valutazione leggermente inferiore ($2,5 miliardi). Più che raddoppia la precedente valutazione di Groq (~$1 miliardo) nel 2021, quando l'azienda ha raccolto $300 milioni in una serie guidata da Tiger Global Management e D1 Capital Partners.
Il capo scienziato AI di Meta Yann LeCun servirà come consulente tecnico per Groq e Stuart Pann, l'ex capo della divisione di produzione di Intel e ex CIO di HP, si unirà alla startup come direttore operativo, ha annunciato oggi anche Groq. L'incarico di LeCun è stato un po' inaspettato, dato gli investimenti di Meta nei propri chip AI — ma senza dubbio dà a Groq un potente alleato in uno spazio competitivo.
Groq, emersa dallo stealth nel 2016, sta creando quello che chiama un motore di inferenza LPU (unità di elaborazione del linguaggio). L'azienda afferma che le sue LPU possono eseguire modelli AI generativi esistenti simili nell'architettura al ChatGPT e GPT-4o di OpenAI a 10 volte la velocità e con un decimo dell'energia.
Il CEO di Groq Jonathan Ross si è guadagnato la fama aiutando ad inventare il tensor processing unit (TPU), il chip acceleratore AI personalizzato di Google utilizzato per addestrare e eseguire modelli. Ross ha collaborato con Douglas Wightman, imprenditore e ex ingegnere presso il laboratorio lunare X della casa madre di Google, Alphabet, per fondare Groq quasi dieci anni fa.
Groq fornisce una piattaforma per sviluppatori alimentata da LPU chiamata GroqCloud che offre modelli "aperti" come la famiglia Llama 3.1 di Meta, Gemma di Google, Whisper di OpenAI e Mixtral di Mistral, così come un'API che permette ai clienti di utilizzare i suoi chip in istanze cloud. (Groq ospita anche un playground per chatbot alimentati dall'IA, GroqChat, che ha lanciato alla fine dell'anno scorso.) A luglio, GroqCloud aveva più di 356.000 sviluppatori; Groq afferma che una parte dei proventi della serie verrà utilizzata per aumentare la capacità e aggiungere nuovi modelli e funzionalità.
"Molti di questi sviluppatori sono in grandi aziende," ha detto a TechCrunch Stuart Pann, COO di Groq. "Secondo le nostre stime, più del 75% delle Fortune 100 è rappresentato."
Mentre il boom dell'IA generativa continua, Groq si trova ad affrontare una crescente concorrenza sia da parte di altre startup di chip AI rivali che da Nvidia, il formidabile attuale leader nel settore dell'hardware AI.
Nvidia controlla un estimato 70% - 95% del mercato dei chip AI utilizzati per addestrare e distribuire modelli AI generativi, e l'azienda sta adottando misure aggressive per mantenere la propria supremazia.
Nvidia si è impegnata a rilasciare una nuova architettura di chip AI ogni anno, anziché ogni due anni come era solito. E sta presumibilmente istituendo una nuova unità aziendale focalizzata sul progettare chip su misura per aziende di cloud computing e altri, incluso hardware AI.
Oltre a Nvidia, Groq compete con Amazon, Google e Microsoft, tutti i quali offrono — o offriranno presto — chip personalizzati per carichi di lavoro AI nel cloud. Amazon ha i suoi processori Trainium, Inferentia e Graviton, disponibili tramite AWS; i clienti di Google Cloud possono utilizzare i suddetti TPU e, a tempo debito, il chip Axion di Google; e Microsoft ha recentemente lanciato istanze Azure in anteprima per il suo processore Cobalt 100 CPU, con istanze di acceleratore AI Maia 100 in arrivo nei prossimi mesi.
Groq potrebbe considerare Arm, Intel, AMD e un numero crescente di startup rivali, anche, in un mercato dei chip AI che potrebbe raggiungere i 400 miliardi di dollari in vendite annuali nei prossimi cinque anni, secondo alcuni analisti. In particolare, Arm e AMD hanno imprese di chip AI in fiore, grazie alla crescente spesa di capitale da parte di fornitori di cloud per soddisfare la domanda di capacità per l'IA generativa.
D-Matrix alla fine dell'anno scorso ha raccolto $110 milioni per commercializzare ciò che sta caratterizzando come una piattaforma di calcolo di inferenza all'avanguardia. A giugno, Etched è emersa dallo stealth con $120 milioni per un processore costruito su misura per velocizzare l'attuale architettura di modello AI generativo dominante, il transformer. Si dice che Masayoshi Son di SoftBank stia cercando di raccogliere $100 miliardi per un'impresa di chip che competa con Nvidia. E si dice che OpenAI sia in trattative con società di investimento per lanciare un'iniziativa di produzione di chip AI.
Per ritagliarsi il proprio spazio, Groq sta investendo pesantemente nel coinvolgimento delle imprese e del governo.
A marzo, Groq ha acquisito Definitive Intelligence, un'azienda con sede a Palo Alto che offre una gamma di soluzioni AI orientate agli affari, per formare una nuova unità aziendale chiamata Groq Systems. Nelle competenze di Groq Systems c'è il servire organizzazioni, incluse agenzie governative statunitensi e nazioni sovrane, che desiderano aggiungere i chip di Groq a data center esistenti o costruire nuovi data center utilizzando processori Groq.
Più di recente, Groq ha fatto squadra con Carahsoft, un appaltatore informatico governativo, per vendere le sue soluzioni a clienti del settore pubblico tramite i partner rivenditori di Carahsoft, e la startup ha una lettera di intenti per installare decine di migliaia delle sue LPU presso il datacenter norvegese di Earth Wind & Power.
Groq sta anche collaborando con l'azienda di consulenza saudita Aramco Digital per installare LPUs nei futuri datacenter in Medio Oriente.
Nel frattempo, con sede a Mountain View, California, Groq sta procedendo verso la prossima generazione del suo chip. Lo scorso agosto, l'azienda ha annunciato di aver stipulato un contratto con la società di semiconduttori Global Foundries per fabbricare LPUs da 4nm, che si prevede possano offrire prestazioni e guadagni di efficienza sui chip di 13nm di prima generazione di Groq.
Groq dice di avere pianificato di implementare oltre 108.000 LPUs entro la fine del Q1 2025.
