A mano a mano che l'IA generativa tocca un numero crescente di settori, le aziende che producono chip per eseguire i modelli ne traggono enormi benefici. Nvidia in particolare, che comanda una quota di mercato stimata tra il 70% e il 95% per i chip AI, esercita un'enorme influenza. I fornitori di servizi cloud da Meta a Microsoft stanno spendendo miliardi di dollari su GPU Nvidia, attenti a non rimanere indietro nell'IA generativa.
I fornitori di IA generativa non sono soddisfatti dello status quo per ragioni comprensibili. Una grande parte del loro successo dipende dai capricci dei produttori di chip dominanti. E così loro, insieme ai VC opportunisti, sono alla ricerca di start-up promettenti per sfidare gli attuali leader nel settore dei chip AI.
Etched è tra le tante alternative chip company che ambiscono a un posto al tavolo, ma è anche tra le più intriganti. Fondata solo due anni fa, Etched è stata creata da una coppia di drop-out di Harvard, Gavin Uberti (ex-OctoML e ex-Xnor.ai) e Chris Zhu, che insieme a Robert Wachen e l'ex CTO di Cypress Semiconductor Mark Ross hanno cercato di creare un chip che potesse fare solo una cosa: eseguire modelli AI.
Questo non è insolito. Molte start-up e giganti della tecnologia stanno sviluppando chip che eseguono esclusivamente modelli di IA, anche noti come chip di inferenza. Meta ha MTIA, Amazon ha Graviton e Inferentia e così via. Ma i chip di Etched sono unici nel senso che eseguono solo un tipo di modello: i transformers.
I transformers, proposti da un team di ricercatori di Google nel 2017, sono diventati di gran lunga l'architettura di modello AI generativo dominante.
I transformers sono alla base del modello generatore di video Sora di OpenAI. Sono al centro dei modelli generativi di testo come Claude di Anthropic e Gemini di Google. E alimentano generatori di arte come la nuova versione di Stable Diffusion.
“Nel 2022, abbiamo scommesso che i transformers avrebbero conquistato il mondo”, ha detto Uberti, CEO di Etched, a TechCrunch in un'intervista. “Siamo arrivati a un punto nell'evoluzione dell'IA in cui è inevitabile l'esistenza di chip specializzati che possono funzionare meglio delle GPU a scopo generale - e i decisori tecnici del mondo lo sanno.”
Il chip di Etched, chiamato Sohu, è un ASIC (circuito integrato per applicazioni specifiche) - un chip progettato per una particolare applicazione, in questo caso per eseguire transformers. Realizzato utilizzando il processo a 4 nm di TSMC, Sohu può offrire prestazioni di inferenza drasticamente migliori rispetto alle GPU e ad altri chip AI a scopo generale, mentre consuma meno energia, afferma Uberti.
“Sohu è un ordine di grandezza più veloce e più economico persino delle prossime generazioni di GPU Blackwell GB200 di Nvidia quando esegue transformers di testo, immagini e video”, ha detto Uberti. “Un server Sohu sostituisce 160 GPU H100 ... Sohu sarà un'opzione più conveniente, efficiente e rispettosa dell'ambiente per i leader aziendali che hanno bisogno di chip specializzati.”
Come fa Sohu a raggiungere tutto questo? In diversi modi, ma il più ovvio - e intuitivo - è un pipeline hardware e software di inferenza razionalizzato. Poiché Sohu non esegue modelli non transformer, il team di Etched è stato in grado di eliminare componenti hardware non rilevanti per i transformer tagliando l'overhead software tradizionalmente utilizzato per distribuire e eseguire non transformer.
Etched arriva sulla scena in un momento di svolta nella corsa per l'infrastruttura dell'IA generativa. Oltre alle preoccupazioni di costo, le GPU e altri componenti hardware necessari per eseguire modelli su larga scala oggi consumano troppa energia.
Goldman Sachs prevede che entro il 2030 l'IA è destinata a guidare un aumento del 160% nella domanda di elettricità dei data center, contribuendo a un significativo aumento delle emissioni di gas serra. I ricercatori dell'UC Riverside, dal canto loro, stimano che l'uso globale dell'IA potrebbe far assorbire ai data center da 1,1 a 1,7 trilioni di galloni di acqua dolce entro il 2027, influenzando le risorse locali. (Molti data center utilizzano acqua per raffreddare i server.)
Uberti, in modo ottimistico - o bombastico, a seconda di come lo si interpreta - presenta Sohu come la soluzione al problema di consumo dell'industria.
“In breve, i nostri futuri clienti non potranno permettersi di non passare a Sohu”, ha detto Uberti. “Le aziende sono disposte a scommettere su Etched perché la velocità e il costo sono esistenze per i prodotti di IA che stanno cercando di costruire.”
Ma Etched - supponendo che l'azienda riesca nel suo obiettivo di portare Sohu sul mercato di massa nei prossimi mesi - riuscirà a avere successo quando tanti altri lo seguono da vicino?
Anche se Etched al momento non ha un concorrente diretto, la start-up di chip AI Perceive ha recentemente presentato un processore con accelerazione hardware per i transformer. Groq ha anche investito pesantemente in ottimizzazioni specifiche per i transformer per il suo ASIC.
A parte la concorrenza, e se un giorno i transformer cadono in disuso? Uberti dice che, in tal caso, Etched farà l'ovvio: progetterà un nuovo chip. Abbastanza giusto. Ma è un ricorso piuttosto drastico, considerando quanto tempo è stato necessario per portare Sohu alla realizzazione.
Nessuna di queste preoccupazioni ha dissuaso gli investitori dal versare una quantità enorme di denaro in Etched.
Oggi, Etched ha annunciato di aver chiuso un round di finanziamento di Serie A da $120 milioni, con la copresidenza di Primary Venture Partners e Positive Sum Ventures. Portando il totale raccolto da Etched a $125,36 milioni, al round hanno partecipato investitori di spicco come Peter Thiel (Uberti, Zhu e Wachen sono ex allievi della borsa di studio di Thiel), il CEO di GitHub Thomas Dohmke, il co-fondatore di Cruise (e di The Bot Company) Kyle Vogt e il co-fondatore di Quora Charlie Cheever.
Persone ben informate presumibilmente credono che Etched abbia una ragionevole possibilità di scalare con successo il suo business di vendita di server. E forse la ha - Uberti afferma che clienti non nominati hanno riservato "decine di milioni di dollari" in hardware finora. Il prossimo lancio del Sohu Developer Cloud, che permetterà ai clienti di provare Sohu tramite un parco giochi interattivo online, dovrebbe stimolare ulteriori vendite, ha suggerito Uberti.
Tuttavia, sembra ancora troppo presto per dire se tutto questo sarà sufficiente a spingere Etched e il suo team di 35 persone nel futuro che i cofondatori dell'azienda stanno immaginando. Il segmento dei chip AI può essere implacabile nei momenti migliori - si veda il fallimento quasi clamoroso delle start-up di chip AI come Mythic e Graphcore e, correlativamente, il crollo del finanziamento per le imprese di chip AI nel 2023.
Uberti fa però un forte pitch di vendita: “La generazione di video, le modalità audio-audio, la robotica e altri futuri casi d'uso dell'IA saranno possibili solo con un chip più veloce come Sohu. Tutto il futuro della tecnologia dell'IA sarà plasmato dalla scalabilità dell'infrastruttura.”
