OpenAI svela Jalapeño: il chip per l’inferenza con prestazioni superiori

Durante la conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza. I primi risultati dei benchmark, condotti da Semianalysis, rivelano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inferenza attualmente considerati all’avanguardia.

Il confronto effettuato ha preso come riferimento il sistema Nvidia Blackwell, ma OpenAI avverte che la concorrenza potrebbe evolversi prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in stretta collaborazione con Broadcom, integrando i modelli proprietari di OpenAI nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, coordinando chip, memoria e modelli per un’efficienza ottimale.

L’architettura di Jalapeño è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che tipicamente rappresentano colli di bottiglia durante l’inferenza. Come indicato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays”. Questo significa che lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, può essere allocato e mantenuto localmente, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.

Richard Ho, responsabile hardware di OpenAI, ha commentato: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.” Queste affermazioni sottolineano l’efficienza e la rapidità del nuovo chip, rendendolo un’opzione interessante per le aziende che operano nel campo dell’intelligenza artificiale.

OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo potrebbe segnare un cambiamento significativo nel panorama dei chip per inferenza, con implicazioni importanti per il settore dell’IA.