OpenAI no está conforme con algunos de los chips de IA más recientes de Nvidia y lleva desde el año pasado buscando opciones alternativas. Así lo informa Reuters, citando a ocho fuentes.

La crítica no se dirige a los chips usados para el entrenamiento de modelos —un segmento donde Nvidia domina—, sino a los chips para la inferencia, es decir, el proceso mediante el cual un modelo ya entrenado responde a las consultas de los usuarios. Siete fuentes señalan que OpenAI está descontenta con la velocidad con la que el hardware de Nvidia genera respuestas. El problema sería especialmente visible en casos como el desarrollo de software con Codex, donde la latencia es crítica. OpenAI necesitaría nuevo hardware para aproximadamente el 10% de su futura demanda de inferencia.

La inferencia exige arquitecturas distintas

Según las fuentes, parte de las limitaciones se atribuyeron a la infraestructura de Nvidia. A diferencia del entrenamiento, la inferencia requiere más accesos a memoria. Las GPU de Nvidia dependen de memoria externa, lo que puede ralentizar el procesamiento. Por ello, OpenAI estaría buscando chips con SRAM, integrada directamente en el silicio, lo que ofrece ventajas de velocidad.

De acuerdo con Reuters, OpenAI negoció con startups como Cerebras y Groq. Cerebras rechazó una oferta de adquisición por parte de Nvidia y, en su lugar, cerró un acuerdo con OpenAI. A finales de enero, el CEO Sam Altman confirmó que el trato con Cerebras busca cumplir los requisitos de velocidad de los modelos orientados a programación.

Con Groq, el desenlace fue distinto: en diciembre, Nvidia firmó con la startup un acuerdo de licencias por 20.000 millones de dólares, lo que, según el reporte, frenó las conversaciones con OpenAI. Además, Nvidia incorporó a diseñadores clave de chips de Groq. En paralelo, la compañía presentó Rubin CPX, un acelerador especializado para la fase de prefill en la inferencia.

La inversión de 100.000 millones se retrasa

En septiembre, Nvidia anunció planes para invertir hasta 100.000 millones de dólares en OpenAI. Se esperaba cerrar el acuerdo en cuestión de semanas, pero las negociaciones se han prolongado durante meses. Una fuente indicó que la hoja de ruta de productos cambiante de OpenAI habría contribuido a ralentizar el proceso.

El CEO de Nvidia, Jensen Huang, calificó el sábado los reportes sobre tensiones como “un sinsentido” y aseguró que la compañía planea invertir “decenas de miles de millones”. Un portavoz de OpenAI, por su parte, afirmó que la empresa seguirá apoyándose en Nvidia para la mayor parte de su flota de inferencia.