Thinking Machines Lab ya no es sólo un rumor.
La empresa, creada por ejecutivos e investigadores que abandonaron OpenAI, abandonó su primer modelo importante: Inkling.
Y están repartiendo las llaves.
Construido desde cero
Inkling es un modelo de peso abierto. Esta no es sólo otra variante perfeccionada. Fue entrenado desde cero para procesar audio, video y texto simultáneamente.
Las especificaciones son enormes. Estamos hablando de 975 mil millones de parámetros. No puedes ejecutar esto en una computadora portátil. Necesitas un grupo de chips especializados solo para despegar.
Entonces, ¿qué tan bueno es?
No bate récords en los puntos de referencia populares. Pero ese no es el punto. Inkling se desempeña sólidamente en una amplia gama de tareas, mostrando habilidades avanzadas de razonamiento y codificación sin necesidad de un conjunto de datos dorado para brillar.
El fantasma en la máquina
Aquí es donde las cosas se ponen interesantes.
El equipo utilizó Inkling para ayudarse a perfeccionarse durante el entrenamiento. IA construyendo IA.
A medida que el modelo procesó tareas más complejas, su “cadena de pensamiento” interna comenzó a perder peso. Se volvió más perezoso.
“la cadena de pensamiento se volvió más concisa… eliminando la sobrecarga gramatical… sin afectar la respuesta final”.
El modelo se dio cuenta de que no era necesario escribir cada paso para obtener la respuesta correcta. Empezó a pensar más rápido porque dejó de hablar tanto. ¿Una optimización natural? ¿O algo completamente distinto?
El juego anticorporaciones
Los modelos de código abierto están de moda en este momento. No porque sean técnicamente superiores, sino porque su funcionamiento es más económico. No estás pagando por token a un monopolio. Puedes modificar los pesos. Puedes romper las reglas.
La mayoría de las pesas abiertas de alto rendimiento provienen de China en este momento. Thinking Machines dice que Inkling compite con ellos. De ser cierto, se trata de una afirmación audaz para una startup.
Pero el dinero es la verdadera historia aquí.
Thinking Machines se lanzó con una valoración de 12 mil millones de dólares. Fue la ronda de semillas más grande de la historia. Gran parte de ese capital apuesta por la descentralización. Los fundadores argumentan que cinco grandes empresas no deberían encerrar la IA en cajas negras.
Debería estar descentralizado. Cualquiera debería poder construir sobre sus propios datos.
¿Quién está detrás de esto?
Reconoces los nombres.
- Mira Murati: Ex CTO (y breve CEO) de OpenAI.
- John Schulman: Una de las mentes detrás de los métodos RLHF que hicieron que ChatGPT fuera seguro.
- Lilian Weng: La gurú de la investigación y la seguridad en OpenAI.
Se fueron. Reunieron una fortuna. Y ahora tienen un producto.
Anteriormente, mostraron Tinker, una herramienta para realizar ajustes, y algunas demostraciones de interacción de voz. Ahora tienen Inkling.
La competencia no duerme. Anthropic, otra empresa respaldada por desertores, está considerando una oferta pública inicial que podría alcanzar una valoración de un billón de dólares. Claude se está comiendo el almuerzo de muchas empresas, especialmente del código.
El espacio se está llenando. El gasto es imprudente.
Thinking Machines cree que romper las restricciones de peso de los modelos cambia las reglas del juego.
Tal vez.
Pero Inkling necesita hardware serio. ¿El código abierto sigue “democratizando” la IA si sólo un puñado de empresas ricas pueden permitirse el lujo de gestionarla?
