Thinking Machines Lab n’est plus seulement une rumeur.
L’entreprise, construite par des dirigeants et des chercheurs qui ont quitté OpenAI, a abandonné son premier modèle majeur : Inkling.
Et ils distribuent les clés.
Construit à partir de zéro
Inkling est un modèle à poids ouvert. Il ne s’agit pas simplement d’une autre variante affinée. Il a été entièrement formé pour traiter simultanément l’audio, la vidéo et le texte.
Les spécifications sont énormes. Nous parlons de 975 milliards de paramètres. Vous ne pouvez pas l’exécuter sur un ordinateur portable. Vous avez besoin d’un groupe de puces spécialisées juste pour le faire décoller.
Alors, à quel point est-ce bon ?
Il ne bat pas les records des benchmarks populaires. Mais ce n’est pas le sujet. Inkling s’acquitte solidement d’un large éventail de tâches, démontrant des capacités avancées de raisonnement et de codage sans avoir besoin d’un ensemble de données plaqué or pour briller.
Le fantôme dans la machine
C’est ici que les choses deviennent intéressantes.
L’équipe a utilisé Inkling pour l’aider à se perfectionner pendant l’entraînement. L’IA construit l’IA.
À mesure que le modèle traitait des tâches plus complexes, sa « chaîne de pensée » interne a commencé à perdre du poids. C’est devenu plus paresseux.
“la chaîne de pensée est devenue plus concise… supprimant les surcharges grammaticales… laissant la réponse finale inchangée.”
Le modèle s’est rendu compte qu’il n’était pas nécessaire d’écrire chaque étape pour obtenir la bonne réponse. Il a commencé à réfléchir plus vite parce qu’il ne parlait plus autant. Une optimisation naturelle ? Ou tout autre chose ?
Le jeu anti-corp
Les modèles open source sont à la mode en ce moment. Non pas parce qu’ils sont techniquement supérieurs, mais parce qu’ils sont moins chers à exploiter. Vous ne payez pas par jeton à un monopole. Vous pouvez modifier les poids. Vous pouvez enfreindre les règles.
La plupart des poids ouverts haute performance proviennent actuellement de Chine. Thinking Machines dit qu’Inkling est en concurrence avec eux. Si c’est vrai, c’est une affirmation audacieuse pour une startup.
Mais c’est l’argent qui est la vraie histoire ici.
Thinking Machines a été lancé avec une valorisation de 12 milliards de dollars. Il s’agissait du plus grand cycle de semences de l’histoire. Une grande partie de ce capital mise sur la décentralisation. Les fondateurs soutiennent que l’IA ne devrait pas être enfermée dans des boîtes noires par cinq grandes entreprises.
Il devrait être décentralisé. Tout le monde devrait pouvoir s’appuyer sur ses propres données.
Qui est derrière tout ça
Vous reconnaissez les noms.
- Mira Murati : Ancienne CTO (et bref PDG) d’OpenAI.
- John Schulman : L’un des esprits derrière les méthodes RLHF qui ont rendu ChatGPT plus sûr.
- Lilian Weng : Le gourou de la sécurité et de la recherche chez OpenAI.
Ils sont partis. Ils ont amassé une fortune. Et maintenant, ils ont un produit.
Auparavant, ils avaient présenté Tinker, un outil de réglage fin, ainsi que quelques démos d’interaction vocale. Maintenant, ils ont Inkling.
La concurrence ne dort pas. Anthropic, une autre société soutenue par des transfuges, envisage une introduction en bourse qui pourrait atteindre une valorisation de mille milliards de dollars. Claude mange le déjeuner de nombreuses entreprises, notamment pour le code.
L’espace devient bondé. Les dépenses sont imprudentes.
Thinking Machines pense que briser les restrictions de poids sur les modèles change la donne.
Peut être.
Mais Inkling a besoin d’un matériel sérieux. L’open source continue-t-il de « démocratiser » l’IA si seule une poignée d’entreprises riches peuvent se permettre de la faire fonctionner ?
