Thinking Machines Lab is niet langer slechts een gerucht.
Het bedrijf, gebouwd door leidinggevenden en onderzoekers die uit OpenAI zijn weggelopen, heeft zijn eerste grote model laten vallen: Inkling.
En ze delen de sleutels uit.
Vanaf nul opgebouwd
Inkling is een model met een open gewicht. Dit is niet zomaar een verfijnde variant. Het is helemaal opnieuw getraind om tegelijkertijd audio, video en tekst te verwerken.
De specificaties zijn enorm. We hebben het over 975 miljard parameters. Je kunt dit niet op een laptop uitvoeren. Je hebt een cluster van gespecialiseerde chips nodig om het van de grond te krijgen.
Dus, hoe goed is het?
Het breekt de records op populaire benchmarks niet. Maar dat is niet het punt. Inkling presteert solide bij een breed scala aan taken en toont geavanceerde redeneer- en codeervaardigheden zonder dat een vergulde dataset nodig is om te schitteren.
De geest in de machine
Hier wordt het interessant.
Het team gebruikte Inkling om zichzelf tijdens de training te verfijnen. AI die AI bouwt.
Naarmate het model complexere taken verwerkte, begon de interne ‘gedachteketen’ gewicht te verliezen. Het werd luier.
“de gedachteketen werd beknopter… waardoor de grammaticale overhead wegviel… waardoor het uiteindelijke antwoord onaangetast bleef.”
Het model realiseerde zich dat het niet elke stap hoefde uit te schrijven om het juiste antwoord te krijgen. Het begon sneller te denken omdat het niet meer zo veel sprak. Een natuurlijke optimalisatie? Of iets heel anders?
Het anti-corpsspel
Open-sourcemodellen zijn momenteel hot. Niet omdat ze technisch superieur zijn, maar omdat ze goedkoper zijn in gebruik. U betaalt niet per token aan een monopolie. Je kunt de gewichten aanpassen. Je kunt de regels overtreden.
De meeste hoogwaardige open gewichten komen momenteel uit China. Thinking Machines zegt dat Inkling met hen concurreert. Als dat waar is, is dat een gewaagde bewering voor een startup.
Maar het geld is hier het echte verhaal.
Thinking Machines werd gelanceerd met een waardering van $12 miljard. Het was de grootste zaadronde in de geschiedenis. Een groot deel van dat kapitaal zet in op decentralisatie. De oprichters stellen dat AI niet door vijf grote bedrijven in zwarte dozen mag worden opgesloten.
Het moet gedecentraliseerd zijn. Iedereen moet op zijn eigen data kunnen voortbouwen.
Wie zit erachter
Je herkent de namen.
- Mira Murati: Voormalig CTO (en korte CEO) van OpenAI.
- John Schulman: Een van de geesten achter de RLHF-methoden die ChatGPT veilig maakten.
- Lilian Weng: De veiligheids- en onderzoeksgoeroe bij OpenAI.
Ze vertrokken. Ze hebben een fortuin opgehaald. En nu hebben ze een product.
Eerder toonden ze Tinker, een tool voor verfijning, en enkele demo’s van steminteractie. Nu hebben ze Inkling.
De concurrentie slaapt niet. Anthropic, een ander door overlopers gesteund bedrijf, overweegt een beursintroductie die een waardering van een biljoen dollar zou kunnen opleveren. Claude eet de lunch van veel ondernemingen, vooral op het gebied van code.
Het wordt druk in de ruimte. De uitgaven zijn roekeloos.
Thinking Machines denkt dat het doorbreken van de gewichtsbeperkingen op modellen het spel verandert.
Misschien.
Maar Inkling heeft serieuze hardware nodig. Is open source nog steeds bezig met het ‘democratiseren’ van AI als slechts een handvol rijke bedrijven het zich kan veroorloven om het te exploiteren?
