Thinking Machines Lab už není jen fáma.
Společnost založená vedoucími pracovníky a výzkumníky, kteří opustili OpenAI, představila svůj první hlavní model: Inkling.
A rozdávají klíče.
Postaveno od nuly
Inkling je model s otevřenou hmotností. Nejedná se pouze o další dodatečně trénovanou variaci stávajícího modelu. Byla vycvičena od nuly k současnému zpracování zvuku, videa a textu.
Vlastnosti jsou působivé. Bavíme se o 975 miliardách parametrů. Na notebooku to spustit nejde. Abyste to mohli i jen spustit, potřebujete shluk specializovaných čipů.
Jak je to tedy dobré?
Neláme rekordy v populárních benchmarcích. Ale to není to hlavní. Inkling demonstruje konzistentní výkon napříč širokou škálou úloh, demonstruje pokročilé schopnosti uvažování a programování bez potřeby zlatých datových sad k dosažení dobrých výsledků.
Duch ve stroji
Tady jsou věci zajímavé.
Tým použil Inkling, aby pomohl s vlastním nastavením během tréninku. AI vytváří AI.
Jak model zpracovával složitější problémy, jeho vnitřní „řetězec uvažování“ se začal zkracovat. Stala se „línou“.
“řetězec uvažování se stal stručnějším… eliminoval gramatické excesy… aniž by to ovlivnilo konečnou odpověď.”
Modelka si uvědomila, že ke správné odpovědi nemusí zapisovat každý krok. Začala přemýšlet rychleji, protože přestala tolik mluvit. Přirozená optimalizace? Nebo něco úplně jiného?
Hraní proti korporacím
Open source modely jsou nyní trendy. Ne proto, že by byly technicky lepší než ostatní, ale proto, že jsou levnější na provoz. Za monopolní token neplatíte. Můžete upravit váhy. Můžete porušit pravidla.
Většina špičkových modelů s otevřenou hmotností nyní přichází z Číny. Thinking Machines říká, že Inkling s nimi soutěží. Pokud je to pravda, je to pro startup odvážné tvrzení.
Ale skutečný příběh je zde o penězích.
Thinking Machines vstoupila na trh s oceněním 12 miliard dolarů. Jednalo se o největší počáteční investiční kolo v historii. Velká část tohoto kapitálu sází na decentralizaci. Zakladatelé tvrdí, že AI by neměla být zavřena do černých skříněk pěti velkými společnostmi.
Musí to být decentralizované. Každý by měl mít možnost založit svá rozhodnutí na vlastních datech.
Kdo za tím stojí?
Jména jsou vám povědomá.
- Mira Murati: bývalý CTO (a krátkodobý CEO) OpenAI.
- John Shulman: jeden z autorů metod RLHF, díky kterým byl ChatGPT více či méně bezpečný.
- Lilyang Wen: Guru bezpečnosti a výzkumu v OpenAI.
Odešli. Vydělali jmění. A teď mají produkt.
Dříve předvedli Tinker, nástroj pro rekvalifikaci modelů, a několik ukázek hlasové interakce. Nyní mají Inkling.
Soutěžící nespí. Antropic, další společnost podporovaná uprchlíky, zvažuje IPO, která by mohla vést k bilionovému zhodnocení. Claude agresivně obsazuje podnikový trh, zejména v oblasti vývoje kódu.
Prostor se stává stísněným. Výdaje nekontrolovatelně rostou.
Thinking Machines věří, že odstranění omezení hmotnosti modelu změní hru.
Možná.
Ale Inkling vyžaduje seriózní hardware. Bude open source stále „demokratizovat“ AI, pokud si ji může dovolit provozovat jen několik bohatých společností?
