Thinking Machines Lab nie jest już tylko plotką.
Firma założona przez kadrę kierowniczą i badaczy, którzy opuścili OpenAI, zaprezentowała swój pierwszy duży model: Inkling.
I rozdają klucze.
Zbudowany od podstaw
Inkling to model o otwartej masie**. To nie jest kolejna, dodatkowo przeszkolona odmiana istniejącego modelu. Została przeszkolona od podstaw w zakresie jednoczesnego przetwarzania dźwięku, obrazu i tekstu.
Charakterystyka jest imponująca. Mówimy o 975 miliardach parametrów. Nie ma możliwości uruchomienia go na laptopie. Aby go uruchomić, potrzebujesz zestawu wyspecjalizowanych chipów.
Jak dobrze jest?
Nie bije rekordów w popularnych benchmarkach. Ale nie to jest najważniejsze. Inkling wykazuje stałą wydajność w szerokim zakresie zadań, wykazując zaawansowane umiejętności rozumowania i programowania bez konieczności stosowania złotych zbiorów danych, aby osiągnąć dobre wyniki.
Duch w maszynie
Tutaj sprawy stają się interesujące.
Zespół korzystał z oprogramowania Inkling do pomocy we własnej konfiguracji podczas szkolenia. Sztuczna inteligencja tworząca sztuczną inteligencję.
W miarę jak model przetwarzał bardziej złożone problemy, jego wewnętrzny „łańcuch rozumowania” zaczął się skracać. Stała się „leniwa”.
„łańcuch rozumowania stał się bardziej zwięzły… eliminując nadużycia gramatyczne… bez wpływu na ostateczną odpowiedź.”
Modelka zdała sobie sprawę, że nie musi zapisywać każdego kroku, aby uzyskać poprawną odpowiedź. Zaczęła szybciej myśleć, bo przestała tak dużo mówić. Naturalna optymalizacja? A może coś zupełnie innego?
Gra przeciwko korporacjom
Modele open source są obecnie modne. Nie dlatego, że są lepsze technicznie od innych, ale dlatego, że są tańsze w eksploatacji. Nie płacisz za token monopolu. Można regulować ciężary. Możesz złamać zasady.
Większość wysokiej klasy modeli z otwartą wagą wychodzi obecnie z Chin. Thinking Machines twierdzi, że Inkling z nimi konkuruje. Jeśli to prawda, jest to odważne stwierdzenie dla startupu.
Ale prawdziwa historia dotyczy pieniędzy.
Thinking Machines weszło na rynek z wyceną na 12 miliardów dolarów. Była to największa w historii runda inwestycji zalążkowych. Duża część tego kapitału stawia na decentralizację. Założyciele argumentują, że sztuczna inteligencja nie powinna być zamykana w czarnych skrzynkach przez pięć dużych firm.
To musi być zdecentralizowane. Każdy powinien móc opierać swoje decyzje na własnych danych.
Kto za tym stoi?
Nazwy są Państwu znane.
- Mira Murati: była dyrektor ds. technicznych (i krótkoterminowy dyrektor generalny) OpenAI.
- John Shulman: jeden z autorów metod RLHF, które uczyniły ChatGPT mniej lub bardziej bezpiecznym.
- Lilyang Wen: guru bezpieczeństwa i badań w OpenAI.
Wyszli. Zarobili fortunę. A teraz mają produkt.
Wcześniej zademonstrowali Tinker, narzędzie do ponownego uczenia modeli i kilka demonstracji interakcji głosowej. Teraz mają Inklinga.
Konkurenci nie śpią. Anthropic, kolejna firma wspierana przez ucieczkę, rozważa pierwszą ofertę publiczną, która może skutkować wyceną na bilion dolarów. Claude agresywnie podbija rynek korporacyjny, szczególnie w obszarze tworzenia kodu.
Przestrzeń staje się ciasna. Wydatki rosną w niekontrolowany sposób.
Thinking Machines wierzy, że usunięcie ograniczeń dotyczących wagi modelu zmieni zasady gry.
Może.
Ale Inkling wymaga poważnego sprzętu. Czy open source nadal „demokratyzuje” sztuczną inteligencję, jeśli tylko kilka bogatych firm będzie mogło sobie na nią pozwolić?
