Thinking Machines Lab non è più solo una voce.
L’azienda, fondata da dirigenti e ricercatori che hanno abbandonato OpenAI, ha abbandonato il suo primo modello importante: Inkling.
E stanno consegnando le chiavi.
Costruito da zero
Inkling è un modello a peso aperto. Questa non è solo un’altra variante perfezionata. È stato addestrato da zero per elaborare simultaneamente audio, video e testo.
Le specifiche sono enormi. Stiamo parlando di 975 miliardi di parametri. Non è possibile eseguirlo su un laptop. Hai bisogno di un gruppo di chip specializzati solo per farlo decollare.
Allora, quanto è bello?
Non batte i record dei benchmark più diffusi. Ma non è questo il punto. Inkling esegue in modo affidabile un’ampia gamma di compiti, mostrando capacità avanzate di ragionamento e di codifica senza bisogno di un set di dati placcato in oro per brillare.
Il fantasma nella macchina
È qui che le cose si fanno interessanti.
Il team ha utilizzato Inkling per perfezionarsi durante l’addestramento. L’intelligenza artificiale costruisce l’intelligenza artificiale.
Man mano che il modello elaborava compiti più complessi, la sua “catena di pensiero” interna cominciava a perdere peso. È diventato più pigro.
“la catena del pensiero è diventata più concisa… abbassando la grammatica… lasciando inalterata la risposta finale.”
Il modello si è reso conto che non era necessario scrivere ogni passaggio per ottenere la risposta giusta. Ha iniziato a pensare più velocemente perché ha smesso di parlare così tanto. Un’ottimizzazione naturale? O qualcosa di completamente diverso?
Il gioco anti-corp
I modelli open source sono molto popolari in questo momento. Non perché siano tecnicamente superiori, ma perché sono più economici da gestire. Non stai pagando per gettone a un monopolio. Puoi modificare i pesi. Puoi infrangere le regole.
La maggior parte dei pesi aperti ad alte prestazioni escono dalla Cina in questo momento. Thinking Machines afferma che Inkling compete con loro. Se fosse vero, questa sarebbe un’affermazione audace per una startup.
Ma qui la vera storia è il denaro.
Thinking Machines è stato lanciato con una valutazione di 12 miliardi di dollari. È stato il più grande round di semi della storia. Gran parte di quel capitale scommette sulla decentralizzazione. I fondatori sostengono che l’intelligenza artificiale non dovrebbe essere rinchiusa in scatole nere da cinque grandi aziende.
Dovrebbe essere decentralizzato. Chiunque dovrebbe essere in grado di costruire sui propri dati.
Chi c’è dietro
Riconosci i nomi.
- Mira Murati: Ex CTO (e per breve tempo CEO) di OpenAI.
- John Schulman: Una delle menti dietro i metodi RLHF che hanno reso ChatGPT più sicuro.
- Lilian Weng: Il guru della sicurezza e della ricerca di OpenAI.
Se ne sono andati. Hanno raccolto una fortuna. E ora hanno un prodotto.
In precedenza, hanno mostrato Tinker, uno strumento per la messa a punto, e alcune demo di interazione vocale. Ora hanno Inkling.
La concorrenza non dorme. Anthropic, un’altra azienda sostenuta dai disertori, sta valutando una IPO che potrebbe raggiungere una valutazione di trilioni di dollari. Claude sta mangiando il pranzo di molte aziende, soprattutto per il codice.
Lo spazio si sta affollando. La spesa è sconsiderata.
Thinking Machines ritiene che infrangere le restrizioni di peso sui modelli cambi il gioco.
Forse.
Ma Inkling ha bisogno di hardware serio. L’open source sta ancora “democratizzando” l’intelligenza artificiale se solo una manciata di aziende ricche può permettersi di gestirla?
