Thinking Machines Lab ist nicht mehr nur ein Gerücht.
Das Unternehmen, das von Führungskräften und Forschern gegründet wurde, die OpenAI verlassen haben, hat sein erstes großes Modell eingestellt: Inkling.
Und sie verteilen die Schlüssel.
Von Grund auf neu erstellt
Inkling ist ein Modell mit offenem Gewicht. Dies ist nicht nur eine weitere fein abgestimmte Variante. Es wurde von Grund auf darauf trainiert, Audio, Video und Text gleichzeitig zu verarbeiten.
Die technischen Daten sind riesig. Wir sprechen von 975 Milliarden Parametern. Sie können dies nicht auf einem Laptop ausführen. Sie benötigen eine Ansammlung spezialisierter Chips, um es auf den Weg zu bringen.
Also, wie gut ist es?
Die Rekorde beliebter Benchmarks werden nicht gebrochen. Aber das ist nicht der Punkt. Inkling meistert ein breites Spektrum an Aufgaben zuverlässig und stellt fortgeschrittene Denk- und Programmierfähigkeiten unter Beweis, ohne dass ein vergoldeter Datensatz erforderlich ist, um zu glänzen.
Der Geist in der Maschine
Hier wird es interessant.
Das Team nutzte Inkling, um sich während des Trainings weiterzuentwickeln. KI baut KI auf.
Während das Modell komplexere Aufgaben verarbeitete, begann seine interne „Gedankenkette“ an Gewicht zu verlieren. Es wurde fauler.
„Die Gedankenkette wurde prägnanter … der grammatikalische Aufwand wurde reduziert … die endgültige Antwort blieb davon unberührt.“
Das Modell erkannte, dass es nicht jeden Schritt aufschreiben musste, um die richtige Antwort zu erhalten. Es begann schneller zu denken, weil es nicht mehr so viel sprach. Eine natürliche Optimierung? Oder etwas ganz anderes?
Das Anti-Corp-Spiel
Open-Source-Modelle liegen derzeit voll im Trend. Nicht weil sie technisch überlegen sind, sondern weil sie günstiger im Betrieb sind. Sie zahlen nicht pro Token an ein Monopol. Sie können die Gewichte anpassen. Sie können die Regeln brechen.
Die meisten offenen Hochleistungsgewichte kommen derzeit aus China. Laut Thinking Machines konkurriert Inkling mit ihnen. Wenn das stimmt, ist das eine kühne Behauptung für ein Startup.
Aber das Geld ist hier die wahre Geschichte.
Thinking Machines startete mit einer Bewertung von 12 Milliarden US-Dollar. Es war die größte Seed-Runde in der Geschichte. Ein Großteil dieses Kapitals setzt auf Dezentralisierung. Die Gründer argumentieren, dass KI nicht von fünf großen Unternehmen in Black Boxes eingesperrt werden sollte.
Es sollte dezentralisiert sein. Jeder sollte in der Lage sein, auf seinen eigenen Daten aufzubauen.
Wer steckt dahinter?
Sie kennen die Namen.
- Mira Murati: Ehemaliger CTO (und kurzzeitiger CEO) von OpenAI.
- John Schulman: Einer der Köpfe hinter den RLHF-Methoden, die ChatGPT sicherer gemacht haben.
- Lilian Weng: Der Sicherheits- und Forschungsguru bei OpenAI.
Sie gingen. Sie haben ein Vermögen gesammelt. Und jetzt haben sie ein Produkt.
Zuvor zeigten sie Tinker, ein Tool zur Feinabstimmung, und einige Demos zur Sprachinteraktion. Jetzt haben sie Inkling.
Die Konkurrenz schläft nicht. Anthropic, ein weiteres von Überläufern unterstütztes Unternehmen, erwägt einen Börsengang, der eine Billionen-Dollar-Bewertung erreichen könnte. Claude isst das Mittagessen vieler Unternehmen, insbesondere im Bereich Code.
Der Raum wird immer voller. Die Ausgaben sind rücksichtslos.
Thinking Machines glaubt, dass die Aufhebung der Gewichtsbeschränkungen für Modelle die Spielregeln verändern wird.
Vielleicht.
Aber Inkling braucht ernsthafte Hardware. „Demokratisiert“ Open Source KI immer noch, wenn sich nur eine Handvoll reicher Unternehmen den Betrieb leisten können?
