O Thinking Machines Lab não é mais apenas um boato.
A empresa, construída por executivos e pesquisadores que abandonaram a OpenAI, abandonou seu primeiro grande modelo: o Inkling.
E eles estão distribuindo as chaves.
Construído do zero
Inkling é um modelo de peso aberto. Esta não é apenas mais uma variante ajustada. Ele foi treinado do zero para processar áudio, vídeo e texto simultaneamente.
As especificações são enormes. Estamos falando de 975 bilhões de parâmetros. Você não pode executar isso em um laptop. Você precisa de um conjunto de chips especializados apenas para fazê-lo decolar.
Então, quão bom é isso?
Não quebra recordes em benchmarks populares. Mas esse não é o ponto. O Inkling tem um desempenho sólido em uma ampla gama de tarefas, exibindo raciocínio avançado e habilidades de codificação sem a necessidade de um conjunto de dados folheado a ouro para brilhar.
O Fantasma na Máquina
É aqui que as coisas ficam interessantes.
A equipe usou o Inkling para ajudar a se aprimorar durante o treinamento. IA construindo IA.
À medida que o modelo processava tarefas mais complexas, sua “cadeia de pensamento” interna começou a perder peso. Ficou mais preguiçoso.
“a cadeia de pensamento tornou-se mais concisa… eliminando a sobrecarga gramatical… deixando a resposta final inalterada.”
O modelo percebeu que não precisava escrever todas as etapas para obter a resposta certa. Começou a pensar mais rápido porque parou de falar tanto. Uma otimização natural? Ou algo totalmente diferente?
O jogo anti-corporativo
Os modelos de código aberto estão em alta no momento. Não porque sejam tecnicamente superiores, mas porque são mais baratos de operar. Você não está pagando por token para um monopólio. Você pode ajustar os pesos. Você pode quebrar as regras.
A maioria dos pesos abertos de alto desempenho vem da China atualmente. Thinking Machines diz que Inkling compete com eles. Se for verdade, essa é uma afirmação ousada para uma startup.
Mas o dinheiro é a verdadeira história aqui.
Thinking Machines foi lançada com uma avaliação de US$ 12 bilhões. Foi a maior rodada de sementes da história. Muito desse capital aposta na descentralização. Os fundadores argumentam que a IA não deveria ser trancada em caixas pretas por cinco grandes empresas.
Deveria ser descentralizado. Qualquer pessoa deve ser capaz de construir com base em seus próprios dados.
Quem está por trás disso
Você reconhece os nomes.
- Mira Murati: Ex-CTO (e breve CEO) da OpenAI.
- John Schulman: Uma das mentes por trás dos métodos RLHF que tornaram o ChatGPT seguro.
- Lilian Weng: A guru de segurança e pesquisa da OpenAI.
Eles foram embora. Eles levantaram uma fortuna. E agora eles têm um produto.
Anteriormente, eles exibiram o Tinker, uma ferramenta para ajuste fino, e algumas demonstrações de interação por voz. Agora eles têm Inkling.
A concorrência não está dormindo. A Anthropic, outra empresa apoiada por desertores, está considerando um IPO que poderá atingir uma avaliação de um trilhão de dólares. Claude está comendo o almoço de muitas empresas, especialmente em código.
O espaço está ficando lotado. Os gastos são imprudentes.
A Thinking Machines acredita que quebrar as restrições de peso dos modelos muda o jogo.
Talvez.
Mas o Inkling precisa de hardware sério. O código aberto ainda está “democratizando” a IA se apenas um punhado de empresas ricas pode se dar ao luxo de operá-lo?
