Thinking Machines Lab перестало быть просто слухами.
Компания, созданная руководителями и исследователями, покинувшими OpenAI, представила свою первую крупную модель: Inkling.
И они раздают ключи.
Создана с нуля
Inkling — это модель с открытыми весами. Это не просто очередная дообученная вариация существующей модели. Она обучалась с нуля для одновременной обработки аудио, видео и текста.
Характеристики внушительны. Речь идет о 975 миллиардах параметров. Запустить ее на ноутбуке невозможно. Чтобы даже просто запустить ее, нужен кластер специализированных чипов.
Итак, насколько она хороша?
Она не бьет рекорды на популярных бенчмарках. Но это не главное. Inkling демонстрирует стабильную работу в широком спектре задач, показывая продвинутые способности к рассуждению и программированию без необходимости использования «золотых» датасетов для достижения хороших результатов.
Призрак в машине
Здесь ситуация становится интересной.
Команда использовала Inkling для помощи в собственной настройке во время обучения. ИИ, создающий ИИ.
По мере того как модель обрабатывала более сложные задачи, ее внутренняя «цепочка рассуждений» начала становиться короче. Она стала «лениться».
«цепочка рассуждений стала более лаконичной… отказываясь от грамматических излишеств… не влияя при этом на конечный ответ.»
Модель поняла, что ей не нужно записывать каждый шаг, чтобы получить правильный ответ. Она начала думать быстрее, потому что перестала так много говорить. Естественная оптимизация? Или что-то совершенно иное?
Игра против корпораций
Модели с открытым исходным кодом сейчас в тренде. Не потому что они технически превосходят остальные, а потому что их дешевле запускать. Вы не платите за токен монополии. Вы можете подстраивать веса. Вы можете нарушать правила.
Большинство высокопроизводительных моделей с открытыми весами сейчас выходят из Китая. Thinking Machines заявляет, что Inkling конкурирует с ними. Если это правда, то это смелое заявление для стартапа.
Но настоящая история здесь — о деньгах.
Thinking Machines вышла на рынок с оценкой в $12 миллиардов. Это был крупнейший раунд seed-инвестирования в истории. Большая часть этого капитала сделана на ставку на децентрализацию. Основатели утверждают, что ИИ не должен быть заперт в «черных ящиках» пятью крупными компаниями.
Он должен быть децентрализованным. Каждый должен иметь возможность строить свои решения на своих собственных данных.
Кто стоит за этим
Имена вам знакомы.
- Мира Мурати: бывший CTO (и кратковременный CEO) OpenAI.
- Джон Шульман: один из авторов методов RLHF, сделавших ChatGPT более или менее безопасным.
- Лилян Вен: гуру безопасности и исследований в OpenAI.
Они ушли. Они собрали состояние. И теперь у них есть продукт.
Ранее они демонстрировали Tinker, инструмент для дообучения моделей, и несколько демо-версий голосового взаимодействия. Теперь у них есть Inkling.
Конкуренты не спят. Anthropic, другая компания с поддержкой «беглецов», рассматривает возможность выхода на IPO, который может привести к оценке в триллион долларов. Claude активно захватывает рынок корпоративных клиентов, особенно в сфере разработки кода.
Пространство становится тесным. Траты растут неукротимо.
Thinking Machines считает, что снятие ограничений на веса моделей меняет правила игры.
Возможно.
Но Inkling требует серьезного аппаратного обеспечения. Еще ли открытый исходный код «демократизирует» ИИ, если позволить запускать его могут лишь немногие богатые компании?
