Thinking Machines Lab перестало бути просто чутками.
Компанія, створена керівниками та дослідниками, що залишили OpenAI, представила свою першу велику модель: Inkling.
І вони роздають ключі.
Створена з нуля
Inkling – це модель з відкритими вагами. Це не просто чергова донавчена варіація існуючої моделі. Вона навчалася з нуля для одночасної обробки аудіо, відео та тексту.
Характеристики значні. Йдеться про 975 мільярдів параметрів. Запустити її на ноутбуці неможливо. Щоб просто запустити її, потрібен кластер спеціалізованих чіпів.
Отже, наскільки вона гарна?
Вона не б’є рекордів на популярних бенчмарках. Але це головне. Inkling демонструє стабільну роботу в широкому спектрі завдань, показуючи просунуті здібності до міркування та програмування без необхідності використання «золотих» датасетів для досягнення добрих результатів.
Примара в машині
Тут ситуація стає цікавою.
Команда використовувала Inkling для допомоги у власному налаштуванні під час навчання. ІІ, що створює ІІ.
У міру того як модель обробляла складніші завдання, її внутрішній «ланцюжок міркувань» почав ставати коротшим. Вона почала «лінуватися».
«ланцюжок міркувань став більш лаконічним… відмовляючись від граматичних надмірностей… не впливаючи при цьому на кінцеву відповідь.»
Модель зрозуміла, що їй не потрібно записувати кожен крок, щоб отримати правильну відповідь. Вона почала думати швидше, бо перестала так багато говорити. Природна оптимізація? Чи щось зовсім інше?
Гра проти корпорацій
Моделі з відкритим вихідним кодом зараз у тренді. Не тому, що вони технічно перевершують інші, а тому що їх дешевше запускати. Ви не сплачуєте за токен монополії. Ви можете підлаштовувати ваги. Ви можете порушувати правила.
Більшість високопродуктивних моделей з відкритою вагою зараз виходять з Китаю. Thinking Machines заявляє, що Inkling конкурує із нею. Якщо це правда, то це смілива заява для стартапу.
Але справжня історія тут — про гроші.
Thinking Machines вийшла на ринок з оцінкою $12 мільярдів. Це був найбільший раунд seed-інвестування в історії. Більшість цього капіталу зроблено на ставку на децентралізацію. Засновники стверджують, що ІІ не має бути замкнено у «чорних ящиках» п’ятьма великими компаніями.
Він має бути децентралізованим. Кожен повинен мати можливість будувати свої рішення на власних даних.
Хто стоїть за цим
Імена вам знайомі.
- Світу Мураті: колишній CTO (і короткочасний CEO) OpenAI.
- Джон Шульман: один з авторів методів RLHF, які зробили ChatGPT більш менш безпечним.
- Лілян Вен: гуру безпеки та досліджень в OpenAI.
Вони пішли. Вони зібрали статки. І тепер вони мають продукт.
Раніше вони демонстрували Tinker, інструмент для навчання моделей, і кілька демо-версій голосової взаємодії. Тепер вони мають Inkling.
Конкуренти не сплять. Anthropic, інша компанія з підтримкою “втікачів”, розглядає можливість виходу на IPO, який може призвести до оцінки в трильйон доларів. Claude активно захоплює ринок корпоративних клієнтів, особливо у сфері розробки коду.
Простір стає тісним. Витрати ростуть неприборкано.
Thinking Machines вважає, що зняття обмежень на ваги моделей змінює правила гри.
Можливо.
Але Inkling вимагає серйозного апаратного забезпечення. Чи відкритий вихідний код ще «демократизує» ІІ, якщо дозволити запускати його можуть лише небагато багатих компаній?
