Стартап Elorian выпустил Glimpse — модель с «визуальным скретчпадом», которая во время рассуждения приближает фрагменты изображения и видео.
Зачем модели новое зрение
Пало-Альтский стартап Elorian, привлёкший $55 млн на посевном раунде при оценке $300 млн ещё до выпуска продукта, представил первую модель — Glimpse. Она выходит в формате исследовательского превью с доступом через API, а чат-интерфейс пока работает по списку ожидания. Замысел в том, что современные мультимодальные модели, мастерски владея языком и кодом, «не умеют по-настоящему видеть»: они смотрят на картинку один раз, превращают её в токены и дальше рассуждают текстом, будто описывают фото по памяти.
Визуальный скретчпад
Glimpse возвращается к исходнику по ходу рассуждения. Он может вырезать область, вытащить отдельные кадры из видео или запустить код, чтобы измерить и сравнить увиденное, — механизм, который в Elorian называют «визуальным скретчпадом». По аналогии это похоже на то, как человек увеличивает фото на телефоне, чтобы перепроверить детали.
Идея и цена
Глава Elorian Эндрю Дай, бывший исследователь Google DeepMind, рассказывает, что модель не смогла определить победителя в настольной игре по её фото. По его словам, у каждой игры своя визуальная грамматика, символы и иконки, которые человек понимает без текста, а модели — нет. Подход с увеличением не нов, но Elorian построила вокруг него всю модель и обучила её на нескольких сотнях GPU. Glimpse стоит $0,60 за миллион входных токенов и $3 за миллион выходных.
Результаты и планы
По оценкам компании, Glimpse превосходит даже GPT-6 Astra в научной графике и коротких видеоподписях. Среди инвесторов — Nvidia и главный научный сотрудник Google Джефф Дин. Первые клиенты — робототехника, научные лаборатории и медиа, а в перспективе Elorian хочет перейти от «видения» к действию и управлению роботами.
Источник: TechCrunch.
Об авторе
