Модели

Grok Image — модель генерации и редактирования изображений от xAI (компания Илона Маска), работающая на движке Aurora и встроенная прямо в чат Grok на платформе X. Aurora — авторегрессионная mixture-of-experts модель, разработанная xAI и выпущенная 9 декабря 2024 года. За прошедшее время она прошла несколько крупных обновлений и стала одним из заметных игроков на рынке генеративной графики.

Главное отличие от конкурентов — подход к генерации. Большинство других моделей, таких как Midjourney и Flux, используют диффузионный подход: начинают с шума и постепенно превращают его в картинку. Aurora работает иначе — авторегрессионно, предсказывая изображение по частям («патчам»), используя уже созданные фрагменты для предсказания следующих, подобно тому, как пишется предложение слово за словом.

В основе Grok Image — авторегрессионная mixture-of-experts сеть, обученная на чередующихся текстовых и визуальных данных. Благодаря этому модель понимает не только композицию, но и смысл текста внутри изображения — что отличает её от классических диффузионных моделей. Такой подход даёт глубокое понимание связи между текстом и визуальной структурой сцены.

Среди ключевых сильных сторон — реалистичные портреты, ландшафты и предметные съёмки с улучшенными текстурами кожи и освещением, хороший фотореализм при изображении нескольких людей в одной сцене, а также точное воспроизведение текста на вывесках, футболках и документах. Мультимодальный ввод позволяет как генерировать изображения по текстовому запросу, так и загружать существующее фото и описывать изменения, получая отредактированную версию.