Новая нейронка перенесет объекты с разных фотографий

Разработчики представили OminiControl – контроллер для диффузионных моделей-трансформеров. С помощью этой нейросети пользователи могут перемещать объекты с одной фотографии на другое сгенерированное изображение.

OminiControl функционирует в двух режимах:

1. Генерация. В этом режиме необходимо загрузить фотографию исходного объекта и текстово описать желаемый итог. Нейросеть затем создаст изображение с учетом исходного объекта.

2. Заполнение маски. Пользователь может замаскировать части исходного изображения и задать текстовый запрос для генерации. Нейросеть заполнит маскированные области, опираясь на предоставленный промпт.

На данный момент нейросеть может генерировать изображения с разрешением 512 × 512 пикселей, но вскоре разработчики планируют выпустить модель, способную создавать картинки с разрешением 1024 × 1024 пикселей.

Ранее компания «Сбер» обучила свою нейросеть GigaChat распознавать запросы пользователей, которые были сделаны при помощи изображений.

Благодаря обновлению нейросеть теперь может распознавать иллюстрации, печатный и рукописный текст, формулы, графики и таблицы.