Разработчик BitPoet представил инновационный метод инпейнтинга для модели Ideogram 4, который позволяет редактировать изображения, используя референсные кадры вместо традиционных масок.

image
image
image

Что произошло

Разработчик BitPoet реализовал метод управления генерацией через связку «изображение-ссылка-промпт» (image-link-prompt). Для этого были модифицированы инструменты ai-toolkit и ComfyUI, создан специализированный набор узлов ComfyUI-bitpoet-IG4Inpaint и подготовлены LoRA-веса. Процесс обучения проводился в два этапа: сначала на низком разрешении (512 px) для освоения семантики инструкций, затем на изображениях высокого разрешения (1920×1072) для достижения финального качества.

Контекст

Традиционный процесс инпейнтинга обычно требует использования геометрических масок для указания областей, подлежащих изменению. Новый подход предлагает перейти к семантическому управлению, где нейросеть получает визуальный пример того, что именно нужно вставить или изменить в существующий контекст.

Почему это важно для индустрии

Появление эффективных методов редактирования через референс расширяет возможности управления генерацией, позволяя более точно интегрировать новые объекты в существующий контекст без использования сложных масок. Это создает новые ниши для специализированных инструментов дизайна и автоматизированного создания контента, подготавливая почву для перехода от масочного к референсному редактированию как отраслевого стандарта.

Почему это важно для пользователей

Для пользователей и дизайнеров это означает качественный скачок в удобстве: теперь не нужно вручную «закрашивать» области на картинке. Вместо этого можно буквально показать нейросети вспомогательное изображение-ссылку, чтобы она поняла, какой объект или стиль нужно интегрировать в текущую сцену.

Что пока неизвестно / ограничения

Текущая реализация является исследовательским прототипом и требует значительных вычислительных ресурсов (VRAM), а также использования специфического стека инструментов (ComfyUI и модифицированный ai-toolkit), что ограничивает её использование в готовых коммерческих API-решениях на данный момент.

Источники

Автор

Look at AI, редакция