CVPRJun, 2024

OmniControlNet:双阶段整合的条件图像生成

TL;DR我们提供了一种双向集成的方法,将外部条件生成算法整合到一个密集预测方法中,并将其单独训练的图像生成过程合并到一个模型中。我们提出的 OmniControlNet 通过任务嵌入引导和文本嵌入引导,将条件生成和图像生成过程整合到一个模型中,从而显著降低了模型复杂性和冗余,并能够生成与条件文本到图像生成相媲美的图像。