Sep, 2023

PhotoVerse: 文本到图像扩散模型的无需调整图像自定义

TL;DR基于用户特定概念和提示创建自定义图像的个性化文本到图像生成技术已崭露头角,但现有方法在个性化方面面临多个挑战。为了解决这些障碍,我们提出了一种创新的方法 - PhotoVerse,在文本和图像领域中融入双分支条件机制,以提供对图像生成过程的有效控制,并引入了面部身份损失作为训练期间增强身份保存的新组件。这一方法消除了测试时间调整的需要,仅依赖于目标身份的单张面部照片,大大减少了与图像生成相关的资源成本。经过单一训练阶段后,我们的方法能够在几秒钟内生成高质量的图像,产生包含各种场景和风格的多样化图像。广泛的评估表明我们的方法具有卓越性能,实现了保存身份和增强可编辑性的双重目标。