HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成
通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术,从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格,实现了广泛的服装人物 360 度合成的照片级别结果。
Nov, 2023
通过结合文字和图像信息,利用扩散模型,我们开发了一种零样本的三维生成模型,能够合成高分辨率纹理网格,实现了将二维图像直接转化为三维空间的功能。
Aug, 2023
本文提出了一种从单幅图像中渲染出具有一致纹理的 3D 人物的方法,并通过深度和文本引导的关注注入将参考图像内容转移到背景视图,同时结合合成的背景视图纹理实现可见性感知的贴图和细化,通过实验证明了方法的有效性并展示了超越基准方法的成果。
Nov, 2023
本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中,增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下,生成流水线模型在单图像的新视角合成任务上的性能改进,更重要的是,这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知,我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型;广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。
Jan, 2024
我们介绍了 Unique3D,这是一种新颖的图像到 3D 框架,能够高效生成高质量的 3D 网格,具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。
May, 2024
通过构建新的模型,通过将 2D 扩散模型和 3D 重建模型进行紧密耦合,我们可以从单个 RGB 图像中创建逼真的头像,并实现几何和外观上的高保真度。
Jun, 2024
DiffHuman 是一种基于概率的方法,通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同,DiffHuman 根据二维图像预测三维重建的概率分布,可以生成与图像一致的多个详细的三维人体模型。此外,DiffHuman 还引入了一个生成器神经网络,可以以大幅减少的运行时间进行渲染,从而实现了一种新颖的双分支扩散框架。在实验中,DiffHuman 在重建可见表面方面与现有技术不相上下,并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。
Mar, 2024
本文提出了一种基于本地细骨架引导扩散模型的可控人类图像生成方法,称为 HumanSD,该方法使用新颖的热图引导去噪损失来微调原始稳定扩散模型,从而有效地增强了训练模型时给定的骨骼条件,并提高了图像质量。
Apr, 2023
本文介绍了 HiFi-123,一种用于高保真度和多视角一致的 3D 生成的方法,通过引入参考引导的新视图增强技术和引导状态蒸馏损失,在优化的图像到 3D 过程中显著提高了 3D 生成的质量,取得了最先进的性能。通过全面的评估,定性和定量地证明了我们方法的有效性。
Oct, 2023
通过使用法线贴图对文本到图像传播模型进行微调,使其能够适应文本到法线传播模型,从而提高对三维几何体的二维感知,同时保留从大规模数据集中学习到的先验知识,从而实现高质量和逼真的三维人体生成。
Oct, 2023