基于形状引导扩散的单图像三维人体数字化
使用去噪扩散模型,我们提出了一种名为PIDM的人体图像扩散模型,解决了复杂的转换问题,并展示了在两个大型基准测试中的显着结果,以及如何在下游任务中使用生成的图像。
Nov, 2022
提出了一种基于扩散模型的 3D 生成方法,通过生成前后面衣着人的真实性的法线贴图,使用优化网格的方式实现人物的 3D 重建,还结合最新的文本到图像扩散模型,实现了对人物身份的控制,能够生成具有更好感知效果和身份多样性的真实 3D 服装人物。
May, 2023
通过使用描述性文本启示和个性化模型,TeCH提出了一种混合的三维重建方法,用于重建细节丰富的衣着人物的未见区域,并在重建准确性和渲染质量方面优于现有方法。
Aug, 2023
提出了一种新的流程SiTH,该流程将基于图像的扩散模型与3D网格重建相结合,通过将单视图重建问题分解为幻觉和重建子问题来推断未知的人体形状、服装和纹理信息。该方法通过强大的生成扩散模型重新生成输入图像中的外貌,并借助有皮肤的身体网格作为指导从输入图像和背视图图像中恢复出完整的人体纹理网格。在仅使用约500个3D人体扫描进行训练的同时,保持了方法的普遍性和鲁棒性。在两个3D重建基准测试上进行了大量实验和用户研究,证明了该方法在从各种未见图像中生成逼真、带纹理的3D人体方面的有效性。
Nov, 2023
使用单个参考图像生成3D人体模型是具有挑战性的,本文提出了一种从单视角输入生成3D人体模型的框架HumanRef,通过引入参考引导评分蒸馏采样(Ref-SDS)方法有效地将图像指导纳入生成过程,实现了生成具有精细几何结构、逼真纹理和视角一致性的3D服装人物。
Nov, 2023
通过构建新的模型,通过将2D扩散模型和3D重建模型进行紧密耦合,我们可以从单个RGB图像中创建逼真的头像,并实现几何和外观上的高保真度。
Jun, 2024
本研究解决了现有单图像人类重建在训练数据不足或缺乏全面多视图知识所导致的泛化能力弱的问题。我们提出了MagicMan,一个专为人类设计的多视图扩散模型,可以基于单个参考图像生成高质量的新视图图像。研究表明,该方法显著提高了新视图合成和后续3D人类重建任务的表现。
Aug, 2024
本研究针对从单一RGB图像进行全身重建面临的几何失真和服装拓扑复杂性问题,提出了一种新颖的框架PSHuman,通过跨尺度扩散模型显著提升了重建质量与一致性。研究发现,该方法在生成新视角时保持了细节和身份特征,并且有效地克服了几何扭曲,展现出在几何细节、纹理真实感和泛化能力上的显著优势。
Sep, 2024