分布对齐扩散的人体网格恢复
通过使用基于扩散的人体网格恢复(Diff-HMR)的生成方法框架,本文提出了一种解决从给定 2D 图像重建 3D 人体网格的问题的方法,来解决任务的固有模糊度。验证实验表明,该框架能够以概率的方式有效模拟任务的固有模糊度。
Aug, 2023
DiffHuman 是一种基于概率的方法,通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同,DiffHuman 根据二维图像预测三维重建的概率分布,可以生成与图像一致的多个详细的三维人体模型。此外,DiffHuman 还引入了一个生成器神经网络,可以以大幅减少的运行时间进行渲染,从而实现了一种新颖的双分支扩散框架。在实验中,DiffHuman 在重建可见表面方面与现有技术不相上下,并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。
Mar, 2024
通过利用预训练的文本到图像扩散模型中嵌入的物体结构和空间关系的悠久经验规则,DPMesh 创新性地提出一种处理受遮挡人体网格的框架,通过无缝集成预训练的去噪 U-Net 模型,结合有效的 2D 观测条件注入,以及专用噪声关键点推理方法,实现了具有准确性和鲁棒性的三维人体网格恢复。
Apr, 2024
通过采用转换器的端到端架构,利用分布和场景深度信息,实现了精确人体网格还原技术,并在处理无监督数据的某些场景下表现出优越性能,同时在受控数据集上与最先进的 HMR 方法保持竞争力。
Mar, 2024
通过使用法线贴图对文本到图像传播模型进行微调,使其能够适应文本到法线传播模型,从而提高对三维几何体的二维感知,同时保留从大规模数据集中学习到的先验知识,从而实现高质量和逼真的三维人体生成。
Oct, 2023
通过构建新的模型,通过将 2D 扩散模型和 3D 重建模型进行紧密耦合,我们可以从单个 RGB 图像中创建逼真的头像,并实现几何和外观上的高保真度。
Jun, 2024
本文提出了一种基于扩散驱动变换器的视频人体网格复原框架 (DDT),能有效地提高运动平滑性和时间连续性,并且具有较高的效率和因果性,能够广泛应用于各种实际场景。
Mar, 2023
利用一种基于扩散的手部三维网格重建框架 ——DiffHand,利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程,设计跨模态解码器来更好地模拟手顶点的连通性,从而达到优于先前方法 5.8mm PA-MPJPE 的最优表现。
May, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行 3D 人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为 3D-HPE 研究开辟了新的激动人心的领域。
Sep, 2023