使用扩散模型从物体姿态间获得极端的两视图几何
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
该研究利用经过预训练的扩散模型,提出了一种名为 ID-Pose 的方法,可通过给定两张输入图像来估计相对姿态,该方法不需要训练,可处理多张图像,并且在实际图像中具有广泛应用性。
Jun, 2023
通过将 Diffusion 模型与特征提取技术相结合,本文提出了 Zero123-6D 方法,并在 CO3D 数据集上进行了实验,展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。
Mar, 2024
本文提出了一种姿态引导扩散模型来从单张图像中生成一致的、持久的新视角视频,并设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联。实验结果表明,该模型在合成和真实数据集上表现优异,胜过基于 Transformer 和 GAN 的现有方法。
Mar, 2023
提出了一种视角不变的模型,用于从单个深度图像中估计 3D 人体姿态,该模型从一个学习的视角不变特征空间中嵌入局部区域来实现,并采用自下而上的误差反馈机制进行姿态估计,多任务的学习方法可以在噪声和遮挡的情况下选择性地预测局部姿态。通过对一个先前发布的深度数据集和一个包含 10 万个注释深度图像的新收集的人体姿态数据集的评估,实验证明该模型在正面视图上实现了竞争性性能,在替代视角上实现了最先进的性能。
Mar, 2016
iFusion 是一个新颖的 3D 物体重建框架,只需两个未知相机姿态的视图。通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成,iFusion 能够在 3D 物体重建中表现出良好的性能并与其他方法相融合。
Dec, 2023
基于光线组合的相机姿势的分布式表示以及基于回归和扩散的方法,在 CO3D 数据集上展现了最新的性能,并在未见过的物体类别和野外捕捉中表现出广泛适应性。
Feb, 2024
通过将 2D 扩散模型中的几何先验与定义良好的 3D 形状进行对齐,我们提高了一致性,解决了多视角不一致问题,并获得了新的最先进性能,85% 以上的一致性率,远高于以前的方法。
Oct, 2023