D3PRefiner:一种基于扩散的 3D 人体姿势优化方法
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024
本文提出了一个新颖的端到端框架,用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块,我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
Aug, 2023
DiffRef3D 是一种新颖的框架,采用了首次将扩散流程应用于使用点云的三维物体检测,通过将噪声逐渐添加到提案和目标物体之间的残差,并将噪声残差应用于提案以生成假设,然后通过迭代步骤对假设进行精确的盒子预测,从而在现有的三维物体检测模型中持续改进性能。
Oct, 2023
本文介绍了一种姿势细化网络,它可以在现有神经网络的基础上直接预测细化的姿态。通过使用新颖的数据增强方案进行训练,我们的方法在四个大型姿势估计基准测试中得到了系统的改进。
Apr, 2018
DPoser 是一种基于扩散模型的强大而多功能的人体姿势先验,它在包括人体网格恢复、姿势完成和动作降噪在内的各种姿势中心应用中无缝集成,并通过采用变分扩散采样进行有效求解,它在多个任务中展示了其优越性。
Dec, 2023
本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法,称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图,通过 PnP 和 RANSAC 计算六自由度姿态,并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同,我们对合成数据和真实训练数据进行评估,显示出在所有最近的检测器中,此方法无论先前和后面都能够获得优异的结果。虽然具有精度,但本方法仍然具有实时性能。
Feb, 2019
我们引入了 Diff-DOPE,这是一种 6 自由度姿态微调器,其输入为图像、一个物体的 3D 纹理模型和物体的初始姿态。这种方法使用可微渲染来更新物体姿态,以减小图像与模型投影之间的视觉误差,我们展示了这种简单且有效的想法能在姿态估计数据集上达到最先进的结果。我们的方法与最近的方法有所不同,最近的方法中姿态微调器是在大型合成数据集上训练的深度神经网络,用于将输入映射到微调步骤,而我们的可微渲染的使用使我们能够完全避免训练。我们的方法可以同时进行多个梯度下降优化,使用不同的随机学习率,以避免对称对象、相似外观或错误步长的局部最小值。可以使用各种模态,例如 RGB、深度、强度边缘和物体分割掩码。我们进行了一系列实验,研究了各种选项的效果,结果表明,当 RGB 图像与物体掩码和深度图像一起用于引导优化过程时,能获得最佳的结果。
Sep, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行 3D 人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为 3D-HPE 研究开辟了新的激动人心的领域。
Sep, 2023
基于扩散模型和逆扩散算法的 6D 物体姿态估计框架,在减少噪声和不确定性的基础上实现准确的 2D-3D 对应,并通过对物体特征进行条件优化,取得了较好的性能。
Dec, 2023