利用扩散模型改进 2D-3D 稠密对应关系以提高 6D 物体姿态估计
基于扩散模型和逆扩散算法的 6D 物体姿态估计框架,在减少噪声和不确定性的基础上实现准确的 2D-3D 对应,并通过对物体特征进行条件优化,取得了较好的性能。
Dec, 2023
本研究提出了一种新的扩散设置,可以仅通过 2D 图像监督就可以进行端到端的训练,同时提出的图像形成模型将模型内存与空间内存分离,以应对 3D 扩散模型在训练上遇到的问题,并在 CO3D 数据集上进行的实验表明,该方法是可扩展的,具有稳健性,与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。
Mar, 2023
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
本研究介绍了一种基于 SE (3) 扩散模型的点云注册框架,用于实现现实场景下的 6D 物体姿态估计。我们的方法将 3D 注册任务作为一种去噪扩散过程,逐步改进源点云的姿态,以与模型点云精准对齐。通过 SE (3) 扩散过程和 SE (3) 反向过程对我们的框架进行训练。
Oct, 2023
本文提出了一种基于密集对应的三阶段六自由度物体检测方法,称为 DPODv2(密集姿势物体检测器),结合了 2D 物体检测与密集对应估计网络以及多视图姿态细化方法来估计完整的 6 自由度姿态,其使用了不同成像模式(RGB 或 Depth)作为输入。实验结果表明,RGB 成像在对应估计方面表现优异,而如果存在良好的 3D-3D 对应,则深度成像可提高姿势精度。
Jul, 2022
通过引入得分基础扩散方法进行 $SE (3)$ 分组,针对姿态估计任务进行特定设计,优化 Langevin 动力学的收敛性和计算效率。在实验中,证明该方法处理姿态的模糊性,缓解透视引起的模糊性并展示了该 surrogate Stein 分数制定在 $SE (3)$ 上的鲁棒性。因此,我们开创了一种有前途的 6D 对象姿态估计策略。
May, 2023
通过将 Diffusion 模型与特征提取技术相结合,本文提出了 Zero123-6D 方法,并在 CO3D 数据集上进行了实验,展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。
Mar, 2024
本文提出了一个新颖的端到端框架,用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块,我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
Aug, 2023
提出一种新颖的图像编辑技术,可以在单幅图像上进行三维操作,如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型,实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑,突破了单幅图像三维感知编辑的可能性的局限。
Mar, 2024
本文结合传统的基于模型的迭代重建方法和现代扩散模型,提出了一种高度有效的方法来解决 3D 医学图像重建任务,包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验,从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行,并且在最极端情况下(例如 2 视的 3D 断层扫描)表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高,并且可以用于重建与训练数据集完全不同的体积。
Nov, 2022