Sep, 2023

基于 RGBD 变形模型和综合移动数据集的亚厘米精度数字双生跟踪

PDF
TL;DR数字孪生技术在移动增强现实环境中，通过创建精确的物理对象数字副本，对于重塑三维物体追踪和定位场景具有重要潜力。本文基于我们之前的工作《数字孪生追踪数据集》（DTTD），针对移动增强现实环境中的挑战，提出了一种基于转换器的 6 自由度姿态估计器，并引入了使用 iPhone 14 Pro 的创新 RGBD 数据集，通过大量实验和深入分析，证明了我们方法在处理深度数据错误时的有效性，超过现有基线的性能。代码将公开提供。
发现论文，激发创造
  • 利用残差重建 RGB-D 相机动态环境下的三维模型

    本文提出了一种基于 RGB-D 传感器的方法，能够稳定地在包含多个动态元素的场景中进行地图绘制和定位，并在现有数据集上对其进行评估和发布。

    May, 2019

  • TransPose: 一个基于 Transformer 的六自由度物体姿态估计网络与深度修正

    该研究提出了一种改进的基于 Transformer 的 6D 位姿估计方法 TransPose，它利用 RGB 图片作为输入，结合轻量级深度估计网络和变压器检测网络，并通过深度细化模块对位姿进行精度优化，在果树采摘应用方面取得了优于其他现有方法的效果。

    Jul, 2023

  • 推动增强现实中的 6D 姿态估计 — 克服非受控图像的投影模糊

    本研究主要解决在增强现实（AR）中准确估计六自由度姿态的挑战，我们提出了一种新颖的方法，通过分解 z 轴平移和焦距的估计，利用 FocalPose 架构中内置的神经渲染和比较策略，从无控制的 RGB 图像中准确估计六自由度姿态，并显著提高了 AR 环境中三维物体叠加的准确性，实验结果表明在六自由度姿态估计准确度上有明显改进，该研究成果对制造业和机器人领域具有潜在的重要应用。

    Mar, 2024

  • 使用合成数据校准图像残留值实现基于数据的 6D 位姿跟踪

    该研究提出了一种基于数据驱动的优化方法，用于长期跟踪 6D 姿态，通过使用新颖的神经网络架构和有效的 Lie 代数 3D 方向表示法，可以同时减少域偏移，实现在虚拟数据集和真实图像上的更好表现。

    Jul, 2020

  • 基于数字孪生技术的边缘辅助移动增强现实三维地图管理

    本篇论文提出了一种数字孪生基于的 3D 地图管理方案，利用模型驱动增强学习算法对摄像头逐帧预测和上传，以解决动态环境中边缘增强现实设备姿态估计不确定性和数据不足的问题。模拟结果表明，该方案可以在动态环境中实现更低的姿态估计不确定性和更高的数据效率。

    May, 2023

  • 基于深度模型的 RGB 图像中的 6D 姿态细化

    本研究提出了一种基于深度神经网络的视觉损失函数，通过对凸形物体外轮廓的对齐来驱动位姿更新进行模型为 6D 姿态精修的处理，方法无需确定外观模型、免除了手动图像分割、同时能够处理遮挡问题和几何不对称性与视觉模糊问题，并且能够在没有深度数据的情况下准确地估算物体位姿。

    Oct, 2018

  • ARKitTrack：一种利用移动 RGB-D 数据进行跟踪的新多样化数据集

    本论文提出 ARKitTrack 数据集，包含 300 个 RGB-D 序列，455 个目标，总计 229.7K 个视频帧和 123.9K 像素级目标遮罩，并提供每个帧的相机内参和相机姿态信息。此外，研究人员还提出了一种新的跨模态 3D 几何一般方法，该方法将 RGB 特征与俯视图表示相结合，以更好地探索交叉模态 3D 几何信息。实验证明，ARKitTrack 数据集可以显著促进 RGB-D 跟踪，并且所提出的基线方法比当前技术水平更具优势。

    Mar, 2023

  • HomebrewedDB：用于 3D 物体 6D 姿态估计的 RGB-D 数据集

    本文介绍了一个新的数据集和基准测试标准，主要针对从 3D 模型（有纹理和无纹理）训练，可扩展性，遮挡，光照和物体外观的变化等方面测试 6D 姿态估计算法的性能，并使用最先进的 DPOD 检测器来设置基线。

    Apr, 2019

  • DepthTrack: 揭示 RGBD 跟踪的威力

    该论文介绍了一种新的 RGBD 跟踪数据集 - Depth-Track，其中有 200 个序列，40 种场景类型和 90 个对象，并建立了一个新的 RGBD 跟踪基准 DeT，揭示了真正的训练数据对深度 RGBD 跟踪的益处。

    Aug, 2021

  • 通过学习 RGB-D 特征实现鲁棒的 6D 物体姿态估计

    本文提出了一种离散连续的旋转回归公式来解决对称物体旋转不确定性问题，并通过点聚集向量来检测物体位置，并在 LINEMOD 和 YCB-Video 基准测试中得到比现有方法更好的表现。

    Feb, 2020