CVPRFeb, 2022

使用交互构建关节对象的数字孪生模型

PDF
TL;DR本文介绍了 Ditto 模型，它是一个通过交互感知的方式学习配置模型估计和立体几何重建的数字孪生模型，可用于虚拟环境中的应用。使用隐式神经表示来实现联合几何和构建模型，可以实现物体的数字孪生模型制作和物理仿真应用。
发现论文，激发创造
  • 室内模型的交互感知式建模

    为了在日常生活中与可动物体实现互动，本文探索了通过机器人在室内场景中有目的地交互以建立室内场景的可动模型的方法，并引入了一个名为 Ditto in the House 的交互感知方法，通过可行性预测发现可能的可动物体，与这些物体交互以产生可动运动，并从每次交互前后的视觉观察中推断出其可动性质。

    Feb, 2023

  • 未知关节物体的数字双胞胎建模的神经隐式表示

    我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。

    Apr, 2024

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • ContactArt：学习类别级可观测物体和手势姿态的三维交互先验

    通过视觉远程操作收集数据和获取姿态估计和接触信息，提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习，可以提高联合手和关节物体姿态估计的性能。

    May, 2023

  • DexArt：对具有关节的对象进行通用的熟练操纵的基准测试

    为了实现通用的机器人，我们需要使机器人像人类一样操作日常关节物体。本论文提出了一种新的基准测试 DexArt，并研究了具有关节物体的熟练操作的通用性。我们使用强化学习和三维表示学习来实现泛化，通过广泛的研究，提供了 3D 表示学习如何影响决策制定的新见解。

    May, 2023

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • 利用产品数字孪生进行汽车零售结账训练

    通过优化训练数据集并结合数字双胞胎的方法，实现了在智能零售中自动化结账过程的改善和准确性提高。

    Aug, 2023

  • 关于关节化物体建模的调查

    计算机视觉和图形中关于 3D 建模和关节物体建模的最新综述研究，着重讨论几何处理和关节建模的相关文献，强调了这些领域的重大进展，并且指出了未来研究的空缺。

    Mar, 2024

  • DITTO：轨迹转换实现示范模仿

    通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

    Mar, 2024