Sep, 2023

D$^3$Fields：动态三维描述场用于零样本泛化机器人操作

PDF
TL;DR介绍了 D$^3$Fields 动态三维描述符场，它能够捕捉三维环境的动态性，并对语义特征和实例掩膜进行编码。在零样本机器人操作任务中，通过对不同背景、风格和实例的多视图二维观测进行特征插值，生成的融合描述符场允许灵活的目标规范。通过在现实世界和模拟环境中进行广泛评估，证明了 D$^3$Fields 在零样本机器人操作任务中具有良好的泛化和操作精度，相对于 Dense Object Nets 和 DINO 等最先进的密集描述符，D$^3$Fields 具有显著更好的泛化能力和操作准确性。
发现论文，激发创造
  • 野外单幅图像三维模型检索的位置场描述符

    提出了基于位置场描述符的单张图像三维模型检索方法，利用位置场来实现从 2D 像素到 3D 表面坐标的对应，从而明确地捕捉 3D 形状和位姿信息，前期融合 3D 模型和 RGB 图像的核心瓶颈位置场预测能够规范化数据，拟合更多的虚拟数据，提高模型鲁棒性，最终在多项 3D 检索指标上以高达 20% 的绝对值优势显著超越现有技术。

    Aug, 2019

  • 神经描述符域：SE（3）- 等变物体表征用于操作

    提出了神经描述器场（NDF），一种通过类别级别描述符编码物体和目标（例如机器人夹子或挂架）之间的点和相对姿态的物体表示。通过自我监督学习 3D 自编码任务来方便地训练 NDFs，并将其用于从少量示范中学习物体操作任务，具有跨越所有可能的 3D 物体翻转和旋转的性能。

    Dec, 2021

  • 蒸馏特征场在少样本语言引导操纵中的应用

    使用自我监督学习和语言监督学习的图像模型，结合精确的 3D 几何知识和丰富的 2D 语义特征，提出一种在机器人操作中填补 2D 到 3D 差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。

    Jul, 2023

  • 动态点场

    本文提出了一种动态点场模型，它将显式点图形的表现优势与隐式形变网络相结合，以便有效地建模非刚性 3D 表面，并演示了该模型在创建表情逼真的可动人体形象方面的优势。

    Apr, 2023

  • 快速高效：用于 3D 场景分割的掩模神经场

    通过底层模型的信号转换，快速高效地进行弱监督下的 3D 场景分割。

    Jul, 2024

  • 神经特征融合场：自监督二维图像表征的三维蒸馏

    使用神经特征融合场（N3F）方法，将预训练的 2D 图像特征提取器引入到对可重建为 3D 场景的多个图像的分析中，以学习在 3D 空间中定义的用于提取特征的学生网络，证明在各种任务中， including 2D 对象检索、3D 分割和场景编辑，N3F 不仅在特定场景神经场上实现了语义理解而且一贯优于自监督 2D 基线。

    Sep, 2022

  • 学习用于机器人操作的 3D 动态场景表达

    介绍了一种通过同时发现、跟踪、重构对象及预测其动态来捕获三个关键对象属性的三维动态场景表示方法 DSR，基于此提出了 DS 核网络 DSR-Net 模型，在建立和优化 DSR 模型的过程中逐渐聚合视觉观测，并在仿真和实际数据上实现了 3D 场景动力学建模的最新性能，结合模型预测控制，也为下游机器人操作任务如平面推动提供了准确规划的能力。

    Nov, 2020

  • Grasping Field: 学习人手抓取的隐式表示

    通过学习基于隐式表征的对象重建的最新进展，借鉴其思想，提出了一种高效且易于与深度神经网络集成的人体抓握模型表示，通过手、对象和接触区隐式表面的 3D to 2D 映射，生成高质量、物理合理的人体抓握姿态，实验结果表明，与现有方法相比，该方法取得了可比拟的性能。

    Aug, 2020

  • SparseDFF：一次性灵巧操作的稀疏视图特征蒸馏

    通过开发 Distilled Feature Field（DFF）作为 3D 场景表示，我们引入 SparseDFF 方法，从稀疏的 RGBD 观测中获取视角一致的 3D DFFs，实现一次性学习可转移到新场景的灵巧操作，同时展示了面对物体和场景上下文变化时的稳健泛化。

    Oct, 2023

  • 等变描述符场：SE（3）等变能量模型用于端到端的视觉机器人操作学习

    本文利用李群的表示理论构建了新的 SE (3) - 等变能量模型，允许高样本的端到端学习。我们证明这些模型可以从头开始学习，但具有很高的样本效率，并且可以推广到具有不同要求的任务中。

    Jun, 2022