Sep, 2023

学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

PDF
TL;DR通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。
发现论文，激发创造
  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 3D 一般物体的原始功能无监督学习

    通过自我监督方法，以及使用相对方向和近距离的人物和物体点之间的关系定义的新型能力表征，我们提出了一种创新的方法来生成三维能力示例，展示了我们方法和表征的有效性。

    Jan, 2024

  • 学习 3D 环境中互动探索的可承受性景观

    本研究利用增强学习方法，通过自主探索实现对未经探测的三维环境的机器人智能互动，其中包括对可利用对象的发现、高效自主行动的学习以及使用基于图像的可利用区域分割模型。实验表明，基于该方法的机器人可以智能地操作新的家居环境，并为进行下游任务，如 “找刀并将其放入抽屉中”，进行了充分的准备。

    Aug, 2020

  • 基于文本的从第一人称视角的作用感知学习

    通过文本指导的能力学习方法，学习机器人接触点和操纵轨迹，实现对实际场景中多样化互动的理解。

    Apr, 2024

  • 一次性几何驱动的交互张量用于自我中心作用感知检测

    利用几何信息推断三维场景中的互动信息和可能性，并在机器人和增强现实场景中进行实验，结果表明可以在新颖信搏的环境下以快速率进行预测。

    Jun, 2019

  • 3D AffordanceNet：视觉物体可供性理解的基准测试

    本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

    Mar, 2021

  • 信息驱动的适应性发现助力高效机器人操作

    通过与环境的有针对性互动，我们提出了一种基于信息的方法来加速机器人的能力发现过程，从而减少对大量标注数据集的依赖，实验证明这种方法在仿真和真实世界任务中都能有效地发现视觉能力，提高数据效率。

    May, 2024

  • 学习正确的行为：从图像预测和解释可供性

    本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

    Dec, 2017

  • 对自我中心动作视频数据集的精准可负担注释

    本文提出了一种有效的注释方案，通过将目标无关的运动动作和抓握类型作为能力标签，并引入机械动作概念来描述两个物体之间的动作可能性，解决了现有数据集中的问题，并通过将此方案应用于 EPIC-KITCHENS 数据集来验证了模型的有效性。

    Jun, 2022

  • 将人类置于场景中：学习 3D 室内环境中的可支配性

    本论文探讨了在三维室内场景中预测人类动作所需的可负担性建模技术，并通过引入语义和几何结构来创建大规模数据集合并使用三维姿态合成器预测出语义合理的人体姿态。最终的可负担性预测方法能够持续胜过现有的最新方法。

    Mar, 2019