Nov, 2023

基于基础模型的一次打开可行性学习

PDF
TL;DR介绍了一种单次打开机会学习（OOAL）方法，通过仅使用基本目标类别的一个示例进行训练，但可以识别新的对象和作用条件。实验表明，该方法在两个作用条件分割基准测试中胜过了现有模型，仅使用不到全量训练数据的 1％，并展现了对未知对象和作用条件的合理泛化能力。
发现论文，激发创造
  • Where2Explore: 面向未见过的可动物体新类别的少样本可用性学习

    通过引入‘Where2Explore’，一个能够有效地在有限数量的实例上探索新类别的可行性学习框架，本文解决了在机器人学中基础而又具有挑战性的关节物体操作问题，实现了有效的少样本学习与推广。

    Sep, 2023

  • AffordanceLLM: 视觉语言模型的作用感基础

    通过利用经过预训练的大规模视觉语言模型中的丰富世界、抽象和人 - 物体相互作用知识，我们提出的模型在自然环境中的对象可承受性接地任务上展示出明显的性能提升，我们进一步证明它可以对训练过程中未见过的随机互联网图像中的对象进行可承受性接地。

    Jan, 2024

  • GRAFFORD: 一份基准数据集，用于测试语言和视觉模型对物体功能的知识

    通过研究预训练语言模型和预训练视觉 - 语言模型对对象适用性的认知，我们发现预训练语言模型在处理不常见的对象适用性时存在有限的推理能力，并且预训练视觉 - 语言模型不一定能有效捕捉对象适用性。通过少样本微调，我们展示了在预训练语言模型和预训练视觉 - 语言模型中改进对象适用性知识的方法。

    Feb, 2024

  • 以交互为预训练的地面功能表示学习

    借助神经网络建模物体状态，可以实现有效的物体功能信息提取并与传统语义学模型相结合，能够在基于图像的语言学习上取得更好的表现。

    Jul, 2022

  • 3D 一般物体的原始功能无监督学习

    通过自我监督方法，以及使用相对方向和近距离的人物和物体点之间的关系定义的新型能力表征，我们提出了一种创新的方法来生成三维能力示例，展示了我们方法和表征的有效性。

    Jan, 2024

  • 重访视觉基础模型时代的主动学习

    基于基础模型的主动学习策略通过利用稳定的表示形式，平衡不确定性估计和样本多样性，在标签效率方面取得了令人印象深刻的成果。

    Jan, 2024

  • 从游戏中学习可操作性以实现高效策略学习

    提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

    Mar, 2022

  • 通过想象视觉可供性学习新技能：我在这里能做什么？

    本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

    Jun, 2021

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 3D AffordanceNet：视觉物体可供性理解的基准测试

    本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

    Mar, 2021