Jun, 2022

从大型语言模型中提取零样机通用常识，用于机器人三维场景理解

PDF
TL;DR提出了一种使用大型语言模型中通用的常识知识为机器人场景中的物品进行标记，该算法不需要任务特定的预训练，并且可以泛化到任意房间和物品标签 —— 这是机器人场景理解算法中非常理想的特征。该算法基于由现代空间感知系统产生的 3D 场景图，并希望将为机器人提供更具有可推广性和可扩展性的高级 3D 场景理解铺平道路。
semantic 3d scene understandingroboticscommon sense knowledgelanguage models3d scene graphs
发现论文，激发创造
  • 利用大型语言模型进行机器人三维场景理解

    探讨使用大量语言模型来实现场景理解的常识；介绍了三种利用语言对包含对象的室内环境进行分类的范例：（i）零样本方法，（ii）前馈分类器方法和（iii）对比分类器方法，在现代空间感知系统生成的 3D 场景图上进行操作，并通过分析每种途径，展示了显着的零样本泛化和转移能力；最后，展示了这些方法也适用于推断包含房间的建筑标签，并在真实环境中展示了零样本方法。

    Sep, 2022

  • 探索大型语言模型作为机器人的常识知识来源

    本研究使用大型语言模型（LLMs）研究了服务机器人需要常识知识帮助人类在日常情境中，以便他们理解其行为的上下文。实验揭示了在选择性提取情境行动知识方面的有限效果，表明单独使用 LLMs 可能不足够。然而，大规模提取一般性、可行性知识显示出潜力，表明 LLMs 可以成为有效创建机器人本体论的工具。该论文展示了知识提取技术可以应用于填充极简本体论，展示了 LLMs 与形式化知识表示的潜在合作能力。

    Oct, 2023

  • 大型语言模型中常识知识的系统调查

    本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

    Oct, 2021

  • Agent3D-Zero：一种用于零样本三维理解的智能体

    通过引入 Agent3D-Zero 框架，我们能够以零样本学习的方式处理三维场景理解问题，通过选择和分析一系列视点来促进三维理解，并利用自定义的视觉提示来增强模型的能力。大量实验证明了该框架在理解各种以前未见的三维环境方面的有效性。

    Mar, 2024

  • 学习视觉通识以实现强健场景图生成

    论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法，并使用 Transformer 模型结合场景图结构训练了 GLAT 模型，该模型可以纠正明显的错误。通过实验证明，该模型比其他方法更好地学习了视觉常识，并提高了最先进场景图生成模型的准确性。

    Jun, 2020

  • 利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人

    利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

    Mar, 2024

  • 认知机器人的常识场景语义：走向基于视觉 - 运动相互作用的根源

    本文提出了一个基于人类重心的空间和运动表示的低层次视觉处理与高层次人类中心的空间和运动表示相结合的方法来解决物体交互和室内运动等问题。

    Sep, 2017

  • 将常识推理和知识获取结合，为机器人的深度学习提供指导

    该论文提出了一种基于认知系统的深度网络模型，以探索深度网络模型内部表示和推理机制的知识表示、推理和学习挑战，并通过使用空间关系的接地和递增式的学习，以及基于非单调逻辑推理和基础常识域知识的决策，实现对场景中物品遮挡和稳定性的推理，通过识别与任务相关的图像区域训练深度网络模型来提高决策的可靠性和减少相关的训练工作量。

    Jan, 2022

  • 基于常识知识图谱的零样本学习

    使用 TrGCN 结构，从 common sense knowledge graphs 中，学习类别的表示形式，有效地提高了 zero-shot learning 的准确性。

    Jun, 2020

  • LLM-Grounder：使用大型语言模型作为代理人进行开放词汇三维视觉对接

    LLM-Grounder 是一种零样本、开放词汇量的基于大型语言模型（LLM）的 3D 视觉定位流水线。通过将复杂自然语言查询拆解为语义元素，并利用可视化定位工具识别 3D 场景中的对象，LLM-Grounder 评估所提议对象之间的空间和常识关系，从而做出最终的定位决策。该方法不需要有标签的培训数据，可应用于新型 3D 场景和任意文本查询，显示出最先进的零样本定位准确性。研究结果表明，LLM 显著提高了定位能力，尤其对于复杂语言查询，在机器人的 3D 视觉语言任务中，LLM-Grounder 是一种有效的方法。

    Sep, 2023