EMNLPOct, 2022

DANLI：根据自然语言指令执行的思考代理

PDF
TL;DR本文提出了一种基于神经和符号表示的推理代理，它在遵循语言指令的同时，基于过去的经验（例如自然语言和自我中心视觉）积极应用推理和计划，从而实现了大于 70％ 的改进，并提供了令人印象深刻的透明度和可解释性。
embodied ai agentsneuro-symbolic agentinstruction followingreasoning and planningtransparency
发现论文，激发创造
  • JARVIS: 一种面向对话体现代理的神经符号常识推理框架

    通过将大语言模型与视觉信息相结合，建立了一种神经符号共同思考推理框架 JARVIS，用于构建可解释且高效的对话体载体，结果达到了现有方法中最优结果。

    Aug, 2022

  • 通过交互式基于语境的语言指导重新定义具有代表性的代理人能力，改变以人为中心的 AI 协作

    本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

    May, 2023

  • 使具有身体的代理程序理解人类指令

    提出了一种名为 tagE 的新系统，采用神经网络模型来从复杂的自然语言任务说明中提取一系列任务和相应的参数，并将这些任务映射到机器人的技能集合中，参数与环境中的对象关联。实验证明这种方法胜过坚实的基线模型。

    Oct, 2023

  • 通过生成和遵循自然语言指令进行分层决策

    使用自然语言隐式指令作为复杂动作的表达和组合，而不是直接选择微操作，本文基于 76,000 个自然语言指令和操作的数据集在实时策略游戏环境中训练模型，结果表明使用自然语言作为潜变量的模型在动作表达中的有效性显著优于直接模仿人类动作的模型，并且语言的组合结构对其有效性具有关键作用。同时提供了代码、模型和数据。

    Jun, 2019

  • 通过从文本的迁移学习进行深度强化学习的人类指令遵循

    通过使用预先训练的文本语言模型（BERT），我们提出了一种简单的方法来训练使用深度 RL 的指令跟踪代理，以适应自然人指令，从而在人类给出自然指令的情况下，实现从合成模板命令到指令的零 - shot 传输。

    May, 2020

  • 理解代理程序：利用大型语言模型进行行为解释

    基于状态和行为观察生成自然语言解释，不依赖于基础模型的表示，能解释智能代理行为，使用户能够与预训练的大型语言模型进行交互并生成有助于解释与推理的解释。

    Nov, 2023

  • 任务驱动的具有体感的对话智能体（TEACh）

    引入 TEACh 数据集，通过三个基准测试，研究基于人类空间的机器人必须能够与人进行自然语言交互，理解和执行指令，使用会话来解决模糊性并从错误中恢复的具体挑战。

    Oct, 2021

  • 符号学习推动自进化智能体

    通过使用代理符号学习的系统性框架，本文介绍了一种使语言代理能够在数据中心的方式下自我优化的方法，为实现人工通用智能提供了关键的可能性。

    Jun, 2024

  • 用大型语言模型解释代理行为

    智能代理通过观察状态和行为生成自然语言解释，以理解其行为，从而促进与用户的互动。

    Sep, 2023

  • 走向基础模型统一的智能体

    通过在强化学习代理中嵌入和利用语言模型和视觉语言模型的能力，我们设计了一个框架，将语言作为核心推理工具，能够处理一系列强化学习挑战，如有效的探索、重用经验数据、调度技能以及从观察中学习，从而改进了在模拟的机器人操作环境中的性能，并展示了如何利用学到的技能解决新任务或模仿人类专家视频。

    Jul, 2023