Aug, 2022

JARVIS: 一种面向对话体现代理的神经符号常识推理框架

PDF
TL;DR通过将大语言模型与视觉信息相结合，建立了一种神经符号共同思考推理框架 JARVIS，用于构建可解释且高效的对话体载体，结果达到了现有方法中最优结果。
neuro-symbolic commonsense reasoning frameworkconversational embodied agentslanguage understandingsub-goal planningstate-of-the-art
发现论文，激发创造
  • JARVIS-1: 开放世界多任务智能体及伴有增强记忆的多模态语言模型

    JARVIS-1 是一个在开放世界中能够感知多模态输入、生成复杂计划和执行控制的智能体，在 Minecraft 宇宙中完成了超过 200 个任务，包括了从入门到中级难度的任务，并且在长期目标挖掘任务中取得了无与伦比的 12.5% 完成率，比以往记录提高了 5 倍以上。通过多模态记忆，JARVIS-1 能够不断自我提升，实现了更通用的智能和改进的自主性。

    Nov, 2023

  • DANLI：根据自然语言指令执行的思考代理

    本文提出了一种基于神经和符号表示的推理代理，它在遵循语言指令的同时，基于过去的经验（例如自然语言和自我中心视觉）积极应用推理和计划，从而实现了大于 70％ 的改进，并提供了令人印象深刻的透明度和可解释性。

    Oct, 2022

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022

  • OmniJARVIS: 统一的视觉 - 语言 - 行为标记使得开放世界指导跟随代理

    OmniJARVIS 是一个新颖的视觉 - 语言 - 动作（VLA）模型，用于开放世界 Minecraft 中的指令跟随代理。通过对多模态交互数据进行统一分词，OmniJARVIS 能够具备强大的推理和高效的决策能力，并在开放世界 Minecraft 中的多种任务上表现出优异的性能。

    Jun, 2024

  • 基于神经常识知识和符号逻辑规则的多跳对话推理

    本文提出了一种用于对话代理的零样本通识推理系统，可以通过基于转换器的生成通识知识库找到用户命令中未明示的假设，同时提出了一种动态问题生成策略来从人类用户中提取缺失的知识，实验表明，相比现有技术，成功率提高了 35%。

    Sep, 2021

  • 一种可解释的神经符号推理框架，用于任务导向的对话生成

    本文旨在研究任务驱动对话系统的可解释性，提出了一种采用前后明确逻辑推理的神经符号学方法，并设计了一种由假设生成器和推理器构成的两阶段方法来克服多跳推理带来的错误传播问题，实验结果证明该方法不仅获得了更好的效果，而且具有可解释性决策过程。

    Mar, 2022

  • 面向对话 AI 的常识推理：现有技术综述

    本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

    Feb, 2023

  • 通用的神经符号系统用于常识问答

    介绍了如何使用适合的神经符号模型来实现领域泛化和下游任务的鲁棒性，讨论了整合神经语言模型和知识图谱的不同方法，并对各种常识问答基准数据集进行了定量评估和定性错误分析。

    Jan, 2022

  • 谈话式神经符号常识推理

    为了能让对话式 AI 系统拥有更自然和广泛的对话，需要更多常识，包括识别对话伙伴的不明说的假设。本研究提出了一个基于神经符号定理证明器的多跳推理链提取方法来理解这类不精确陈述的自然语言命令，并提供一个交互式对话框架来从人类中挖掘常识知识来完善其推理链。

    Jun, 2020

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022