Nov, 2017

具身化问答

PDF
TL;DR本文介绍了一项新的 AI 任务 -- 实体问答（EmbodiedQA），其中智能体在随机位置生成于 3D 环境中，通过主动感知、语言理解、目标导向的导航、常识推理和语言行动化等一系列 AI 技能完成问答任务，同时我们也开发了 EmbodiedQA 环境、端到端训练的强化学习智能体和评估协议。
embodied question answering3d environmentartificial intelligencereinforcement learninggrounding
发现论文，激发创造
  • 基于知识的具身化问答

    本文提出了一种基于知识的具身问答 (Knowledge-based Embodied Question Answering, K-EQA) 任务，其中智能体通过利用知识来探索环境以回答各种问题。为解决这一问题，本文提出了一种基于神经程序合成推理的新框架，同时进行外部知识和 3D 场景图的联合推理，以实现导航和问答。实验结果表明，该框架能够在具身环境中回答更加复杂和现实的问题，并且该方法也适用于多智能体场景。

    Sep, 2021

  • 多目标身体化问答

    本研究提出了一种基于模块化架构和可执行子程序的多目标环境问答（MT-EQA）技术，可以有效解决问答中存在多个目标时的语义分析和推理问题，得到了优于现有方法和基准的实验效果。

    Apr, 2019

  • 重新审视 EmbodiedQA：一个简单的基准线和更多

    该论文在 Embodied Question Answering (EmbodiedQA) 中通过调整基线优化并引入蒸馏网络的方法，提高了在新场景下代理策略的泛化性，显著提升了导航能力。

    Apr, 2019

  • VideoNavQA: 填补视觉与行为问答之间的差距

    本文提出了一种基于身体的问答任务，即 Embodied Question Answering，通过放置一个 agent 在 3D 环境中，学习结合场景理解、导航和语言理解等能力，实现在视觉世界中进行复杂推理。为了探索 EQA 系列任务的可行性，我们构建了 VideoNavQA 数据集，评估了各种模型在此数据集上的表现。

    Aug, 2019

  • 通过问答学习实体视觉导航和任务完成

    该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

    Feb, 2023

  • 盲目基准测试用于具身化问答

    本论文针对 “实体位置回答问题 (Embodied Question Answering)” 问题，探索盲基线 (仅问题，无视环境和视觉信息) 的应用，并通过实验在 EQAv1 数据集上表明在除极近物体的情况下，盲基线能够实现 EmbodiedQA 任务的最优结果。

    Nov, 2018

  • 基于地图的模块化方法用于零说明笔体问答

    提出了一种基于地图的模块化 EMQA 方法，通过基于边界的地图创建，使用支持开放词汇表的基础模型，使得真实机器人能够在未知环境中导航，并针对未知问题答案对进行处理，在虚拟环境和两个真实家庭环境上进行了综合实验，证明了方法在真实世界中的有效性。

    May, 2024

  • 探索直至自信：面向体验式问答的高效探索

    我们提出了一种基于语义推理和视觉语言模型的方法，通过构建语义地图和使用自校准来提高机器人的提问回答和探索效率。

    Mar, 2024

  • 情节记忆问答

    通过 Episodic Memory Question Answering (EMQA) 任务以及一系列数据集和模型的介绍，本文阐述了在面向家居环境下，使用智能语音助手等 AR 设备进行信息沟通的场景中，利用换人的机器学习算法，更好地实现 AI 视觉辅助的目标。

    May, 2022

  • 体感人工智能综述：从模拟器到研究任务

    本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

    Mar, 2021