本文提出了一种基于身体的问答任务，即 Embodied Question Answering，通过放置一个 agent 在 3D 环境中，学习结合场景理解、导航和语言理解等能力，实现在视觉世界中进行复杂推理。为了探索 EQA 系列任务的可行性，我们构建了 VideoNavQA 数据集，评估了各种模型在此数据集上的表现。

Aug, 2019

本文提出了一个基于序列阅读的外部内存读取模型 Episodic Memory Reader, 并结合强化学习代理进行记忆筛选，用于在大规模数据流中进行问答。实验结果表明该模型在文本 QA 和视频 QA 任务中相较于传统记忆调度策略或独立序列学习的强化学习 baseline 有了更好的表现。

Mar, 2019

本文提出了一种基于知识的具身问答 (Knowledge-based Embodied Question Answering, K-EQA) 任务，其中智能体通过利用知识来探索环境以回答各种问题。为解决这一问题，本文提出了一种基于神经程序合成推理的新框架，同时进行外部知识和 3D 场景图的联合推理，以实现导航和问答。实验结果表明，该框架能够在具身环境中回答更加复杂和现实的问题，并且该方法也适用于多智能体场景。

Sep, 2021

本文旨在解决在长时间自我中心视频中的开放式问题回答，提出一种综合模型来减少错误传播、利用大语言模型进行高效可扩展的数据合成，并引入一个闭合式问题回答任务以管理答案的模糊性。实验证明了我们的方法的有效性，并在 QAEgo4D 和 Ego4D-NLQ 基准测试中达到了最先进的性能。

Dec, 2023

本文介绍了一项新的 AI 任务 -- 实体问答（EmbodiedQA），其中智能体在随机位置生成于 3D 环境中，通过主动感知、语言理解、目标导向的导航、常识推理和语言行动化等一系列 AI 技能完成问答任务，同时我们也开发了 EmbodiedQA 环境、端到端训练的强化学习智能体和评估协议。

Nov, 2017

SpotEM 是一种有效的远程视频检索方法，它使用语义索引和剪辑选择器技术减少检索时耗费的时间和计算资源。

Jun, 2023

提出了一种基于地图的模块化 EMQA 方法，通过基于边界的地图创建，使用支持开放词汇表的基础模型，使得真实机器人能够在未知环境中导航，并针对未知问题答案对进行处理，在虚拟环境和两个真实家庭环境上进行了综合实验，证明了方法在真实世界中的有效性。

May, 2024

本研究提出了一种基于模块化架构和可执行子程序的多目标环境问答（MT-EQA）技术，可以有效解决问答中存在多个目标时的语义分析和推理问题，得到了优于现有方法和基准的实验效果。

Apr, 2019

通过问题回答对现实生活中的个人行为视频进行对话式任务理解，以制定 EgoTaskQA 基准，并在其中对最先进的视频推理模型进行评估，以此引导视觉界朝着面向目标的视频理解和推理的方向前进。

Oct, 2022

我们提出了一种记忆增强系统，利用自然语言编码和存储视频数据，并借助大型语言模型进行查询，旨在解决生活记录大量数据和高效检索特定信息的挑战。通过使用 QA-Ego4D 数据集评估我们的系统，在 BLEU 分数上取得了 8.3 的最先进结果，优于传统机器学习模型的 3.4 到 5.8 的成绩。在用户研究中，与人工参与者的 2.46/5 的得分相比，我们的系统在现实生活情景记忆任务上获得了更高的平均回应得分 4.13/5。

Aug, 2023