本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

Jun, 2024

通过使用多个预训练模型从广泛的自我中心视频内容中回答查询，本研究引入了 LifelongMemory，这是一种利用大型语言模型和视觉语言模型的新框架，以解决在复杂的视觉语言任务中捕捉长距离时间依赖关系的问题。

Dec, 2023

本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

Jun, 2023

本文提出了一种基于身体的问答任务，即 Embodied Question Answering，通过放置一个 agent 在 3D 环境中，学习结合场景理解、导航和语言理解等能力，实现在视觉世界中进行复杂推理。为了探索 EQA 系列任务的可行性，我们构建了 VideoNavQA 数据集，评估了各种模型在此数据集上的表现。

Aug, 2019

使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。

Jul, 2022

通过使用大量卡通视频学习，我们展示了 AI 代理执行视频故事问答的可能性。我们的深度嵌入记忆网络 (DEMN) 模型使用观测数据的潜在嵌入空间重构场景 - 对话视频流中的故事，并将视频故事存储在长期记忆组件中。对于给定的问题，基于 LSTM 的注意力模型使用长期记忆来召回包含关键信息的特定单词的最佳问题 - 故事 - 答案三元组。我们在一个新的儿童卡通视频系列 Pororo 的 QA 数据集上训练了 DEMN，并且实验结果表明 DEMN 在 QA 上优于其他模型，这主要得益于 1）利用潜在嵌入对场景 - 对话组合形式的视频故事进行重构，2）使用了注意力。DEMN 还在 MovieQA 基准测试上实现了最先进的成果。

Jul, 2017

本文提出基于 VSLNet 的自然语言视频定位 (NLVL) 方法，利用基于 span 的 question answering (QA) 框架来解决长视频定位中的性能衰退问题，并通过 VSLNet-L 模型进一步提高性能。实验结果表明，该方法优于现有方法，VSLNet-L 可以解决长时间视频性能衰退的问题。

Feb, 2021

本文提出了基于跨度问答的视频段定位网络（VSLNet）作为自然语言视频定位（NLVL）任务的解决方案，并通过有效的查询引导突出显示策略解决了 NLVL 与跨度问答之间的差异。在三个基准数据集上的实验表明，该方法优于现有的最优方法，采用笔画问答框架是解决 NLVL 的一个有前途的方向。

Apr, 2020

通过 Episodic Memory Question Answering (EMQA) 任务以及一系列数据集和模型的介绍，本文阐述了在面向家居环境下，使用智能语音助手等 AR 设备进行信息沟通的场景中，利用换人的机器学习算法，更好地实现 AI 视觉辅助的目标。

May, 2022

本文提出了一种新颖的伪监督方法，用于零样本学习自然语言视频定位模型，并在 Charades-STA 和 ActivityNet-Captions 数据集上实验验证该方法相较于其他方法性能有明显提升。

Aug, 2021