通过 Episodic Memory Question Answering (EMQA) 任务以及一系列数据集和模型的介绍，本文阐述了在面向家居环境下，使用智能语音助手等 AR 设备进行信息沟通的场景中，利用换人的机器学习算法，更好地实现 AI 视觉辅助的目标。

May, 2022

通过使用多个预训练模型从广泛的自我中心视频内容中回答查询，本研究引入了 LifelongMemory，这是一种利用大型语言模型和视觉语言模型的新框架，以解决在复杂的视觉语言任务中捕捉长距离时间依赖关系的问题。

Dec, 2023

本研究提出使用基于自然语言查询的 Narrations-as-Queries（NaQ）数据增强策略，用于训练视频查询定位模型，并通过在 Ego4D 基准测试中进行验证表明，该方法带来了突出的 NLQ 结果，甚至达到了其他竞赛获胜者所未能达到的最佳结果。

Jan, 2023

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

本研究提出了一种新颖的记忆增强嵌入学习（MEEL）方法，构建了两种记忆模块，交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 两个基准数据集上进行的实验表明，该方法具有很高的有效性。

Mar, 2021

本文提出了一种新的视频语言预训练（Video-Language Pretraining）方法 ——Egocentric VLP，通过利用新发布的 Ego4D 数据集，分别从 EgoClip，EgoNCE 和 EgoMCQ 三个方向进行探索，最终成功在五个自我中心任务上实现了强大的表现。

Jun, 2022

大型语言模型（LLMs）作为数据增强系统在人机交互研究中可用于创建合成人物，以解决黑盒特性和幻觉倾向带来的挑战，并提出了发展鲁棒性认知和记忆框架以指导 LLM 响应的构想。初步探索表明，数据丰富、情景记忆和自我反思技术可以提高合成人物的可靠性，为人机交互研究开辟新途径。

Apr, 2024

本文提出了一种新的通过传感器增强的主观视频字幕生成任务，并提出了应用多模态数据和关注机制的方法，以提高主观视频字幕生成的效率。结果表明，使用传感器数据作为补充数据可以提高主观视频字幕生成的效率，并且我们提出的方法表现优于其他方法。

Sep, 2021

本文提出了一种端到端检索增强的视觉语言模型（REVEAL），它可以将世界知识编码到大规模存储器中，并从中检索以回答知识密集型查询。

Dec, 2022