本研究提出了结合预训练的视觉 - 语言和视频 - 语言模型的方法，以及新颖的手 - 物 - 交互聚合模块，用于解决 AQTC 中视频信号与语言信号的时空对齐，且取得了 CVPR’2023 AQTC Challenge 第一名的高分表现。

Jun, 2023

本文定义了一个新的任务，称为 “面向 affordance 的问题驱动任务完成”，提出了一个名为 AssistQ 的数据集，并开发了一个名为 Q2A 的模型来解决该任务，并在 AssistQ 数据集上对其进行验证。结果表明，该模型明显优于几个 VQA 相关的基线，但仍有很大的提升空间。我们期望我们的任务和数据集能够推进自我中心 AI 助理的发展。

Mar, 2022

本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

Apr, 2022

本研究介绍了一种基于视频的问答解决方案，通过将视觉定位和物体跟踪结合，提出了一个两阶段的替代方法，并利用 VALOR 模型回答问题并生成边界框。

Jul, 2024

通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名，显示出在多个视频上进行一般推理的有希望能力。

Apr, 2024

本文提出了一种利用 Contrastive Language-Image Pre-training（CLIP）作为跨模态学习指导的 Visual-Text Attention 机制来应用于视频问答任务。在特定领域中提取视频和文本特征后，利用 CLIP 对一组通用知识域上视觉 - 文本特征进行特征提取，并提出了交叉域学习来提取目标域和通用域间的视觉和语言特征之间的注意力信息，将特征集成用于迁移学习，结果表明这种方法优于现有的最先进方法。

Mar, 2023

本文介绍了第二个获胜的 AQTC 模型，该模型通过提出一种新的上下文地面模块注意力机制来解决视频中多步答案、多模态和各种不同和变化的按钮表示等方面的困难，并对不同步骤网络和视频特征进行了消融研究和按钮数量分析，其在 LOVEU 竞赛轨道 3 中取得了总体第二名的成绩，并在四个评估指标中的两个指标中获得了第一名。

Jun, 2022

该研究提出通过多任务学习获得额外监督的方法，解决多模态视频问答建立大规模数据集昂贵且现有基准数据集较小的挑战。该方法由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务提供额外的协同监督，并提出多任务比率调度的方法进行训练。实验结果表明，该方法在公开数据集 TVQA 上实现了最先进的效果。

May, 2019

利用跨模态对齐和表示融合方法，在 Social IQ 2.0 数据集上取得了 82.06％的准确率，增强了视频模态的利用能力，并通过降低语言过拟合和当前技术所遇到的视频模态绕过等问题，提高了性能。

Apr, 2024

本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

Jun, 2023