我们提出了 STAR，这是一个包含 127,833 个话语和基于知识库的查询，涵盖 13 个领域，共 5820 个任务型对话的模式引导数据集，旨在促进任务和领域的迁移学习。此外，我们提出了一种可扩展的众包范例，用于收集与 STAR 质量相同的任意大的数据集。此外，我们引入了新颖的模式引导对话模型，通过对任务的明确描述将从已知的任务泛化到未知的任务，证明了这些模型的有效性，尤其是在任务和领域的零 - shot 推广方面。

Oct, 2020

该论文介绍了一种新的视频场景感知对话系统，该系统将多个研究领域的最新技术整合应用 ，包括端到端的对话技术、视觉问答技术，以及视频描述技术。通过收集一个有关人类行为视频的对话数据集，作者们使用该数据集训练出一种多模态对话模型，它可以在对视频进行讨论时生成响应。最终实验结果表明，使用为多模态注意力视频描述开发的多模态特征可以提高对于动态场景（视频）生成对话的质量。

Jun, 2018

本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

Jan, 2019

通过对真实世界的视频进行情境抽象和逻辑基础问题回答，本文介绍了一种评估情境推理能力的新基准，称为 Situated Reasoning in Real-World Videos (STAR Benchmark)。该基准通过与人类动作或互动相关的真实世界视频构建，涵盖了相互作用、序列、预测和可行性等四种类型的问题。研究表明，各种现有的视频推理模型都在这一具有挑战性的情境推理任务上遇到了困难，因此我们进一步提出了一种诊断性神经符号模型，用于解决这一基准所面临的挑战。

May, 2024

本文介绍了 DVD 数据集，使用该数据集分析现有方法并提供有趣的见解，探讨视频对话系统的能力与局限性，并为不同类型的空间时间推理注释详细信息，该数据集明确旨在减少模型可能利用的偏见。

Jan, 2021

本文介绍了 ICDAR 2019 场景文本视觉问答比赛 (ST-VQA) 的最终结果和新数据集，包括 23038 张图像和 31791 个文本实例答案，涵盖广泛的情景。该竞赛共有 3 个递增的任务，需要理解场景中的文本并回答问题。提出了一种新的评估度量标准，旨在评估文本识别和图像理解两种关键能力。结果分析提供了 VQA 系统当前的能力洞见。此数据集标志着使用场景文本实现全面图像理解的更强大、更通用的模型的重要里程碑。

Jun, 2019

本文介绍了一个新数据集，即 ST-VQA，旨在强调利用图像中文本信息的重要性。我们使用这个数据集定义了一系列难度不断增加的任务，需要利用图像中提供的上下文阅读场景文本以进行推理和生成适当的答案。我们提出了一个新的评估指标来考虑推理错误以及文本识别模块的缺陷，同时提出一系列基线方法。

May, 2019

本论文探讨了以话题作为对话背景，利用多模态注意力和音视频定位技术的方法来构建端到端的自然语言对话系统，结合使用 end-to-end 音频分类卷积神经网络 AclNet，以音视频场景感知任务数据集 AVSD 进行测试，并提出了改进方案算法，优于现有基线系统。

Dec, 2019

该研究论文介绍了一种基于多个研究领域的技术相互整合的新型场景感知对话系统，同时提出了基于音视频的场景感知对话系统 (AVSD) 挑战与数据集，该挑战要求参赛者构建一个能够对输入视频进行对话响应的系统。

Jun, 2018

本文介绍了第三个 AVSD 挑战赛，其包括时间推理的任务和新的数据集，在这个数据集中，人类生成了时间推理数据。文章提出了基于 AV-transformer 的基线系统，并通过注意力多模态融合、联合师生学习和模型组合技术扩展了基线系统，提高了 AVSD 数据集的性能，同时提出了两种 AVSD 的时间推理方法：一种是基于注意力的，一种是基于时间域的区域建议网络。

Oct, 2021