Jul, 2024

视频问题回答的组合推理: 使用视频对齐和答案聚合

HTML
PDF
TL;DR我们提出了一个模型无关的视频对齐和答案聚合框架（VA^3），通过整合视频对齐器和答案聚合器模块来增强现有的视觉问答方法的组合一致性和准确性，实验证明我们的框架提高了现有方法的组合一致性和准确性，大大提升了可解释性。
发现论文，激发创造
  • TVQA:本地化、组合式视频问答

    本文提出TVQA，一个基于6个流行电视节目的大规模视频问答数据集，共计包含152,545对QA对，分布在21,793个片段中，共涵盖了460小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

    Sep, 2018

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA是一个旨在解决以往VQA数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了2200万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • 视频问答：数据集、算法和挑战

    本文针对 VideoQA 展开研究，提出了一个明确的分类学和全面的分析方法，并指出未来探索的几个有前途的方向。

    Mar, 2022

  • 衡量视频问答的组成一致性

    本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

    Apr, 2022

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在NExT-QA基准测试上表现出很高的性能。

    Apr, 2022

  • 视频问答的不变基础

    使用一种新的学习框架，稳定视频问答模型中的非关键信息，保留关键信息，提高模型推理能力。

    Jun, 2022

  • ANetQA：针对未修剪视频的细粒度组合推理的大规模基准测试

    本研究介绍了 ANetQA，这是一个支持对挑战性非剪辑视频进行精细组成式推理的大规模基准测试。与现有的基准测试相比，它通过自动从预注释场景图中生成 QA 对，使得可以对多样化的推理能力进行粒度控制。与AGQA相比，ANetQA的QA对具有更细粒度的语义特征，因此可以更好地帮助评估VideoQA模型。

    May, 2023

  • TG-VQA：三元游戏视频问答

    本研究尝试通过博弈论的交互策略来实现细粒度的视频问答任务中的视觉语义对齐，无需过多的标注，相比现有方法，在长期和短期视频问答数据集上的效果有显著提升，并具有良好的泛化能力和在有限数据上的并行收敛能力。

    May, 2023

  • 开放式词汇视频问答：评估视频问答模型的通用性的新基准

    提出了Open-vocabulary Video Question Answering（OVQA）基准测试，旨在通过考虑罕见和未知的答案来衡量VideoQA模型的泛化能力，并引入一种改进了模型泛化能力的新型GNN-based soft verbalizer。

    Aug, 2023

  • MoReVQA: 探索视频问答的模块化推理模型

    通过分解为多阶段的模块化推理框架来解决视频问答（videoQA）任务，我们的方法MoReVQA通过事件解析器、定位阶段、最终推理阶段和外部存储器在标准视频问答基准测试中取得了最先进的结果，并在相关任务（基于视频的问答、段落字幕生成）上得到扩展。

    Apr, 2024