Jan, 2024

Sports-QA：一项针对复杂和专业体育的大规模视频问答基准测试

PDF
TL;DR本文介绍了第一个专门设计用于体育视频问答任务的数据集 ——Sports-QA 数据集，并提出了一种新的自动聚焦 Transformer（AFT），用于自动关注在问题回答中特定时间尺度的信息，通过对 Sports-QA 数据集的广泛实验研究，结果表明我们的 AFT 达到了最先进的性能。
sports videoqadatasetauto-focus transformertemporal informationstate-of-the-art performance
发现论文，激发创造
  • SportQA: 大型语言模型中的体育理解基准

    SportQA 是一个专门设计用于评估大型语言模型在体育理解方面的新型基准，通过超过 70,000 个多项选择题，涵盖了三个不同难度级别，从基本历史事实到复杂的场景推理任务，综合使用少样本学习和思维链提示对主流大型语言模型进行了全面评估，结果表明，虽然大型语言模型在基本体育知识方面表现出色，但在更复杂的场景推理中表现不佳，与人类专业知识相比较有落后，引入 SportQA 为自然语言处理领域迈出了重要一步，为评估和提升大型语言模型的体育理解能力提供了一个工具。

    Feb, 2024

  • ActivityNet-QA: 通过问答理解复杂网络视频的数据集

    本文介绍一种名为 ActivityNet-QA 的全新、已标注的大规模 VideoQA 数据集，以此作为基础，探讨了在长视频情境下提高 VideoQA 性能的各种视频表示方法和已有的 VideoQA 基准测试的比较方法。

    Jun, 2019

  • 体育智能：通过问题回答从文本到视频评估语言模型对体育理解能力

    通过对主流大型语言模型在各种体育任务上进行广泛评估，我们揭示了自然语言处理中体育理解的关键挑战，并提出了一个基于现有体育数据集的全面概述的新基准，以帮助确定未来的研究优先事项。

    Jun, 2024

  • TVQA: 本地化、组合式视频问答

    本文提出 TVQA，一个基于 6 个流行电视节目的大规模视频问答数据集，共计包含 152,545 对 QA 对，分布在 21,793 个片段中，共涵盖了 460 小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

    Sep, 2018

  • 视频问答：数据集、算法和挑战

    本文针对 VideoQA 展开研究，提出了一个明确的分类学和全面的分析方法，并指出未来探索的几个有前途的方向。

    Mar, 2022

  • MarioQA：通过观看游戏玩法视频来回答问题

    本文提供了一个分析影片问答模型的框架，并利用可自定义的合成数据集对其进行分析，以了解对视频事件的时间依赖性进行推理的能力，验证了数据集中包含不同复杂度事件的重要性，以学习有效模型并改善整体性能。

    Dec, 2016

  • 教学视频问题回答数据集

    提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

    Dec, 2019

  • 视频问答的近期进展：数据集和方法回顾

    本综述探讨了最近新兴的计算机视觉领域中的视频问答任务，重点回顾了一些方法和数据集，并指出此任务以前没有进行过综述。

    Jan, 2021

  • 从网络视频中学习回答视觉问题

    为了避免手动注释，提出了利用自动交叉模态监督生成视频问答数据集的方法，通过使用问题生成变形器从语音转录中生成问题 - 答案对，然后根据视频 - 问题多模式变形器和答案变形器之间的对比损失训练处理答案的多模式变形器，生成如何 VQA69M，WebVidVQA3M 和 iVQA 等不同数据集，结果表明在多个数据集上其结果优秀。

    May, 2022

  • ANetQA：针对未修剪视频的细粒度组合推理的大规模基准测试

    本研究介绍了 ANetQA，这是一个支持对挑战性非剪辑视频进行精细组成式推理的大规模基准测试。与现有的基准测试相比，它通过自动从预注释场景图中生成 QA 对，使得可以对多样化的推理能力进行粒度控制。与 AGQA 相比，ANetQA 的 QA 对具有更细粒度的语义特征，因此可以更好地帮助评估 VideoQA 模型。

    May, 2023