CVPRMar, 2021

SUTD-TrafficQA：交通事件视频推理的问答基准和高效网络

PDF
TL;DR本文提出了一种基于视频问答的交通事件认知数据集，用于基准测试因果推理和事件理解模型在复杂交通场景中的认知能力，并提出了一个针对各种交通场景的挑战性推理任务来评估不同类型的复杂但实用的交通事件的推理能力。此外，提出了一种新的高效视频推理模型，命名为 Eclipse，通过动态推理实现计算效率和可靠性的平衡。实验证明，我们的方法在显著降低计算成本的同时，实现了卓越的性能。
发现论文，激发创造
  • 基于交通领域的自动字幕视频问答

    论文提出一种名为 TRIVIA 的新方法，将交通领域的知识融入到大型视频语言模型中，通过弱监督技术实现交通领域的视频问题回答，与传统设置相比，提高了代表性视频语言模型的准确率 6.5 个百分点（19.88%）。

    Jul, 2023

  • 利用背景知识进行交通情境的鲁棒推理

    本文讨论交通理解的文本方法，采用三种基于知识的方法进行针对交通情境的零 - shot 问答，在大量语料库和知识图中提取常识知识。作者构建两个文本多项选择问答集来评估交通领域的因果推理和类似于人类驾驶执照测试的领域知识，其中 Unified-QA 是最好的方法之一，而 DPR+Unified-QA 的知识提取方式更为高效。

    Dec, 2022

  • 交通理解情境推理研究

    通过在交通领域中设计了三个新的基于文本的任务，我们采用了四种知识增强方法来进行实验，以评估交通监控领域中的 LM 在人类驾驶考试、情景决策和事件因果推理方面的表现。

    Jun, 2023

  • 面向事件级别视频问答的语义感知动态回顾 - 预测推理

    本文提出了一种语义感知的动态回顾 - 前瞻推理方法，用于视频问答，通过使用问题的语义角色标注（SRL）结构，实现了基于语义连接的复杂推理，在 TrafficQA 数据集上实验结果显示，相较于之前的最先进模型，该方法实现了卓越的性能提升。

    May, 2023

  • 在道路上阅读：文本视频问答

    在驾驶员辅助环境下，通过提取和利用视频流中的视觉和文本线索以及时间推理，研究了场景文本识别和视频问答，以提升驾驶安全和多模态问题回答效果。

    Jul, 2023

  • STREET: 一个多任务结构化推理和解释基准

    本文介绍 STREET，一个统一的多任务、多领域自然语言推理和解释基准。该基准要求模型不仅能回答问题，还能产生步骤化的结构化解释，并描述问题中的前提是如何用于产生能证明某个答案正确性的中间结论。作者使用 GPT-3 和 T5 等常见语言模型进行了广泛的评估，发现这些模型在产生这些结构化推理步骤方面仍远落后于人类表现。作者相信，这项工作将为社区提供一种更好的方法，以在自然语言的多步推理和解释方面进行更好的系统培训和测试。

    Feb, 2023

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 利用并行密集视频字幕提高交通安全的端到端事件分析

    该研究介绍了在 AI City Challenge 2024 中针对 Track 2 的解决方案，主要关注交通安全、视频字幕、跨模态训练和领域特定模型适应等关键词。该解决方案在竞赛中取得了第六名，并通过提供开源代码使其更广泛地应用。

    Apr, 2024

  • NuScenes-QA: 一个针对自主驾驶场景的多模态视觉问答基准测试

    我们介绍了一个新颖的视觉问答（VQA）任务，旨在回答基于街景线索的自然语言问题，在自动驾驶情境下。我们提出了 NuScenes-QA，这是第一个针对自动驾驶场景下的 VQA 任务的基准，包括 34K 个视觉场景和 460K 个问题 - 答案对。我们利用现有的 3D 检测注释生成场景图，并手动设计问题模板。这个基准是一个平衡的大规模基准，具有多种问题格式。

    May, 2023

  • BDIQA：一个探索通过心智理论进行认知推理的视频问答新数据集

    本文介绍了 BDIQA，这是第一个探索 ToM 理论在 VideoQA 模型中认知推理能力的基准测试集，旨在填补当前 VideoQA 数据集与任务中机器 ToM 方面的不足，并通过实验得出了提高认知推理能力的两项指导原则。

    Feb, 2024