Jul, 2023

关键词感知的视频问答的相对时空图网络

PDF
TL;DR该论文提出了一种关键词感知的相对时空图网络（KRST）用于视频问答，通过在问题编码过程中使用注意机制让问题特征对关键词敏感，指导视频图构建，并整合了相对关系建模以更好地捕捉物体节点之间的时空动态，实验证明 KRST 方法在多个现有方法上具有优势。
video question answeringgraph-based methodsrelative relationsspatio-temporal dynamicskeyword-aware features
发现论文，激发创造
  • 视频问答的位置感知图卷积网络

    本文提出了一种基于图卷积和位置感知的方法，通过将视频内容表示为具有位置信息的图形式来更好地回答视频问答问题。该方法结合了对象物体交互的位置和关系，提取动作的类别和时间位置。在 TGIF-QA、Youtube2Text-QA 和 MSVD-QA 数据集上得出的实验表明该方法优于现有的方法。

    Aug, 2020

  • 时空知识图谱的问答

    通过建立一个新的名为 STComplEx 的 STKG 嵌入方法，从问题中提取时空信息，我们的 STCQA 模型可以更好地理解问题，并从 STKG 中检索准确答案。通过广泛的实验，我们展示了我们数据集的质量和我们 STKGQA 方法的有效性。

    Feb, 2024

  • 视频问答的分层面向对象时空推理

    通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。

    Jun, 2021

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • TempoQR: 在知识图谱上进行时间问题推理

    本文提出了一种基于嵌入感知的方法，名为 'Temporal Question Reasoning' (TempoQR)，用于回答复杂的基于时间的知识图谱问答。实验表明，TempoQR 在复杂的时间问题上比现有的先进方法提高了 25-45 个百分点，并且更好地泛化到看不见的问题类型。

    Dec, 2021

  • 提高基于时间知识图谱的问答时间敏感度

    本文提出了一种对时间知识图进行问答的框架，包括一个时间戳估计模块和一个考虑时间顺序的知识图嵌入编码器，能够有效地解决问题中时间相关的挑战，并且在时间知识图问答基准上获得了显著的性能提升。

    Mar, 2022

  • 时态知识图谱问答：综述

    本文从两个角度，即时间问题的分类和基于语义解析和知识图嵌入的方法论分类，对时间知识图问答（TKGQA）进行了全面概述，为该领域的发展提供了参考，并激发了进一步研究的动力。

    Jun, 2024

  • TGIF-QA：关于视觉问答中时空推理的研究

    本文提出了三个特别设计用于视频 VQA 的新任务，推出一个新的大型数据集 TGIF-QA，并提出了一种利用空间和时间关注的双 LSTM 方法，证明其在经验评估中的有效性。

    Apr, 2017

  • 用于视频问答的结构化双流注意力网络

    本文提出了一种结构化的双流注意力网络（STA）来解决视频问答（VQA），该网络可以识别视频中的长时空结构和文本特征，并将视觉与文本融合以提供准确的答案，在大规模视频 QA 数据集 TGIF-QA 上实验表明，STA 可将 Action，Trans，TrameQA 和 Count 任务的最佳效果提高 13.0％，13.5％，11.0％和 0.3％，在 Action，Trans，TrameQA 任务上也比最佳竞争对手提高 4.1％，4.7％和 5.1％。

    Jun, 2022

  • 分层条件关系网络用于视频问答

    通过介绍一种条件关系网络的方法来构建可复用神经元，用于视频中的表示和推理，并在 Well-known 的数据集上取得最新的状态技术，证明 CRN 对于视频问答等复杂域的表示和推理是成功的。

    Feb, 2020