ECCVNov, 2017

视频中的时间关系推理

PDF
TL;DR该论文介绍了一种时间关系网络（TRN），通过对多个时间尺度上视频帧之间的时间依赖关系进行学习和推理，使卷积神经网络具有发现视频中时间关系的显着能力。经过实验证明，TRN 配备的网络可以通过仅稀疏采样的视频帧，在 Something-Something、Jester 和 Charades 数据集上准确预测人 - 物交互，并以非常有竞争力的性能识别 Jester 数据集上的各种人类手势，并在 Charades 数据集中识别日常活动，这超过了两个流网络和 3D 卷积网络的表现。进一步的分析表明，模型在视频中学习了直观和可解释的视觉常识知识。
发现论文，激发创造
  • 活动识别的时间推理图

    本文提出了一种高效的时间推理图 (TRG), 用于同时捕捉视频序列之间的外观特征和时间关系。通过构建可学习的时间关系图来探索多尺度范围上的时间关系。在多头时间邻接矩阵的帮助下，提出了一个多头时间关系聚合器来提取那些通过图卷积计算的特征的语义含义。实验证明，通过我们的 TRG 进行时间关系推理可以提取用于活动识别的判别特征。

    Aug, 2019

  • 用于关系推理的简单神经网络模块

    本研究使用关系网络（RNs）作为简单的即插即用模块来解决需要基于关系推理的问题，并在三个任务中测试了 RN 增强网络，在使用挑战性数据集 CLEVR 进行视觉问答时，取得了超越人类的最好表现；使用 bAbI 套件的任务进行基于文本的问答；以及关于动态物理系统进行复杂的推理。使用一个精选的数据集 Sort-of-CLEVR，表明强大的卷积网络不具备解决关系问题的一般能力，但可以在增加 RN 的情况下获得这种能力。我们的工作展示了如何利用配备 RN 模块的深度学习架构隐式地发现并学习实体及其关系。

    Jun, 2017

  • 基于门控时空能量图的视频关系推理

    本文介绍了一种基于全连通时空图的条件随机场模型，利用空间和时间上的关系较强的实体之间的统计依赖关系，通过在视觉观察条件下学习自适应关系来对其进行优化，同时，其在视频数据集（ImageNet Video 和 Charades）上表现出了最先进的性能。

    Mar, 2019

  • 基于时空趋势推理的人体姿态和形状估计技术

    本文提出了一个 SRT 网络，通过时空趋势推理设计了一个时间趋势推理（TTR）模块和一个空间趋势增强（STE）模块，来提高人体姿态估计的准确性。通过实验在公共数据集上验证，该模型与同类算法性能相当。

    Oct, 2022

  • 神经符号化视频搜索

    使用视觉语言模型进行语义理解，通过状态机和时间逻辑进行长期演变的事件推理，提高了复杂事件识别的 F1 得分。

    Mar, 2024

  • 利用自监督的时间关系建模进行动作分割

    本篇论文提出了一种有效的 GCN 模块 DTGRM，用于捕获和建模视频帧之间的各个时间跨度的时间关系，并通过提出的自监督任务来增强模型的时间推理能力，这种模块在行为分割方面表现优于现有技术。

    Dec, 2020

  • 实体流程中的关系

    本文提出了一种基于注意力机制的体系结构，以从输入域的流实体确定关系，通过仅需要部分原始 Relational Network 模块的模型参数，从而实现了等效性能和更高的可解释性。

    Sep, 2019

  • 在线动作检测的时序循环网络

    本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

    Nov, 2018

  • 循环关系网络

    本文介绍了一种广义的循环关系网络，它可以增强任何神经网络模型的能力，以进行多步关系推理，通过将物体表示为图形，解决需要关系推理链的任务，例如回答有关物体之间关系的复杂问题或解决需要相互约束的解决方案的难题，并在 bAbI 文本问答数据集和数独难题的求解中实现了最优结果。

    Nov, 2017

  • 分层条件关系网络用于视频问答

    通过介绍一种条件关系网络的方法来构建可复用神经元，用于视频中的表示和推理，并在 Well-known 的数据集上取得最新的状态技术，证明 CRN 对于视频问答等复杂域的表示和推理是成功的。

    Feb, 2020