Jul, 2021

在线动作检测的长短期 Transformer

PDF
TL;DR提出了一种长短时 Transformer（LSTR）算法，用于在线动作检测，它采用了长短时记忆机制来建模长序列数据，其中编码器动态地利用拓展的时间窗口的历史信息，解码器专注于一个短时间窗口来建模数据的细节特征。与先前的工作相比，LSTR 提供了一种有效且高效的建模长视频的方法，其在三种标准的在线动作检测基准测试（THUMOS'14、TVSeries 和 HACS Segment）上实现了最先进的性能。
long short-term transformertemporal modeling algorithmonline action detectionextended temporal windowstate-of-the-art performance
发现论文，激发创造
  • 视频动作检测的长短期关系网络

    本文提出了一种新的长短期关系网络（LSTR），通过空时注意机制建模视频内的短期人类 - 背景关系，并通过级联方式使用图卷积网络（GCN）推理长期时空动态，从而增强视频动作检测的特征表现。在四个基准数据集上进行广泛实验，与现有方法相比，取得了优异的结果。

    Mar, 2020

  • 具有时间平滑 Transformer 的实时在线视频检测

    通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核，重新定义流式视频识别模型，拥有常数时间更新每帧的优势，在 THUMOS'14 和 EPIC-Kitchen-100 数据集上取得了最新的成果。

    Sep, 2022

  • TALLFormer：基于长期记忆 Transformer 的时间动作定位

    提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。

    Apr, 2022

  • 视频 Transformer 的长短时对比学习

    本文提出了一种叫做 “长短时对比学习（LSTCL）” 的学习程序，可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时，学习一个有效的剪辑级表示，并在多项视频基准测试上取得了有竞争力的表现，成为有监督基于图像的预训练的有力替代方案。

    Jun, 2021

  • 长短期 Transformer: 语言和视觉的高效 Transformer

    提出了一种名为 “长短变压器” 的模型，其中使用自注意力机制处理长文本和高分辨率图像，同时引入了一种新型的远距离关注和短期关注机制，并采用双重归一化策略来处理两种注意力机制之间的规模差异。通过在多个语言和视觉任务中的表现，该方法优于现有的方法。

    Jul, 2021

  • OadTR: 使用 Transformer 进行在线动作检测

    本文提出了一个新的 Transformers 编码器 - 解码器框架 OadTR 用于在线行动检测，该模型能够同时编码历史信息并预测未来内容，性能优于目前基于 RNN 的方法。

    Jun, 2021

  • 未来的 Transformer 用于长期行动预测

    提出了一种全新的基于注意力机制的动作预测模型，称为 Future Transformer (FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR 可以更准确、更快速地进行长期预测。在两个标准数据集 Breakfast 和 50Salads 上进行了实验，FUTR 模型取得了最新的最优结果。

    May, 2022

  • 基于格子长短期记忆的人类动作识别

    L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

    Aug, 2017

  • 大型轨迹模型是可扩展的运动预测与规划器

    通过引入一种可扩展的轨迹模型 (State Transformer)，该论文通过模型扩展解决了自动驾驶中的运动预测和运动规划问题，并在实验结果中展示了该模型的出色适应性和学习效率。

    Oct, 2023

  • 在线动作检测的时序循环网络

    本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

    Nov, 2018