Oct, 2021

ASFormer：用于动作分割的 Transformer

PDF
TL;DR本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。
action segmentationtransformerlocal connectivityhierarchical representationdecoder architecture
发现论文，激发创造
  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • 基于边界感知查询投票的高效时间动作分割

    通过使用 BaFormer 方法，本研究提出了一种基于时间段分类的新视角，以实现高效的动作分割，过程中运用了 Transformer 的优势，将每个视频段作为实例标记，并赋予了内在的实例分割能力，通过使用全局查询进行类别无关的边界预测，得到连续的时间段建议。

    May, 2024

  • AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

    论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。

    Mar, 2021

  • SeqFormer: 序列 Transformer 用于视频实例分割

    本文介绍了 SeqFormer，一种基于视频实例分割的模型，通过注意力机制捕捉视频帧之间的关系，定位每帧的实例并聚合时间信息，从而实现自然的实例跟踪并预测动态遮罩序列，结合 Swin Transformer 可获得更高的 AP，是视频实例分割领域的强基线模型。

    Dec, 2021

  • SigFormer: 稀疏信号引导变换器用于多模态人体动作分割

    介绍了一种稀疏信号引导的变压器模型 (SigFormer)，该模型通过融合密集信号和稀疏信号来提高多模态人体动作分割的准确性，在处理稀疏信号时使用了蒙版注意力机制，同时在提取特征和建模动作类别与时间边界关系时强调了边界信息。在实验中，SigFormer 在真实工业环境下的多模态动作分割数据集上表现优秀，F1 得分达到 0.958。

    Nov, 2023

  • DirecFormer：一种基于 Transformer 的定向注意力方法用于鲁棒动作识别

    通过引入有序时序学习问题和引入新的有向注意力机制，提出了一个新的基于 Transformer 的框架来解决行为识别问题，并在三个标准大规模基准测试上实现了与最近的行为识别方法相比的最先进的结果。

    Mar, 2022

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • 未来的 Transformer 用于长期行动预测

    提出了一种全新的基于注意力机制的动作预测模型，称为 Future Transformer (FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR 可以更准确、更快速地进行长期预测。在两个标准数据集 Breakfast 和 50Salads 上进行了实验，FUTR 模型取得了最新的最优结果。

    May, 2022

  • TALLFormer：基于长期记忆 Transformer 的时间动作定位

    提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。

    Apr, 2022

  • 基于无监督帧到片段对齐的置换感知动作分割

    本文提出了一种新颖的基于 Transformer 的框架，用于无监督活动分割，利用帧级别线索和段级别线索。我们的方法通过一个帧级别预测模块开始，该模块通过 Transformer 编码器估计逐帧动作类别。为了利用段级别信息，我们引入了一个段级别预测模块和一个帧到段对齐模块。

    May, 2023