Mar, 2020

TTPP: 时间变形器及渐进式预测，用于高效行动预测

PDF
TL;DR本文提出一个名为 TTPP 的框架，使用 Transformer 风格的架构，通过汇总观察到的特征，并利用轻量的网络逐步预测未来的特征和行动，来解决当前流行的基于循环神经网络的视频行动预测模型中无法有效捕获长期信息的缺点，在三个数据集上的广泛结果表明，TTPP 不仅胜过现有技术方法，而且更有效。
video action anticipationrecurrent neural networkstransformer-style architectureprogressive predictionaction datasets
发现论文，激发创造
  • 基于 Transformer 的时域动作提议生成

    本文提出了一种使用 Transformer 网络的统一的时间动作提议生成框架，通过 Boundary Transformer 预测边界信息和 Proposal Transformer 学习关系以实现可靠的置信度评估，结果表明，此方法在时间动作本地化任务上表现出色。

    May, 2021

  • 动作识别的端到端视频级表示学习

    本研究提出深度网络与时域金字塔池化方法（DTPP）作为一种端到端的视频级表征学习方法，用于解决部分观察训练、无端对端学习、单一时间尺度建模等问题，在 UCF101 和 HMDB51 这两个具有挑战性的视频动作数据集上均取得最先进的表现。

    Nov, 2017

  • ProActive: 用于活动序列的自我关注时序点过程流

    ProActive 是一种神经标记的时间点过程 (MTPP) 框架，用于对活动序列中行动的连续时间分布进行建模，同时解决了下一步行动预测，序列目标预测和端到端序列生成等高影响问题。使用自关注模块进行建模，以及附带较少的行动数量来预测序列目标。在三个活动识别数据集上的广泛实验表明，ProActive 在行动和目标预测方面的准确性显着提高，并首次应用了端到端行动序列生成。

    Jun, 2022

  • 一种高效的时空金字塔变换器用于动作检测

    本研究提出一种名为 STPT 的层次化时空金字塔 Transformer 模型，通过采用局部窗口注意力和全局注意力模块，实现了对长视频片段中动作的高效检测和定位，与目前流行的基于 Transformer 的模型相比，提高了精度并减少了冗余计算。

    Jul, 2022

  • 自适应图增强变压器生成时序动作建议

    利用增强型 Transformer 和自适应图卷积网络来生成明确涉及情境且复杂的视频中的动作提议，以提高提议质量和保持本地上下文关联性。通过 THUMOS14 和 ActivityNet1.3 数据集的实验验证，该方法优于目前的 TAPG 模型。

    Mar, 2021

  • 未来的 Transformer 用于长期行动预测

    提出了一种全新的基于注意力机制的动作预测模型，称为 Future Transformer (FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR 可以更准确、更快速地进行长期预测。在两个标准数据集 Breakfast 和 50Salads 上进行了实验，FUTR 模型取得了最新的最优结果。

    May, 2022

  • 时间和动作的织锦：使用时间点过程流模型人类活动序列

    ProActive 是一个神经标记的时间点过程（MTPP）框架，用于对活动序列中的动作进行连续时间建模，同时解决了下一个动作预测、序列目标预测和端到端序列生成三个高影响问题。

    Jul, 2023

  • 连续时间域中的时间事件集预测深度表示学习

    使用基于时空点过程的方法，通过加入上下文事件嵌入、时间信息和领域特征来建立模型，解决了连续时间域中预测事件集强度的问题，并通过大量实验表明，该方法在预测指标和计算效率上优于现有方法。

    Sep, 2023

  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 预测性视频转换器

    提出了一种名为 AVT 的模型，它是一种基于注意力机制的端到端视频建模架构，通过关注之前观察过的视频来预测未来的动作，通过在训练时同时预测视频序列中的下一个动作。与现有的时序汇聚策略相比，AVT 在保持观察到的动作的时序进展的同时捕捉了长时间的依赖性，这对于预测任务非常关键。通过广泛的实验，该研究表明 AVT 在四个流行的动作预测基准测试中达到了最佳性能：EpicKitchens-55、EpicKitchens-100、EGTEA Gaze + 和 50-Salads；并在 EpicKitchens-100 CVPR'21 挑战赛中获得了第一名。

    Jun, 2021