ICLRFeb, 2021

AdaFuse: 自适应时间融合网络用于高效运动识别

PDF
TL;DR本文介绍了一种自适应的时间融合网络，称为 AdaFuse，用于视频动作识别的临时建模，其对历史卷积特征图的必要信息与当前修剪特征图进行融合，以提高识别准确性和效率。
temporal modellingvideo action recognitionadafusetemporal fusionefficiency
发现论文，激发创造
  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 基于卷积双流网络融合的视频动作识别

    为了最好地利用时空信息，我们研究了在空间和时间上融合 ConvNet 塔的多种方法，并发现在卷积层融合空间和时间网络而不是在 softmax 层融合可以大大减少参数。我们提出了一种新的 ConvNet 架构，以融合视频片段的空时信息，并在标准基准测试中评估了其性能，该架构达到了最先进的结果。

    Apr, 2016

  • AdaFocusV3: 统一的时空动态视频识别

    本文探索在改进的 AdaFocusV3 框架上，统一时空动态计算的形式，通过在一些信息丰富的三维视频块上激活高性能网络以降低计算成本，并通过自适应轻量的策略网络在每个样本上根据测试时间的需求动态配置视频块数量，模型经过在 ActivityNet，FCVID，Mini-Kinetics，Something-Something V1&V2 和 Diving48 六个基准数据集上的广泛实验结果证明其显著比竞争算法更有效率。

    Sep, 2022

  • 基于 Transformer 的 2D 姿势和时空嵌入融合的分心驾驶操作识别

    该研究旨在通过将视频动作识别和 2D 人体姿势估计网络结合为一个模型，改善时间定位和分类准确性表现。最终，通过从不同的摄像头视角获取信息并消除误报，该模型在 2023 年 NVIDIA AI 城市挑战的自然驾驶行为识别中表现出色，实现了优化的区域覆盖得分 0.5079。

    Mar, 2024

  • AdaFocus V2：面向视频识别的空间动态网络的端到端训练

    介绍了一种基于差值插值的补丁选择算法，简化了 AdaFocus 的训练过程并提高了效率，并提出了一种改进的训练方案和条件退出技术，该模型在六个基准数据集上表现出更好的性能。

    Dec, 2021

  • DyFADet: 动态特征聚合用于时序动作检测

    该研究提出了一种基于神经网络的时间动作检测模型，利用动态特征聚合和自适应参数学习来提取并建模不同时间长度的动作实例，实现了在多个挑战性时间动作检测基准测试中具有良好性能的目标。

    Jul, 2024

  • 时间融合网络用于时序动作定位：提交至 ActivityNet Challenge 2020（E 任务）

    本技术报告分析了我们在 Activitynet Challenge 2020 中使用的一种时间动作定位方法，该方法利用视频级别特征信息训练多个视频级别动作分类模型，并应用 BMN 等方法产生高质量的时间提案，再通过级联结构网络 Refine Network 和多种模型融合方法，实现了在 HACS 比赛中 Rank1 的好成绩。

    Jun, 2020

  • AdaFuse：基于空间频率交叉注意力的自适应医学图像融合

    通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

    Oct, 2023

  • 听我说：用混合方法增强音频时序动作定位

    本文提出了简单而有效的基于融合的方法，首次同时考虑音频和视频模态用于监督式的未剪辑视频动作定位 (TAL)，在多个融合方案、模态组合和 TAL 架构的消融试验中，我们通过大规模基准数据集（ActivityNet-1.3 和 THUMOS14）实验性地表明，我们的方案在国内外领先的仅视频 TAL 方法中始终能提高性能，特别地在指标度量上（[email protected]）达到新的最优水平。

    Jun, 2021

  • 多层特征交互融合的组合式活动识别

    本文提出了一种新颖的框架，通过交互式融合，即将不同空间的特征进行投影并使用辅助预测任务进行引导，实现了语义信息、位置信息和外貌信息的融合，从而实现了复杂动作的识别，并在两个数据集上进行了验证，取得了比通用识别算法更好的结果。

    Dec, 2020