CVPRApr, 2023

Search-Map-Search: 动作识别的框架选择范式

PDF
TL;DR通过深度学习算法和启发式搜索方法相结合，优化视频帧的选取，提高动作识别模型的准确性。
deep learningframe selectionheuristic searchsupervised learningaction recognition
发现论文，激发创造
  • 动作识别的智能帧选择

    本文通过提出一种称为 SMART 的方法，既能减少动作识别的计算成本，又能提高识别精度。该方法通过联合考虑帧的选择，而不是逐一考虑，使得好的帧更有效地分布在视频中，并成功地应用于多个基准测试中。

    Dec, 2020

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 基于多智能体强化学习的帧采样技术在未剪辑视频识别中的应用

    该研究旨在通过开发基于学习的帧采样策略，改进未修剪视频分类，并借鉴多智能体强化学习框架解决多种手工制作策略带来的性能损耗问题。实验结果显示，该方法在各种 2D 和 3D 基线方法上取得的成果优于手工制作策略，并实现了新的 YouTube Birds 和 YouTube Cars 领域的最佳表现。

    Jul, 2019

  • 样本减少，学习更多：通过帧特征修复实现高效动作识别

    通过恢复两个稀疏采样和相邻视频帧的中间特征，本研究提出了一种新方法，以解决过采样帧引起的性能下降问题，并且在几个常用基线方法上提高了 50% 以上的效率，仅导致 0.5% 的识别准确率降低，同时在零 - shot 设置下也意外地改善了模型的概括能力。

    Jul, 2023

  • 精益求精：选择信息量丰富的视频帧进行视频字幕生成

    提出了一种基于强化学习的编码器 - 解码器框架下的 PickNet 模型，用于在视频字幕任务中选择关键帧以提升性能，该模型最终选择的少量帧能够高质量的代表整个视频序列，更具视觉多样性与文本一致性。

    Mar, 2018

  • 针对少样本动作识别的任务自适应时空视频采样器

    本文提出了一种针对 Few-Shot 行为识别的视频帧采样器，采用了时间选择器和空间放大器来实现任务特定的时空帧采样，并采用任务自适应学习来动态调整采样策略。实验结果表明，该采样器在各个基准测试上都具有显著的性能提升。

    Jul, 2022

  • AdaFrame：快速视频识别的自适应帧选择

    AdaFrame 是一种通过 LSTM 网络和全局内存来为视频识别自适应选择相关帧的框架，通过策略梯度等方法来训练，用于生成预测和确定下一个帧，并计算查看更多帧的效益，并利用预测结果来实现自适应前瞻推断，从而减少计算成本并保持精度，通过大规模视频测试达到依然可以获得良好的识别效果。

    Nov, 2018

  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 稀疏黑盒视频攻击与强化学习

    该研究提出了一种基于强化学习 (RL) 框架的黑盒视频攻击方法，通过调整关键帧的选择策略，使反对抗扰动逐渐变小，实验证明该方法可以有效降低反对抗扰动。

    Jan, 2020

  • 使用帧级别查询进行视频分类的主动学习

    本文提出了一种新的主动学习框架，通过选择一批典型样本和一组信息帧进行视频分类，以减轻人工注释员的负担。通过不确定性和多样性来确定信息化的视频，并利用代表性采样技术从每个视频中提取一组样本帧。

    Jul, 2023