CVPRMay, 2018

FFNet：基于强化学习的视频快进

PDF
TL;DR本文介绍了利用视频摘要和强化学习的灵感，针对计算、通信、存储和能源资源有限的应用，提出了一个在线框架 FastForwardNet（FFNet），该框架可以自动快进视频并实时将代表性帧的子集呈现给用户，大大提高了处理效率和视频表示准确度。
computer visionvideo summarizationreinforcement learningfast-forwardingefficiency
发现论文，激发创造
  • 使用文本数据的强化学习快进视频

    本文提出一种基于强化学习的方法来加速教学视频，该方法可以自适应地选择不相关的帧以缩小输入视频，同时使用 Visually-guided Document Attention Network（VDAN）产生高度判别的嵌入空间来表示文本和视觉数据，实验证明本方法在视频段水平上实现了最佳的 F1 Score 和覆盖率。

    Mar, 2020

  • 协同多智能体视频快进

    该研究提出了两种协作多智能体视频快进框架以实现减少冗余 / 重复视频帧的资源消耗，包括使用强化学习的分布式框架和集中式框架，可以在实时场景和后处理场景中显著提高视频处理效率和帧率同时保证环境感知的准确性。

    May, 2023

  • 一种加权稀疏采样和平滑过渡的语义快进第一人称视频方法

    该研究提出了一种新的自适应帧选择方法和平滑帧转换方法以加速第一人称视频并强调相关段落，从而避免视觉不连续性，实验表明我们的方法能够在更短的时间内保留尽可能多的相关信息和平滑度，并且我们还提供了一个新的 80 小时的多模态数据集，包含了记录者资料、帧场景、活动、互动和注意力的注释。

    Feb, 2018

  • 一种基于凝视的第一人称视频快进方法

    本文提出一种基于注意力模型、注重注视点和视觉场景分析生成视频语义得分的方法，以加速重要片段并跳过重复片段的第一人称视频片段浏览。在公开的第一人称视频数据集上进行的实验评估表明，此方法能够有效提高视频片段搜索速度和准确性。

    Jun, 2020

  • FlashVideo：快速从文本生成视频的框架

    FlashVideo 是一种新颖框架，通过使用 RetNet 架构，将序列长度为 L 的推理时间复杂度从 O (L^2) 降低到 O (L)，从而显著加快推理速度，并且通过抛弃冗余帧插值方法来增强帧插值的效率，实现了相对传统自回归转换模型的 9.17 倍效率提升，并且推理速度与基于 BERT 的转换模型相当。

    Dec, 2023

  • 强化学习动态人脸视频分割

    本文采用深度强化学习方法对动态视频分割中的在线关键帧决策过程建模，从专家信息和过程最大化全局回报中学习有效的调度策略，最终在人脸视频等场景中取得了优异的性能表现。

    Jul, 2019

  • 利用强化学习重建和表示视频内容以进行字幕化

    本研究提出了一种新颖的编码器 - 解码器 - 重构器结构（RecNet）修复网络，通过双向流的运用，从本地和全局的角度，利用先前生成的解码器隐藏状态序列，高效地重构视频特征 ，并通过增强学习、CIDEr 优化微调 RecNet 逐步提高视频字幕的性能

    Jun, 2019

  • 简化故事，强调相关物体的多重重要性快进自我中心视频

    本研究提出 MIFF 快速转发方法，针对低成本高质量的个人可穿戴相机产生的第一人称视角视频难以观看等问题，通过用户学习过程平衡视觉流畅度和重要内容，结果表明该方法保留了超过 3 倍的语义内容，讨论了快进自我视角视频需要特殊的视频稳定技术。

    Nov, 2017

  • SpeedNet: 学习视频速度

    使用 SpeedNet 模型自动预测视频对象的速度，在无需手动注释的自我监督学习方式下可以检测任意速率的快慢，并通过预测出的速度增强了自我监督动作识别和视频检索性能。此外，SpeedNet 还可用于生成时间变化的自适应视频加速，可使观看者以更快的速度观看视频，但不会导致播放速度不均匀的问题。

    Apr, 2020

  • 被遮挡视频预测的快速傅里叶 Inception 网络

    为了解决视频帧预测任务中的连续复杂运动和场景遮挡问题，我们开发了基于全卷积快速傅里叶 Inception 网络（FFINet）的视频预测方法，该方法包括遮挡修复器和时空转换器等两个组件，并将恢复损失纳入目标函数进行模型优化来生成更逼真、高质量的未来帧。

    Jun, 2023