Jul, 2023

基于不确定性引导的空间修剪架构用于高效帧插值

PDF
TL;DR本文提出了一种基于不确定性引导的空间剪枝（UGSP）架构，通过利用不确定性生成的遮罩标签来正确定位易区域，同时采用自对比训练策略提高 UGSP 性能。实验证明，与未剪枝基准相比，UGSP 在 Vimeo90K/UCF101/MiddleBury 数据集上分别减少了 34%/52%/30% 的 FLOPs，且在多个基准上以更低的 FLOPs 实现了最先进的性能。
video frame interpolationdynamic spatial pruninguncertainty-guided spatial pruningself-contrast training strategyflops reduction
发现论文，激发创造
  • 来自 SAM 的区域可区分先验的视频帧插值

    该研究介绍了一种利用开放世界分割模型来提高视频帧插值中运动估计准确性的新方法，通过将区域可区别先验表示为空间变化的高斯混合，设计了可以与现有运动估计方法集成的分层区域感知特征融合模块，实验证明该方法能够在各种场景下显著提升视频帧插值性能。

    Dec, 2023

  • GSVNet: 基于引导变空间卷积的快速视频语义分割

    该论文提出了一种简单而有效的传播框架，包括轻量级流估计和引导式空间变化卷积方法，实现了视频分割的最优准确度和吞吐量的平衡。

    Mar, 2021

  • 小波域动态帧插值

    提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的计算减少，保持了相似的准确性。

    Sep, 2023

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • PUP 3D-GS: 三维高斯分片的原则性不确定性修剪

    本论文提出了一种基于预训练的 3D 高斯扩散（3D-GS）模型的减枝和优化管道，利用精确的空间敏感度准则，大幅削减高斯分布数量，极大地提升了渲染速度并保持了前景信息和图像质量。

    Jun, 2024

  • 基于感知的视频帧插值方法：非对称混合

    针对视频帧插值中的模糊和幻影效果等问题，我们提出了一种名为 PerVFI（以感知为导向的视频帧插值）的新方法，采用了 Asymmetric Synergistic Blending 模块，通过从两侧提取特征进行协同融合，使用稀疏拟二进制掩膜有效减轻幻影和模糊伪影，并采用基于归一化流的生成模型和负对数似然损失来学习输出的条件分布，进一步提高生成的图像细节的清晰度。实验证明，PerVFI 相较于现有方法在感知质量上有显著改进。

    Apr, 2024

  • 高效视频超分辨率的结构化稀疏学习

    本论文提出了一个名为 SSL（Structured Sparsity Learning）的结构化稀疏化学习方案，该方案可在视频超分辨率（VSR）模型中进行过滤以提高推理效率，并且能够显著优于最近的方法，实验证明了其有效性。

    Jun, 2022

  • LADDER：一种视频帧插值的高效框架

    本研究介绍了一种有效的视频帧插值框架，通过采用深度卷积和创新的高清增强策略，实现了对视频帧处理效能和质量的平衡。

    Apr, 2024

  • 通过特征传播实现长期视频帧插值

    本研究提出了一种基于传播网络（PNet）的新框架，旨在有效解决视频帧插值（VFI）中存在的大间隔问题，将一侧的输入传播到可靠时间帧，然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明，在长期 VFI 方面，其比现有的最先进方法更加有效。

    Mar, 2022

  • 视频帧插值中的稀疏全局匹配与大动态

    通过引入一个新的管道，本文提出了一种有效地整合全局级信息以缓解大运动问题的视频帧插值方法，在处理大运动场景时展现了最先进的性能。

    Apr, 2024