Jul, 2020

光流蒸馏：实现高效稳定视频风格转移

PDF
TL;DR本文提出了一种通过知识蒸馏范式学习轻量级视频风格转移到提高稳定性的方法，并采用两个教师网络，一个使用光流，另一个不使用，通过它们的输出差异，采用蒸馏方法训练目标学生网络，同时采用低秩蒸馏损失来稳定学生网络的输出，实验证明我们的学生网络不需要光流模块即可生成稳定视频，并比教师网络运行速度更快。
video style transferoptical flowknowledge distillationlow-rank distillation lossmobile devices
发现论文，激发创造
  • DDFlow: 用未标注数据蒸馏学习光流

    DDFlow 是一种基于数据净化的方法，可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流，并能够为被遮挡像素进行光流估计，从而实现了更高的准确性。在 Flying Chairs、MPI Sintel、KITTI 2012 和 2015 基准测试中，DDFlow 的性能显著优于所有现有的无监督学习方法，同时实现了实时运行。

    Feb, 2019

  • DeepMovie：使用光流和深度神经网络实现电影风格化

    该论文扩展了 Gatys 等人的方法，使用光流来保证样式特征与画面对象相对位置不变，进一步实现在给定艺术风格下渲染视频。

    May, 2016

  • 神经风格转移稳定性的表征与改进

    本文研究实时视频风格转移，提出一种基于循环卷积神经网络的方法，利用 Gram 矩阵的特征分析实现时间一致性和稳定性的控制，不需要测试期间的光流计算并能在任意分辨率下产生高质量、时间一致的视频效果。

    May, 2017

  • 在线连贯视频风格转移

    通过设计一种具有短期和长期相干性的即时视频风格转化网络，以处理使用不同图像风格化网络的视频序列，高效生成连贯、极具视觉效果和数量效应显著优于基本算法的结果。

    Mar, 2017

  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017

  • FlowVid: 克服不完美光流以保持一致的视频合成

    这篇论文提出了一种一致的视频到视频合成框架，通过同时利用源视频中的空间条件和时间光流线索，处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。

    Dec, 2023

  • TransFlow: Transformer 作为流学习器

    TransFlow 是一个基于 Transformer 结构的纯光流估计方法，通过利用空间自注意力机制和跨帧交叉注意力机制，实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息，并通过简单的自学习范式，消除复杂的多阶段预训练程序，在多个任务上实现了最先进的结果。

    Apr, 2023

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020

  • 在线模型蒸馏以提高视频推断的效率

    该文研究使用模型蒸馏技术将低成本的语义分割模型专门应用于目标视频流，使模型接近高成本模型的准确性，并在推断运行时具有更低的成本以及更好的稳定性。

    Dec, 2018