交互式控制视频流风格化时的时间一致性
本文利用深度递归神经网络,结合短期、长期以及感知上的损失,为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入,生成时间上连贯的视频的方法,实现了对多种需求的处理,且无需光流计算,具有实时性能。
Aug, 2018
提出了一种基于文本引导的视频风格化方法,通过同步多帧扩散框架来维持视觉细节和时间一致性,实现了视觉细节和时间一致性的生成高质量和多样性的结果。
Nov, 2023
本文研究实时视频风格转移,提出一种基于循环卷积神经网络的方法,利用 Gram 矩阵的特征分析实现时间一致性和稳定性的控制,不需要测试期间的光流计算并能在任意分辨率下产生高质量、时间一致的视频效果。
May, 2017
本研究提出了一种高效有效的方法,通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换,同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息,通过联合噪声优化有效地最小化了时空不一致性,实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性,并且我们的方法不需要对扩散模型进行任何培训或微调。 最后,我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。
May, 2023
本文提出了一种基于卷积神经网络的实时视频风格转移模型 ReCoNet,通过引入新的亮度变形约束和特征映射级别的时间损失,实现了既有高质量风格又能保证时间连贯性的风格迁移。实验结果表明该模型在质量和效率上均表现出色。
Jul, 2018
通过引入时态依赖于现有的文本驱动扩散模型,使其能够生成一致的编辑对象外观,我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制,利用分层表示的概念将相邻帧的外观信息传播到下一帧,并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架,可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比,我们方法展示了卓越的定性和定量结果。
Aug, 2023
本研究旨在改善在线人脸活体检测系统,提高下游人脸识别系统的安全性。提出了一种基于时间一致性的简单而有效的解决方案,包括在训练阶段引入时间一致性约束的方法和开发出一个无需训练的非参数不确定性估计模块,以适应各种场景的演示攻击,并且在计算复杂度更低的情况下比现有方法在多个公共数据集上至少提高 40%的 ACER 值,具有很大的潜力应用于低延迟的在线应用。
Jun, 2020
本文提出了一种通过知识蒸馏范式学习轻量级视频风格转移到提高稳定性的方法,并采用两个教师网络,一个使用光流,另一个不使用,通过它们的输出差异,采用蒸馏方法训练目标学生网络,同时采用低秩蒸馏损失来稳定学生网络的输出,实验证明我们的学生网络不需要光流模块即可生成稳定视频,并比教师网络运行速度更快。
Jul, 2020