迭代优化快速全帧视频稳定化
本文介绍了一种基于深度学习的视频稳定技术,通过帧间插值技术生成中间帧实现在保持完整画面的同时避免剪切和失真。该方法可在近实时运行。与现有方法相比,该方法可以显著提高稳定效果并在无监督的情况下进行端到端的训练。
Sep, 2019
本研究提出了一种帧综合算法实现了全帧视频稳定,该方法通过估计密集的变形场,并通过融合变形内容生成稳定的帧,该方法通过基于学习的混合空间融合减轻了由光流不精确和快速移动物体导致的伪影,并通过 NUS、自拍和 DeepStab 视频数据集验证了该方法的有效性,实验结果表明其优于先前的视频稳定方法。
Feb, 2021
通过采用测试时间自适应方法,我们提出了一种新颖的方法来提升视频稳定的像素级合成解决方案的性能,该方法利用低级视觉线索改善结果视频的稳定性和质量,通过元学习技术显著提高了稳定性,仅需一个自适应步骤。该算法在实际场景中提高了各种像素级合成模型用于视频稳定的性能。
Mar, 2024
提出了一种新的方法,StabStitch,用于同时实现视频拼接和视频稳定化,通过整合空间和时间变形,优化拼接轨迹,解决了视频拼接中的抖动问题,提高了场景稳定性和实时性。
Mar, 2024
本文提出了一种基于 Out-of-boundary View Synthesis (OVS) 的新型视图插值方法,即在变形稳定的基础上,通过对相邻帧之间的空间一致性来推导出边界外视图,从而显著提高稳定性能和裁剪比率。
Aug, 2021
本文介绍了一种名为 RStab 的视频稳定化新框架,它通过体积渲染集成了三维多帧融合。我们引入三维多帧视角来生成稳定图像,解决了全帧生成和结构保留的挑战。该框架核心在于稳定渲染(SR)模块,在图像融合的基础上还融合了特征。通过投影将多帧的特征和颜色进行变形和融合,生成稳定图像。此外,我们引入自适应射线范围(ARR)模块来集成深度先验,自适应定义投影过程的采样范围。同时,我们提出了色彩校正(CC)辅助几何约束和光流以实现准确的颜色聚合。多亏了这三个模块,我们的 RStab 在视野范围、图像质量和视频稳定性等各种数据集上展现出卓越的性能。
Apr, 2024
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017
通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
这篇论文提出了一种一致的视频到视频合成框架,通过同时利用源视频中的空间条件和时间光流线索,处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。
Dec, 2023
本研究提出了一种新的框架,该框架可以通过光流估计学习引起模糊的像素级运动,然后将已解码的特征变形以估算的光流预测多个清晰的帧,从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。
Mar, 2021