模糊视频帧插值
本研究提出了一种新的框架,该框架可以通过光流估计学习引起模糊的像素级运动,然后将已解码的特征变形以估算的光流预测多个清晰的帧,从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。
Mar, 2021
本研究提出一种真正的多帧插值器,它利用时间域的金字塔式网络一次性完成多帧插值任务,并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度,结果表明在 Adobe240 数据集上,所提出的方法生成视觉上令人满意的、时间上一致的帧,比当前最佳的即席方法在 PSNR 上提高 1.57db,模型体积减小 8 倍,速度快了 7.7 倍,并且可以轻松扩展以插入大量新的帧.
Jul, 2020
通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
该研究提出了一种基于 DNN 的新框架,名为 ECM-VFI,用于高分辨率视频帧插值,包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示,该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优,并且具有最少的模型参数。
Nov, 2021
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本文是一篇关于计算机视觉中视频插帧的研究,提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧,通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题,并通过相邻运动轨迹中的约束定义了一种新的光流细化策略以提高插值结果。实验表明,一个训练良好的模型足以在复杂的实际情况下合成高质量的慢动作录像。
Dec, 2021
本文提出了一种针对大幅度中间动作的帧内插法算法,采用多尺度特征提取器的单一统一网络来进行训练,通过优化 Gram 矩阵损失实现了高质量的视频帧合成,竞争性地超越其他基于感知损失的方法,在多个基准测试中获得了更高的分数,并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。
Feb, 2022
本文提出了一种基于循环一致性和伪监督的无监督技术,用于实现从低帧率视频直接合成高帧率视频。实验证明,该技术可以在不使用任何额外数据的情况下,显著提高预先训练模型在新目标域上的性能,从而大幅增加 PSNR 值。
Jun, 2019