重新审视用于视频帧插值的自适应卷积
本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法,使用深度卷积神经网络对图像特征进行训练,从而实现了高质量的视频帧插值,无需人工标注。
Aug, 2017
通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
本论文提出了一种基于广义可变形卷积的新的视频帧插值方法,该方法可以学习运动信息并自由选择时空采样点,经过广泛的实验证明,该方法在处理复杂运动时表现出类似于最先进技术的性能。
Aug, 2020
该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法,其中利用深度感知流投影层来合成中间流动图像,并且通过分类学习来收集周边像素的上下文信息,实现了输入帧、深度图和像素之间的变换以实现帧合成。
Apr, 2019
该论文提出了一种增强的可变形可分离卷积(EDSC)来生成视频序列的中间帧,并能够以任意时间位置生成任意帧。通过学习自适应卷积核、偏移量、掩码和偏置等多个组件,能够从非局部邻域获取信息,并且通过扩展的 coord-conv 技巧,能够控制中间时间步来生成多个中间帧。实验结果表明,该方法在广泛的数据集范围内优于现有方法。
Jun, 2020
本文提出一种创新的方法,将 Transformer 编码器和卷积特征相结合,从而减少了近 50% 的内存负担,在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍,并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估,展示了所提出方法的鲁棒性,与最先进的插值网络相比,取得了竞争性能。
Jul, 2023
本研究提出一种真正的多帧插值器,它利用时间域的金字塔式网络一次性完成多帧插值任务,并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度,结果表明在 Adobe240 数据集上,所提出的方法生成视觉上令人满意的、时间上一致的帧,比当前最佳的即席方法在 PSNR 上提高 1.57db,模型体积减小 8 倍,速度快了 7.7 倍,并且可以轻松扩展以插入大量新的帧.
Jul, 2020
本研究提出了一种新的框架,该框架可以通过光流估计学习引起模糊的像素级运动,然后将已解码的特征变形以估算的光流预测多个清晰的帧,从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。
Mar, 2021
本文通过重新审视可变形卷积技术,旨在解决图像中卷积核区域位置的网格限制问题,以期更好适应物体形状不规则性和运动不确定性,从而提供更准确的插值画面。实验结果表明,相比于现有的其他技术,在四种数据集上所提出的模型表现更为卓越。
Apr, 2022