- 视频帧插值的主观质量研究
本文主要针对视频帧插值的质量评价这一研究领域进行了主观评价研究,并提出了迫切需要开发一种专门的感知质量评价标准,结果表明常见的质量评价指标不能很好地与插值内容的感知质量相关联,需要发展更精准的指标。
- 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值
本研究提出了一种使用可变形卷积的视频帧插值方法,使用粗到细的 3D CNN 增强多流预测,实验结果表明,该方法的干涉性能优于其他现有算法,最高可以获得 0.19dB 的 PSNR 增益。
- CVPR视频帧插帧中的不连续性探索
本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略,无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有 - CVPR使用时空卷积进行视频帧插值的非线性运动估计
本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法,尤其是在处理非线性运动和运动不连续的情况下具有显著优势。
- 无时间先验条件的视频帧插值
本文是一篇关于计算机视觉中视频插帧的研究,提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧,通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题,并 - CVPRST-MFNet:基于时空多流网络的帧插值
通过深度学习中的 Spatio-Temporal Multi-Flow 结构实现视频帧插值,采用 3D CNN 模型处理不同的视觉场景,最终应用 ST-GAN 框架进行效果提升,该方法在 14 个最新最优模型中赢得最优结果,PSNR 达到 - ICCV用于视频帧插值的非对称双边运动估计
本研究使用基于不对称双边运动估计的视频帧插值算法,结合预测对称双边运动场和不对称双边运动场技术,提出了一种采用本地和全局信息生成动态滤镜和剩余帧的新型合成网络。实验结果表明,所提出的算法在各种数据集上具有出色的性能。
- CVPRZooming SlowMo:一种高效的时空视频超分辨率单阶段框架
本文提出了一种单阶段空时视频超分辨率框架,通过特征时间插值模块临时插入缺失的低分辨率帧特征来捕捉局部的时间上下文,从而直接从低分辨率和低帧率视频中重建出高分辨率慢动作视频序列,并在广泛使用的基准测试中表现出良好的质量和速度。
- CVPR利用低分辨率光流和掩膜上采样的高效空时视频超分辨率
本文提出了一种高效的时空超分辨率方法,结合视频超分辨率和视频帧插值模型,通过利用二次建模的低分辨率空间插值和基于双线性上采样的高分辨率合成方法,在 REDS STSR 验证集中优于当前最先进的模型。
- ICCVXVFI: 极致视频帧插值
本文首先呈现了一个数据集(X4K1000FPS),其中包含 1000 fps 的 4K 视频,在其中提出了一种极端的 VFI 网络,名为 XVFI-Net,可用于处理具有大运动的 4K 视频,并且基于递归多尺度共享结构,由两个级联模块组成, - FLAVR: 用于快速帧内插的流不可知视频表示
FLAVR 是一种基于 3D 时空卷积的视频帧内插法架构,通过学习处理复杂的非线性运动、遮挡和时间抽象,从而提高视频帧内插的性能,同时不需要额外的输入。FLAVR 比当前最准确的帧插值方法具有 3 倍的推理速度,而且在包括 Vimeo-90 - 重新审视用于视频帧插值的自适应卷积
本文通过对动态插帧的一种简单方法 —— 自适应可分离卷积进行微调来实现近乎先进方法的结果,并提出了几种直观但有效的技术来改进插帧质量,这些技术也可以应用于自适应卷积的其他相关应用领域,如连拍图像去噪、联合图像滤波或视频预测。
- ECCV增强型二次视频插帧
本文提出了一种增强型二次视频插值(EQVI)模型,该模型采用修正后的二次流场预测(RQFP)将运动估计得到的流信息更精确地编码,结合基于像素级融合的图像处理和在高维特征空间中使用参数生成的残差上下文合成网络(RCSN)来处理更加复杂的场景和 - 通用可变形卷积的视频帧插值
本论文提出了一种基于广义可变形卷积的新的视频帧插值方法,该方法可以学习运动信息并自由选择时空采样点,经过广泛的实验证明,该方法在处理复杂运动时表现出类似于最先进技术的性能。
- CVPR元学习实现的场景自适应视频帧插值
本文提出了一种利用测试时可用但之前未被利用的额外信息为每个视频自适应模型的方法,包括使用简单的微调和集成元学习等,以只进行单次梯度更新且不增加额外参数的方式获得显著的性能提升。 同时,我们表明此元学习框架可轻松应用于任何视频帧插值网络,并能 - CVPR视频帧插值的 Softmax Splatting 技术
该论文提出了一种称为 softmax splatting 的方法,用于在前向映射过程中实现像素到目标位置的可微分映射,以及其在视频帧插值中的应用。
- AAAIFISR:具有多尺度时间损失的深度联合帧插值和超分辨率
本文提出了一个联合 VFI 和 SR 的框架,用于将 2K 30fps 的视频升级到 4K 60fps。其中,采用了一种新颖的训练方案,该方案使用多尺度时间损失对输入视频序列进行时间规范化,可以应用于任何一般的视频相关任务。通过大量实验对所 - CVPRAdaCoF:用于视频帧插值的自适应流协作
提出了一种新的适应性流协作分组方法(Adaptive Collaboration of Flows,AdaCoF),可以综合处理复杂运动的广泛领域,加入双帧对抗性损失,用于视频帧内插计算,实验结果表明优于现有的最佳方法。
- CVPR深度感知视频帧插值
该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法,其中利用深度感知流投影层来合成中间流动图像,并且通过分类学习来收集周边像素的上下文信息,实现了输入帧、深度图和像素之间的变换以实现帧合成。
- CVPRZoom-In-to-Check: 基于实例级别区分的视频插帧增强
我们提出了一种轻量级视频帧插值算法,通过实例级监督进行学习,使用光流变形和图像合成模块生成中间图像,并结合低分辨率目标物体和对高分辨率目标物体进行对抗性逆向训练得到的损失,对图像中的细节进行实例级精细化纠正,最终得到与竞争方法相比更好的结果