- 基于卷积和 Transformer 的视频帧插帧网络
本文提出一种创新的方法,将 Transformer 编码器和卷积特征相结合,从而减少了近 50% 的内存负担,在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍,并引入双编码器架构来结合局部相关的卷积和远程相关 - 通过动态自适应提升视频帧插值能力
本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方 - IDO-VFI: 基于光流引导的动态识别用于事件驱动视频帧插值
本文介绍了利用事件相机和基于事件的光流估计算法结合的方法,来提高视频插帧的准确度和效率。
- 视频插帧模型的帧间加速攻击
研究通过对视频帧差值 (VIF) 模型的对抗性攻击,提出了使用视频帧差值的性质对攻击进行改进的方法,并提出了一种名为 “帧间加速攻击”(IAA) 的新型攻击方法,该方法可以显著提高攻击效率。同时,还将这种方法扩展到更高级别的视频识别模型,并 - IJCAI使用密集查询双边相关性的视频帧插值
本文提出了一种去除视场依赖性问题的密集查询双边相关 (DQBC) 算法来更好地建模相关性并生成更准确的运动场,该算法比现有技术更准确并具有较少的推理时间。
- 集成难度预估的动态视频帧插值
本文介绍了一个整合了难度评估和视频帧插值的管道,该管道首先利用先前评估模型对输入帧的插值难度级别进行量化,然后动态选择适当的插值模型生成插值结果,极大地提高了视频帧插值的准确度和效率。
- CVPRAMT: 高效帧插值的全对多域变换
本文提出了全局双向卷积网络 AMT,可对视频帧进行插值。该模型在各项指标上表现出色,达到了 Transformer 模型相同级别的准确性和效率。
- CVPR未知曝光时间下的联合视频多帧插值和去模糊
本研究旨在有效地处理在未知曝光时间下所拍摄的视频,采取有监督对比学习构建曝光感知表征,使用两个 U-Net 进行运动分析,通过渐进式曝光自适应卷积和运动细化建立视频重建网络。在模拟和实际数据集上的实验表明,该优化方法在联合视频 x8 内插和 - CVPR通过帧间注意力提取运动和外观,以实现高效的视频帧插值
为了在视频帧插值过程中有效地提取帧间运动和外观信息,本研究提出了一种通过统一操作明确提取运动和外观信息的新型模块,并在混合 CNN 和 Transformer 结构中无缝集成,实验结果表明在各种数据集上实现了最先进的性能。
- CVPR连续条件视频预测的统一模型
本文提出了一种统一的神经过程模型,该模型以强化了的 Transformer 为基础,既可以在多个数据集上有效地处理条件视频预测任务(包括视频未来帧预测和视频帧插值),又可以实现连续预测 / 插值,且性能优于现有工作。
- ECCV视频帧插入的感知质量度量
本文提出了一种基于深度学习的感知质量度量方法用于测量视频帧插值结果,通过收集新的视频帧插值质量评估数据集,证明了该方法在视频帧插值结果测量中优于现有的最先进方法。
- ECCV事件驱动各向异性光流插值
本文提出了一种基于事件驱动的非各向同性光流调整的端到端训练方法 A ^ 2OF,以建模两帧之间的复杂运动,这种方法在视频帧插值方面的性能优于之前的方法,将监督式事件驱动视频插值推向了更高的阶段。
- CVPR通过视频帧插值优化视频预测
通过基于已经训练好的可微分视频帧插值模块的优化框架进行视频预测,不需要训练数据集也不需要附加信息,并且在诸多数据集上取得了良好的预测结果。
- CVPRIFRNet:用于高效帧插值的中间特征精化网络
本文提出了一种基于编码器 - 解码器网络的视频帧插值方法 IFRNet,该方法通过提取输入数据的金字塔特征和应用中间流场实现帧合成,同时引入了任务导向的光流蒸馏损失和几何一致性正则项进行优化,实验表明该方法具有出色的性能和快速的推理速度。
- CVPR使用 Transformer 的视频帧插值
使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法,在多个基准测试上达到了新的最先进结果。
- CVPR使用 Warping NODEs 生成连续逼真动画的图像到 GIF 转换器
本文提出一种新的框架,基于微分方程的连续空间变换,利用生成对抗网络(GAN)和 $L_2$ 损失在不同的训练环境下生成平滑流畅的动画(视频帧插值)。
- IJCAI基于可变形卷积核区域的视频帧插帧
本文通过重新审视可变形卷积技术,旨在解决图像中卷积核区域位置的网格限制问题,以期更好适应物体形状不规则性和运动不确定性,从而提供更准确的插值画面。实验结果表明,相比于现有的其他技术,在四种数据集上所提出的模型表现更为卓越。
- CVPRTime Lens++:使用参数非线性流和多尺度融合进行基于事件的帧插值
本文提出了基于多尺度特征融合技术和一次非线性帧间运动计算的视频帧插值方法,利用新型实验装置捕捉深度变化的 100 多个具有挑战性的场景,对比实验表明我们的方法在 PSNR 和 LPIPS 得分上分别提高了 0.2dB 和 15%。
- CVPR通过特征传播实现长期视频帧插值
本研究提出了一种基于传播网络(PNet)的新框架,旨在有效解决视频帧插值(VFI)中存在的大间隔问题,将一侧的输入传播到可靠时间帧,然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明,在长期 VFI 方面,其比现有的最先进 - 视频帧插值的主观质量研究
本文主要针对视频帧插值的质量评价这一研究领域进行了主观评价研究,并提出了迫切需要开发一种专门的感知质量评价标准,结果表明常见的质量评价指标不能很好地与插值内容的感知质量相关联,需要发展更精准的指标。