增强型深度动画视频插帧
本研究针对动画视频插帧问题,提出 AnimeInterp 框架,包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块,能够有效解决动画视频的颜色匹配和非线性动作问题,该方法在大规模动画三重奏数据集 ATD-12K 上表现优于现有最先进的插帧方法,并具有较优的视觉质量和鲁棒性。
Apr, 2021
通过多层次引导和深度学习方法,我们提出了一种新型的动画插画网络,名为 FC-SIN,用于快速生成流畅的 2D 动画插画。在大规模数据集 STD-12K 上的综合实验证明,我们的方法优于现有的插值方法,并且我们的代码和数据集将公开提供。
Aug, 2023
本文介绍了一个整合了难度评估和视频帧插值的管道,该管道首先利用先前评估模型对输入帧的插值难度级别进行量化,然后动态选择适当的插值模型生成插值结果,极大地提高了视频帧插值的准确度和效率。
Apr, 2023
本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方法,即使它们使用额外的输入。
Jun, 2023
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024
本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略,无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有效的模块,用于预测称为 discontinuity map (D-map) 的地图,密集地区分持续和不连续运动区域。最后,我们提出了损失函数,以对不连续运动区域进行监督。应用于各种先进的 VFI 网络,我们的方法显著提高了插帧质量,不仅适用于 GDM 数据集,还包括只包含连续运动的现有基准数据集,例如 Vimeo90K、UCF101 和 DAVIS。
Feb, 2022
提出了一种名为 WaveletVFI 的新型两阶段帧插值框架,通过轻量级运动感知网络估计中间光流,然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数,以实现高效的目标帧重构,通过嵌入分类器学习动态阈值来控制计算,从而实现高达 40% 的计算减少,保持了相似的准确性。
Sep, 2023
本研究旨在解决 2D 动画插值系统中的感知品质问题,提出了可有效降低可调参数以及改善口感表现的 SoftsplatLite 插值体系、利用线接近度解决难以处理的单色区域畸变的距离变换模块,以及用 Restricted Relative Linear Discrepancy metric 代替传统数据收集方法。通过用户研究得出,相较于先前在插值系统中应用 PSNR 和 SSIM,应使用 LPIPS 感知指标和 chamfer 线距离指标进行 2D 动画质量评估。
Nov, 2021