一种基于滤波器的中间帧生成方法
我们提出一种新方法 AnimeInbet,将线绘图的中间过程构建为端点图,并将中间过程重新定位为图融合问题,从而有效地捕捉线绘图的稀疏性和独特结构,在保持细节的同时合成高质量、干净、完整的中间线绘图。
Sep, 2023
提出了一种使用卷积模型实现视频 inbetweening 的方法,该模型通过逐步增加时间分辨率来学习生成潜在视频表示,最后用 3D 卷积在空时领域中解码,结果在广泛使用的基准数据集上表现出了显著的稳定性和多样性。
May, 2019
通过多层次引导和深度学习方法,我们提出了一种新型的动画插画网络,名为 FC-SIN,用于快速生成流畅的 2D 动画插画。在大规模数据集 STD-12K 上的综合实验证明,我们的方法优于现有的插值方法,并且我们的代码和数据集将公开提供。
Aug, 2023
本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术,可以作为 3D 动画师的新工具。系统合成了高质量的运动,使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符,它们被应用在网络架构中的潜在表示内,用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法,我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时,本文还发布了这个新数据集和可重现我们基准结果的伴随代码。
Feb, 2021
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017
本文提出一种创新的方法,将 Transformer 编码器和卷积特征相结合,从而减少了近 50% 的内存负担,在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍,并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估,展示了所提出方法的鲁棒性,与最先进的插值网络相比,取得了竞争性能。
Jul, 2023
本文提出了一种针对大幅度中间动作的帧内插法算法,采用多尺度特征提取器的单一统一网络来进行训练,通过优化 Gram 矩阵损失实现了高质量的视频帧合成,竞争性地超越其他基于感知损失的方法,在多个基准测试中获得了更高的分数,并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。
Feb, 2022
通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
本文提出了一种基于多尺度生成对抗网络的视频插帧算法(FIGAN),并通过构建粗到细的多尺度残差估计模块以及联合多级感知损失函数的方法,在算法效率和插帧视频的视觉质量两方面取得了较好的结果。
Nov, 2017
本研究针对动画视频插帧问题,提出 AnimeInterp 框架,包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块,能够有效解决动画视频的颜色匹配和非线性动作问题,该方法在大规模动画三重奏数据集 ATD-12K 上表现优于现有最先进的插帧方法,并具有较优的视觉质量和鲁棒性。
Apr, 2021