深度几何化卡通线插帧
本文介绍了一种基于卷积神经网络的 inbetweening 方法,该方法可直接处理扫描图像,无需显式计算线条的对应关系和拓扑变化,并在实际动画制作实验中得到了部分中间帧的良好生成效果。
Jun, 2017
本研究针对动画视频插帧问题,提出 AnimeInterp 框架,包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块,能够有效解决动画视频的颜色匹配和非线性动作问题,该方法在大规模动画三重奏数据集 ATD-12K 上表现优于现有最先进的插帧方法,并具有较优的视觉质量和鲁棒性。
Apr, 2021
通过多层次引导和深度学习方法,我们提出了一种新型的动画插画网络,名为 FC-SIN,用于快速生成流畅的 2D 动画插画。在大规模数据集 STD-12K 上的综合实验证明,我们的方法优于现有的插值方法,并且我们的代码和数据集将公开提供。
Aug, 2023
本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术,可以作为 3D 动画师的新工具。系统合成了高质量的运动,使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符,它们被应用在网络架构中的潜在表示内,用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法,我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时,本文还发布了这个新数据集和可重现我们基准结果的伴随代码。
Feb, 2021
提出了一种使用卷积模型实现视频 inbetweening 的方法,该模型通过逐步增加时间分辨率来学习生成潜在视频表示,最后用 3D 卷积在空时领域中解码,结果在广泛使用的基准数据集上表现出了显著的稳定性和多样性。
May, 2019
我们引入有限生成作为一种广义控制视频生成的任务,仅基于给定的起始和结束帧来合成任意的摄像机和主题运动,通过新提出的 Time Reversal Fusion 采样策略完全充分利用图像到视频模型的内在泛化能力,无需额外的训练或原始模型的微调,生成平滑连接两个帧的视频,生成忠实的主题运动中间形态,静态场景的新视角,以及在两个边界帧相同时无缝视频循环。我们构建了一个多样化的评估数据集,并与最接近的现有方法进行比较,发现 Time Reversal Fusion 在所有子任务上表现优于相关工作,具有生成由有限帧引导的复杂运动和三维一致视图的能力。详见此 https URL 的项目页面。
Mar, 2024
本研究提出使用 AutoFI 进行深度动画视频插值的方法,不断优化框架,提高了训练数据线性运动假设的准确性并使用 SktFI 进行后期精细处理,大幅提升了生成动画的视觉效果。
Jun, 2022
本研究旨在解决 2D 动画插值系统中的感知品质问题,提出了可有效降低可调参数以及改善口感表现的 SoftsplatLite 插值体系、利用线接近度解决难以处理的单色区域畸变的距离变换模块,以及用 Restricted Relative Linear Discrepancy metric 代替传统数据收集方法。通过用户研究得出,相较于先前在插值系统中应用 PSNR 和 SSIM,应使用 LPIPS 感知指标和 chamfer 线距离指标进行 2D 动画质量评估。
Nov, 2021
通过使用周期自编码器学习到的相位变量,在混合专家神经网络模型中引入了一种新颖的数据驱动的动作插值系统,以达到人物的目标姿势。我们的方法在空间和时间上以不同的专家权重聚类动作,生成一系列自回归方式在当前状态和目标状态之间的姿势序列。此外,为了满足动画师手动修改的姿势或某些末端执行器作为要达到的约束,我们实施了学习的双向控制方案来满足这些约束。结果表明,使用相位进行动作插值任务可以使插值动作更加清晰,并进一步稳定学习过程。此外,在动作插值任务中使用相位还可以合成更具挑战性的运动,超越了行走等基本动作。此外,可以在给定目标关键帧之间进行风格控制。我们的提出的框架在动作质量和泛化性方面可与流行的最先进方法相竞争,特别是在存在较长的过渡持续时间的情况下。我们的框架有助于快速原型工作流程,用于创建游戏和电影行业中的动画人物序列,这是非常有趣的。
Aug, 2023