- MotionDreamer:从视频扩散模型中实现零样本 3D 网格动画
基于视频扩散模型的自动重新动画化技术,通过利用扩散特征和显式基于网格的表示方法,实现对任意 3D 形状的准确动画拟合。
- 统一多模态运动生成的大型运动模型
大运动模型(LMM)是一个以运动为中心的多模态框架,将主流的运动生成任务统一为一个通用模型,并通过综合不同类型的运动数据和任务来实现广泛泛化。
- AniPortrait:音频驱动的逼真人像动画合成
提出了 AniPortrait,这是一个由音频和参考肖像图像驱动的,用于生成高质量动画的新框架。通过从音频提取 3D 中间表示并将其投影到一系列 2D 面部标志中,然后使用强大的扩散模型和动画模块将标志序列转换为逼真且时间连续的肖像动画,实 - InsActor: 指令驱动的基于物理的角色
利用最新的基于扩散的人体运动模型,InsActor 提供了一种原则性的生成框架,可以根据高级人类指令生成基于物理的角色的动画,通过使用扩散策略进行灵活的条件化运动规划,以捕捉高级人类指令和角色动作之间的复杂关系,并在一个紧凑的潜在空间中发现 - VectorTalker: 带有渐进式矢量化的 SVG 语音生成
通过提出一种名为 VectorTalker 的可扩展矢量图形重建和动画方法,本文研究了基于音频驱动的矢量图像的说话头生成,并通过广泛的定量和定性评估实验结果证明其在矢量图形重建和音频驱动动画方面的优越性。
- HeadGaS: 三维高斯散点实时可动头部化身
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的 HeadGaS 模型,其利用可学习的潜在特征扩展了 3DGS 的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS 在实时推 - 利用文本到视频先验将草图赋予生命
本文提出了一种方法,通过提供所需运动的文本提示来给单个主题的素描添加动作,并生成可轻松编辑的矢量表示的短动画。通过使用大型预训练的文本到视频扩散模型的运动先验进行评分蒸馏损失来引导笔画的放置,我们的方法不需要进行广泛的训练。通过两个组件对学 - 使用蒸馏路径搜索重建任意视频序列
该研究论文提出了一种交互式框架,通过用户对起始帧的偏好生成新的序列,与之前的方法和现有商业应用相比,我们的方法在内容和运动方向上生成具有一致程度的任意起始帧的新序列。通过提出的网络 RSFNet 在给定视频的帧集上学习特征相关性,并开发了一 - FDLS:一种用于生成高质量、可控和可重定目标的面部表情的深度学习方法
Weta Digital 的 FDLS(Facial Deep Learning Solver)是解决创建逼真合成人物和转换演员表演至类人角色的复杂模型操控问题的解决方案,采用了粗粒度到细粒度和人工参与的策略,支持编辑和处理日常变化,以可靠 - ManimML: 用动画传达机器学习架构
开发使用 Python 编写的 ManimML 动画库,以使机器学习从业人员可以轻松地从代码中生成 ML 算法的动画。ManimML 具有类似于流行的深度学习框架(如 Pytorch)的语法,可以将预先存在的神经网络架构转换为动画.
- 通用单次神经头像模拟
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面 - DreamWaltz:使用复杂的三维动画化头像制作场景
DreamWaltz 是一个新型的框架,用于基于文本指导和参数人体先验生成和创建复杂的 3D 化身,该方法使用 3D 一致、遮挡感知的分数蒸馏采样优化隐式神经表示,并通过 3D 感知骨骼调节提供视角对齐的监督,其使复杂的化身生成更加完美且没 - 单运动扩散
本文介绍了一种名为 SinMDM 的单一运动模型,使用扩散模型和针对单一运动的去噪网络设计,能够学习任意长度的与原来的运动片段相似的动画并且高效快速。SinMDM 可应用于各种场景,包括运动合成,风格迁移和人群动画。
- AnimeSR:学习用于动画视频的真实世界超分辨率模型
本文研究解决现实世界中动画视频超分辨率(VSR)的难题,并揭示了实用动画 VSR 的三个关键改进:通过学习基本运算符来改进基本降质操作生成过程中的能力,使用 AVC 数据集进行综合训练和评估,以及研究有效的多尺度网络结构。我们的 Anime - ICLR潜在图像动画师:通过潜在空间导航学习动画图片
介绍了一种名为 LIA 的基于自我监督的自编码器模型,该模型可以在潜在空间中进行线性导航以运动图像。LIA 避免了使用结构表示,通过同时学习正交运动方向和其线性组合来生成视频,结果在 VoxCeleb、Taichi 和 TED-talk 数 - 静态图像中流体元素的可控动画
本文提出一种交互式控制静态图像中流体元素动画制作生成 cinemagraphs 的方法,通过允许用户提供方向、速度和蒙版等信息生成密集的光流图,进而使用生成对抗网络和 UNet 模型进行流畅的动画帧生成,取得了优于基线的质量和量化指标。
- 关节动画的运动表示
本文提出了一种新的运动表示方法,能够自动分离物体中的不同部分,并追踪它们的运动,从而可以更好地进行动画制作。该方法基于完全无监督的学习,提取出有意义且一致的区域表示物体的位置、形状和姿态,适用于各种物体,并且性能超过现有的方法。
- CVPR野外场景下深度动画视频插帧
本研究针对动画视频插帧问题,提出 AnimeInterp 框架,包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块,能够有效解决动画视频的颜色匹配和非线性动作问题,该方法在大规 - ECCVDeepLandscape:风景视频的对抗建模
本文利用模型 StyleGAN 对风景视频进行训练,生成真实的时间变化风景视频,并通过拟合到静态风景图像中实现再现,同时提出简单的 StyleGAN 反演过程改进,生成比以前更引人注目的风景动画。
- DeepSVG:用于矢量图形动画的分层生成网络
本文提出了一种新颖的分层生成网络 DeepSVG,可用于生成和插值 SVG 图标。研究者通过引入一个新的大规模数据集并结合开源 SVG 操作库,证明了该网络能准确重建各种矢量图形,并可作为强大的动画工具。