Nov, 2023

使用蒸馏路径搜索重建任意视频序列

PDF
TL;DR该研究论文提出了一种交互式框架，通过用户对起始帧的偏好生成新的序列，与之前的方法和现有商业应用相比，我们的方法在内容和运动方向上生成具有一致程度的任意起始帧的新序列。通过提出的网络 RSFNet 在给定视频的帧集上学习特征相关性，并开发了一种新的路径查找算法 SDPF，将源视频的运动方向知识建模，估计平滑可信的序列。广泛的实验表明，我们的框架能够在卡通和自然场景上生成新的动画，并推动以前的工作和商业应用以获得更可预测的结果。
animationinteractive frameworkcontent and motion directionrsfnetsdpf
发现论文，激发创造
  • 利用检索辅助视频生成技术的动画故事讲述

    提出了一种使用现有短视频合成视觉讲述视频的技术，该技术基于查询文本描述运动结构，在结构引导和外观指导下生成基于情节的视频，并通过概念个性化方法保证视频的视觉一致性。

    Jul, 2023

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • 视频填充的随机动力学

    该研究介绍了一种随机动态视频补全（SDVI）框架，用于在视频的长时间间隔内生成帧，其中该框架将补全建模为约束随机生成过程并依次从推断的分布中采样动态。该框架包含两个部分：（1）双向约束传播模块，以保证帧间的时空一致性，（2）随机采样过程，从推断分布中生成动态。实验结果表明，SDVI 能够生成具有不同内容的清晰帧序列。此外，所生成序列中的运动是逼真的，能够顺利地从给定的开始帧传输到结束帧。

    Sep, 2018

  • 点对点视频生成

    提出一种通过两个控制点 (起始和结束帧) 控制生成过程的视频生成方法，采用跳帧训练策略并最大化修改的条件数据似然下限，实验结果表明该方法在动态长度生成等多个场景下具有显著的潜力和优点。

    Apr, 2019

  • 学习预测和优化残差运动用于图像生成视频

    本文提出了一个两阶段的生成框架来解决图像到视频转换的问题，其中视频从结构生成并通过时间信号进行调整。通过在面部表情重定位和人体姿势预测这两个任务中取得比现有方法优秀的结果，证明了我们方法的有效性。

    Jul, 2018

  • 适用于滚动快门影像的事件引导式视频帧插值的自监督学习

    通过事件相机数据来指导自监督学习框架，以非线性稠密的 3D 时空信息估计位移场 (DF) 来应对回滚快门帧 (RS) 采集运动物体时的失真，实现相机任意帧速率插值 (VFI) 和 RS 帧到 GS 帧的互相重构。

    Jun, 2023

  • 增强型深度动画视频插帧

    本研究提出使用 AutoFI 进行深度动画视频插值的方法，不断优化框架，提高了训练数据线性运动假设的准确性并使用 SktFI 进行后期精细处理，大幅提升了生成动画的视觉效果。

    Jun, 2022

  • VideoFlow: 用于随机视频生成的条件流模型

    我们提出了一种基于归一化流的多帧视频预测方法，可以直接优化数据可能性并生成高质量的随机预测，该方法可以实现对于视频生成建模的可行且竞争性的方法。

    Mar, 2019

  • 野外场景下深度动画视频插帧

    本研究针对动画视频插帧问题，提出 AnimeInterp 框架，包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块，能够有效解决动画视频的颜色匹配和非线性动作问题，该方法在大规模动画三重奏数据集 ATD-12K 上表现优于现有最先进的插帧方法，并具有较优的视觉质量和鲁棒性。

    Apr, 2021

  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023