ECCVJul, 2022

快速视频生成：用于视频合成的时空压缩

PDF
TL;DR本文提出了一种名为 Fast-Vid2Vid 的新型空间时间压缩框架，旨在减少计算资源并加速推理，通过对生成模型的数据方面进行压缩处理，使模型实现低分辨率数据流合成 / 高效中间帧插值，并在标准基准测试中实现约 20 FPS 的实时性能，同时在单个 V100 GPU 上节约约 8 倍的计算成本。
video-to-video synthesiscomputational costsequential data streamspatial-temporal compressiongenerative models
发现论文，激发创造
  • 基于世界一致性的视频到视频合成

    提出了一种新颖的 vid2vid 框架，它使用所渲染的所有过去帧来生成当前帧，并通过引入物理基础的 guidance image 来提高 3D 世界的一致性，并使用新颖的神经网络架构利用存储在 guidance image 中的信息。

    Jul, 2020

  • 少样本视频到视频合成

    本研究提出了一种少样本 vid2vid 前景图像生成模型，利用注意力机制生成网络权重，从而实现对以前未见过的目标进行视频生成。在多个大规模视频数据集上的实验证实了该方法的有效性。

    Oct, 2019

  • Shortcut-V2V：基于时域冗余减少的视频到视频翻译压缩框架

    Shortcut-V2V 是一个适用于视频到视频翻译的通用压缩框架，通过近似当前帧的中间特征，避免对每个相邻视频帧进行完整推理，利用 AdaBD 模块适应性地融合和变形相邻帧的特征，以实现更准确的中间特征预测，除能达到原始模型相当的性能外，还能在测试时节省 3.2-5.7 倍的计算成本和 7.8-44 倍的内存。

    Aug, 2023

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • FlowVid: 克服不完美光流以保持一致的视频合成

    这篇论文提出了一种一致的视频到视频合成框架，通过同时利用源视频中的空间条件和时间光流线索，处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。

    Dec, 2023

  • 文本到视频生成的层次化时空解耦

    提出了 HiGen，一种基于扩散模型的方法，通过从结构层面和内容层面解耦视频的空间和时间因素，实现了在生成视频时具备语义准确性和运动稳定性的方法。

    Dec, 2023

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • FusionFrames：文本到视频生成流程的高效架构方案

    本研究提出了一种基于文本到图像扩散模型的新的两阶段潜在扩散文本到视频生成架构，该架构对关键帧合成和插值帧生成进行建模，并通过比较不同的时间条件方法和视频解码方案进行实验评估，最终在视频生成质量方面取得了较好的结果。

    Nov, 2023

  • 时空网络与运动补偿的实时视频超分辨率

    本论文提出一种新的视频超分辨率算法，即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks，并采用了创新性的运动补偿和视频超分辨率算法，相比于单帧模型，网络可以减少 30％的计算成本同时保持相同的质量，或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明，该算法在精度和效率方面均超过当前的最新性能。

    Nov, 2016

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了 I2VGen-XL 的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023