May, 2024

CV-VAE：潜在生成视频模型的兼容视频变分自编码器

PDF
TL;DR我们提出了一个名为 CV-VAE 的视频 VAE 方法，通过与给定图像 VAE 进行潜在空间的兼容性来实现训练视频模型，并展示了其在视频生成和压缩方面的有效性。
video compressionvariational autoencoderslatent space compatibilitylatent diffusion-based video modelscontinuous video vae
发现论文，激发创造
  • 深度生成式视频压缩

    文章提出了一种基于深度生成模型和序列数据的变分自编码器模型，用于视频压缩，经测试取得了竞争性的压缩效果。

    Oct, 2018

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

    提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。

    Jan, 2022

  • 利用 VQVAE 模型预测视频

    本文提出了一种基于 VQ-VAE 的视频预测方法，将高分辨率视频压缩为一组分层多尺度离散潜在变量，然后应用可扩展自回归生成模型，相对于先前的工作，更关注大规模多样化的数据集，并使用人工评估验证了其效果。

    Mar, 2021

  • 改进的条件性 VRNNs 用于视频预测

    本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

    Apr, 2019

  • 使用 C-VAEs 重构时空数据

    本文提出在烧毁的森林火灾数据集上使用条件变分自编码器（C-VAE）模型来生成连续的、平滑的、现实的移动区域代表，与手动注释的数据结果相比，该方法表现出竞争性的几何相似性度量，在时间保持一致性方面也表现出更好的表现。

    Jul, 2023

  • LiteVAE：轻量高效的变分自编码器用于潜在扩散模型

    通过引入 LiteVAE，一种基于 2D 离散小波变换的自编码器家族，我们在维持输出质量的同时提高了可扩展性和计算效率，基本 LiteVAE 模型在高分辨率图像生成方面与现有的 VAEs 相当，但编码器参数减少了六倍，导致更快的训练速度和更低的 GPU 内存需求，而我们的较大模型在所有评估指标（rFID、LPIPS、PSNR 和 SSIM）上均优于复杂度相当的 VAEs。

    May, 2024

  • 连续潜在空间图像超分辨率的软引导变分自编码器

    连续图像超分辨率 (SR) 一直受到研究人员的关注，因为它可以在各种显示设备上实现实用且灵活的图像缩放。本文提出了一种 Soft-introVAE 方法，用于连续潜在空间图像超分辨率 (SVAE-SR)，通过局部隐式图像表示来进行坐标和二维特征的插值，同时采用一种新颖的潜在空间对抗训练方法来实现保真度很高的图像恢复，进一步利用位置编码方案通过汇集像素区域上的频率信息来改进质量。我们通过定量和定性比较展示了提出的 SVAE-SR 的有效性，并进一步阐述了其在去噪和真实图像超分辨率方面的泛化能力。

    Jul, 2023

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 异质性时间和纵向数据的变分自编码器

    本文提出了用于处理异构数据的异构纵向变分自编码器，该模型通过建立生成模型和推断网络实现了高维数据的有效推断和处理，并使用连续、计数、分类和序数数据的似然模型来处理缺失值和实现预测。通过模拟和临床数据的实验验证了模型的有效性和预测精度。

    Apr, 2022