Jul, 2023

S-HR-VQVAE: 序列层次残差学习向量量化变分自编码器用于视频预测

PDF
TL;DR提出了一种名为 S-HR-VQVAE 的新模型，将层次化残差量化变分自编码器（HR-VQVAE）与新型时空 PixelCNN（ST-PixelCNN）相结合，具有更好处理视频预测任务的能力，并通过提出先进的训练方法，平衡整个模型参数的学习。
video predictionhierarchical residual learning vqvaespatiotemporal pixelcnns-hr-vqvaetraining method
发现论文，激发创造
  • 利用 VQVAE 模型预测视频

    本文提出了一种基于 VQ-VAE 的视频预测方法，将高分辨率视频压缩为一组分层多尺度离散潜在变量，然后应用可扩展自回归生成模型，相对于先前的工作，更关注大规模多样化的数据集，并使用人工评估验证了其效果。

    Mar, 2021

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • HQ-VAE：具有变分贝叶斯的分层离散表示学习

    基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

    Dec, 2023

  • 大规模视频预测的贪心分层变分自编码器

    介绍了一种基于 Greedy Hierarchical Variational Autoencoders (GHVAEs) 的高保真度视频预测模型，能够解决 GPU 或 TPU 的内存限制和大规模视频预测的优化难题，并在四个视频数据集上取得了 17-55% 的预测性能提升和 35-40% 更高的成功率。

    Mar, 2021

  • 层次化草图归纳用于释义生成

    本文提出了一种生成抄袭的生成模型，它通过条件语法草图鼓励语法多样性。在 HRQ-VAE 的基础上，我们提出了一种学习散列编码分解的方法，表示输入的精细到粗糙的信息。通过 HRQ-VAE，我们可以将输入句子的句法形式编码为通过层次结构的路径，以便更容易地在测试时预测语法素描。实验结果证明了 HRQ-VAE 可以学习输入空间的层次表征，并生成比以前系统更高质量的抄袭。

    Mar, 2022

  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • SQ-VAE：自退火随机量化的离散表征变分贝叶斯

    本文提出了一种名为 SQ-VAE 的新型训练方法，通过引入一种名为自退火的随机量化方法，扩展标准变分自编码器来提高编码本的利用率，并在视觉和语音任务中优于 VAE 和 VQ-VAE

    May, 2022

  • 变分同编码器：从少量样本中学习高容量生成模型的元学习

    使用 Variational Homoencoder（VHE）技术，在 Omniglot 数据集中建立层次化的 PixelCNN，其效果优于所有现有模型，同时在一次性生成和分类任务上实现强大性能。

    Jul, 2018

  • 改进的条件性 VRNNs 用于视频预测

    本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

    Apr, 2019

  • 使用分层二元自编码器进行自监督视频哈希

    本文提出了一种新颖的无监督视频哈希框架 Self-Supervised Video Hashing (SSVH)，通过设计编码器 - 解码器体系结构以及使用二进制自动编码器来捕获视频序列的时间性质，将视频嵌入二进制代码并赋予其准确的视频检索能力，通过 FCVID 和 YFCC 两个真实数据集上的实验表明，我们的 SSVH 方法可以显著优于现有技术并在无监督视频检索任务上达到最佳性能。

    Feb, 2018