Sep, 2023

细致的 VQ-VAE

PDF
TL;DR我们提出了一种新的方法，通过整合注意力残差编码器（AREN）和残差像素注意层来增强 VQVAE 模型的能力。我们的研究目标是改善 VQVAE 的性能，并保持实际参数水平。AREEN 编码器被设计为在多个级别上有效运作，适应不同的架构复杂性。关键创新是在 AREEN 编码器中整合了像素间自注意机制，允许我们高效地捕捉和利用潜在向量间的上下文信息。此外，我们的模型在进一步提高了表示能力的同时，采用了额外的编码级别。我们的注意力层采用了最小参数的方法，确保在其他像素的相关信息可用时才修改潜在向量。实验结果表明，我们提出的修改显著改进了数据的表示和生成，使 VQVAEs 更适用于广泛的应用领域。
vqvae modelsattentive residual encoderresidual pixel attention layerinter-pixel auto-attentiondata representation
发现论文，激发创造
  • 探索可变自编码器的可视化解释

    本文提出了一种基于梯度的注意力机制技术，用于解释变分自编码器（VAE）及其预测，该技术通过生成学习到的潜在空间的视觉注意力，可用于图像中异常的定位，并能融入模型训练来帮助改善潜在空间分解，这在 MVTec-AD 和 Dsprites 数据集上表现出了最先进的性能。

    Nov, 2019

  • PixelVAE：自然图像的潜变量模型

    这篇论文提出了 PixelVAE，这是一种基于 PixelCNN 的 VAE 模型，可以高效地捕获大型结构和保留压缩的潜在表示，适用于无监督学习的挑战。

    Nov, 2016

  • 视觉问答的结构型注意力

    本文提出通过构建基于网格结构条件随机场上的多变量分布的视觉注意力模型来有效地编码复杂的跨区域关系，并将迭代推理算法转换成端到端的神经网络层，该模型在 3 个数据集上的实验评估结果表明，它超过了新发布的 CLEVR 数据集的最佳基线模型 9.5％，并超过了 VQA 数据集上最佳发布模型 1.25％。

    Aug, 2017

  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • 深度变分推断无需像素级重构

    本文提出了一种基于深度神经网络的变分自编码器，使用实值非体积保存变换来准确计算数据的条件似然，采用由少量中间层组成的强大条件耦合层来使其学习效果更好，在图像建模任务上有着不错的表现。

    Nov, 2016

  • PixelVAE++：具离散先验的改进 PixelVAE 模型

    PixelVAE++ 是一种结合了 VAE 和 PixelCNN++ 的新型生成模型，可在保留潜变量信息的同时学习图像的全局和局部结构，并在 MNIST、Omniglot、CIFAR-10 数据集中实现了最先进的性能。

    Aug, 2019

  • 深度特征一致性变分自编码器

    本研究提出了一种新颖的方法来构建变分自编码器 (Variational Autoencoder，VAE), 该方法通过 enforced deep feature consistency 的方式替代了传统的像素级别的损失，以充分保留输入数据的空间相关性，产生更自然的视觉效果和更好的感知质量。 对 CelebA 数据集的测试结果表明，我们模型能够优于其他文献中的方法，并且还能够产生能捕捉面部表情语义信息的潜在向量，这些向量可用于实现面部属性预测的最新性能。

    Oct, 2016

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • Efficient-VQGAN: 高分辨率图像生成的高效视觉 Transformer

    通过引入局部关注机制、融合全局关注和局部关注机制、以及自动编码训练和自回归生成策略，提出了一种高分辨率图像生成的高效两阶段框架，实现了更高效率、更好的重建质量和更高分辨率的图像合成。

    Oct, 2023