AAAIMay, 2019

基于量化的自编码器正则化

PDF
TL;DR本文提出了一种基于量化的正则化器来防止过拟合和后验坍缩现象，通过在 Autoencoder 的瓶颈阶段使用噪声和贝叶斯估计器优化 quantizer-based 表示结果，结果表明相对于使用其他瓶颈结构的 Autoencoder，在监督学习和聚类下游任务中，提出的正则化方法可以得到更好的潜在表示。
autoencodersregularizationquantizationvq-vaeclustering
发现论文，激发创造
  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 用潜在量化实现解缠

    通过强化模型正则化并将潜空间量化为可学习的离散代码，本文提出一种面向组成性编码和解码的概念偏置，从而在许多基准数据集上显著改善了学习表示的模块化和明确性。

    May, 2023

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • 基于正则化向量量化的分词图像合成

    本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

    Mar, 2023

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019