May, 2024

泊松变分自编码器

PDF
TL;DR本文介绍了一种结合了预测编码原理和将输入编码为离散脉冲计数的变分自编码器（P-VAE）的新型架构，通过引入 Poisson 分布的潜变量和预测编码，模型损失函数中出现了代谢成本项，表明与稀疏编码存在关系，我们通过实证验证了这一点。此外，我们分析了学习表示的几何结构，将 P-VAE 与其他 VAE 模型进行对比。发现 P-VAE 以相对较高的维度对输入进行编码，使下游分类任务中的类别具有线性可分性，样本效率提高了 5 倍。我们的工作提供了一个可解释的计算框架来研究类脑感觉处理，并为更深入地理解感知作为一种推理过程铺平了道路。
variational autoencoderspoisson vaepredictive codingmetabolic costsparse coding
发现论文，激发创造
  • 基于预测性变分自编码器的时间序列数据鲁棒表示学习

    利用预测时间下一节点以及基于时间平滑性的模型选择度量，我们提出了一种能够减轻 VAE 学习虚假特征，并能在合成数据集中准确恢复潜在因素的 VAE 架构。

    Dec, 2023

  • ESVAE：一种具有重参数化泊松脉冲采样的高效脉冲变分自编码器

    提出了一种高效的脉冲变分自动编码器（ESVAE），它构建了一个可解释的潜在空间分布，并设计了一种可重参数化的脉冲采样方法，实验证明该方法在重建和生成图像质量上优于以前的 SNN VAE 方法。

    Oct, 2023

  • 使用 pi-VAE 学习高维神经活动的可识别和可解释潜变量模型

    论文提出了 pi-VAE 这一将潜在变量模型和神经编码模型相结合的新方法，用于分析神经元群体响应数据，并通过合成和实验数据在大鼠海马和恒河猴运动皮层数据集中进行了验证，证明了该方法具有更好的拟合功效和可解释性，可以为神经编码结构提供新的见解。

    Nov, 2020

  • 狄利克雷变分自编码器

    本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

    Jan, 2019

  • Poincaré 变分自编码器实现连续的分层表示

    本文利用 Poincaré 球模型的超几何结构作为潜变量空间，研究了 VAE 在这个空间的运用，该方法在嵌套数据结构下表现出色，并展现了超几何结构对于 VAE 的优越性。

    Jan, 2019

  • 非参数变分自编码器用于分层表示学习

    本文提出了一种层次非参数变分自编码器模型，以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间，进而在视频表征学习上取得更好的效果。

    Mar, 2017

  • PixelVAE：自然图像的潜变量模型

    这篇论文提出了 PixelVAE，这是一种基于 PixelCNN 的 VAE 模型，可以高效地捕获大型结构和保留压缩的潜在表示，适用于无监督学习的挑战。

    Nov, 2016

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 变分自编码器无意中寻找主成分分析方向

    该论文研究了变分自编码器（VAE）在学习可解释的表示和生成建模方面的出色表现，提供了对其良好性能的解释，阐明了该架构中解码器的局部正交性，从而促进重构和正交性之间的平衡。

    Dec, 2018