ESVAE:一种具有重参数化泊松脉冲采样的高效脉冲变分自编码器
本文提出了基于脉冲神经网络(SNN)和变分自编码器(VAE)的全脉冲变分自编码器,架构中所有模块的构建都采用 SNN,可以在边缘设备上生成高质量图像,相较于传统人工神经网络,具有更好的表现。
Sep, 2021
本文介绍了一种结合了预测编码原理和将输入编码为离散脉冲计数的变分自编码器(P-VAE)的新型架构,通过引入 Poisson 分布的潜变量和预测编码,模型损失函数中出现了代谢成本项,表明与稀疏编码存在关系,我们通过实证验证了这一点。此外,我们分析了学习表示的几何结构,将 P-VAE 与其他 VAE 模型进行对比。发现 P-VAE 以相对较高的维度对输入进行编码,使下游分类任务中的类别具有线性可分性,样本效率提高了 5 倍。我们的工作提供了一个可解释的计算框架来研究类脑感觉处理,并为更深入地理解感知作为一种推理过程铺平了道路。
May, 2024
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换 VAEs 中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法,通过动态生成和更新不确定性权衡学习,解决了现有方法中面临的问题,包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明,与竞争方法相比,eVAE 在文本生成、图像生成质量等方面均有显著改善。
Jan, 2023
利用预测时间下一节点以及基于时间平滑性的模型选择度量,我们提出了一种能够减轻 VAE 学习虚假特征,并能在合成数据集中准确恢复潜在因素的 VAE 架构。
Dec, 2023
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023
本文提出了一种层次非参数变分自编码器模型,以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间,进而在视频表征学习上取得更好的效果。
Mar, 2017
本研究提出了一种基于深度潜在随机变量的自然图像生成模型,其采用新型分布称为修正高斯,其中采用类似 spike-and-slab 的稀疏性,保持了有效的随机梯度变分推断的可微性;通过一个结构化后验分布估计函数的近似,提出了一种新型结构化变分近似方法,避免常规均场假设,并保持了生成模型的先验依赖关系,从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016