提出了一种基于自编码器构建的标准化概率模型 ——Normalized Autoencoder (NAE),通过抑制负样本的重构实现规范化,并显著提高了异常检测性能。
May, 2021
本文介绍了一种名为感知生成自编码器的新型生成模型。该模型通过将生成的和目标分布映射到一个潜空间中,并用具有理论依据的数据和潜空间重构损失同时在数据空间和隐空间中强制同步,从而能够在无限制的神经网络体系结构和任意数量的潜在维度上推广可逆生成模型的思想,并且在样本质量方面显著优于传统自编码器和其他基于自编码器的生成模型。
Jun, 2019
本文研究了训练基于能量的模型(EBMs)的最大似然估计方法,通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程,并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN,因此提出了自对抗损失。研究表明,EBM 训练实际上是一种自对抗性的过程,而不是最大似然估计。
Feb, 2021
研究纵观了变分自编码器(VAEs)的训练方法,提出了一种基于熵的自适应方法来优化更紧的变分下界,该方法能适应潜在层次变量模型中复杂的后验几何结构,并获得更高的生成度量。
Aug, 2023
本文研究使用多层感知器、最大均值差异等统计假设检验技术来训练生成对抗网络,并与自编码器网络相结合,以产生比基准方法更优秀的 MNIST 和 Toronto Face Database 的生成模型。
Feb, 2015
通过混合训练方式,利用生成对抗网络以及精确似然估计评估方法,解决了最大似然训练无法评估生成质量的问题。
May, 2017
本研究提出一种基于 VAE 的非线性概率模型,用于解决协作过滤问题,相对于现有的线性因子模型,具有更强的建模能力,并使用贝叶斯推断进行参数估计来得到更好的泛化性能。本方法在现有多个数据集上均取得了显著优异的性能表现,并对使用多项式分布作为似然函数进行了比较实验,分析了使用贝叶斯方法的优缺点及适用场景。
Feb, 2018
通过研究非线性的变分自编码器,本文证明了在接近确定性解码器的情况下,最优编码器近似反转了解码器,并确定了最大化 ELBO(证据下界)的模型的独立机制分析(IMA)的概念,即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差,有助于恢复真实的潜在因素,并证明 ELBO 收敛到正则化对数似然。
Jun, 2022
本文利用深度学习的一些理论进展和一种新型的重构损失提供了自编码器的泛化界限,表明在适宜的假设下,具有良好泛化性能的自编码器可以改进任何半监督学习方案。
Feb, 2019
本文提出了在数据驱动的优化问题中利用归一化极大似然估计器解决不确定性和变化范围问题的方法,并通过在各个领域(如化学、生物学和材料工程)的高维设计问题中进行的实验验证了该方法的有效性。