自编码器简介
在该文中,我们重新审视了欠完备自动编码器的标准训练方法,通过修改潜在空间的形状而无需在损失函数中使用任何显式正则化项。我们迫使模型重构的不是相同的观测输入,而是从同一类分布中抽样得到的另一个观测值。我们还探讨了在重构来自整个数据集的随机样本时潜在空间的行为。
Sep, 2023
本文提出了自动编码器机制的理论框架,研究了编码器的两个基本属性:双射映射和数据解缠,并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架,我们解释了一些自动编码器的实验结果,证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势,同时该理论框架还解释了卷积神经网络和随机加权神经网络。
Aug, 2022
本文从信息论的角度出发,提出了一种理论和系统性的方法,详细介绍了深度学习中数据的流动和自编码器的设计,探究了互信息在描述数据学习上的重要性,并针对均方误差的训练提出了三个基本特性,这对自编码器的最优设计、替代前馈训练方法的设计、以及泛化问题有直接的影响。
Mar, 2018
研究了一种基于自编码器的图像异常检测方法,发现传统方法在训练时存在离群点时导致异常检测性能降低的问题,使用对抗自编码器引入先验分布可以较好地克服该问题。
Jan, 2019
本文利用深度学习的一些理论进展和一种新型的重构损失提供了自编码器的泛化界限,表明在适宜的假设下,具有良好泛化性能的自编码器可以改进任何半监督学习方案。
Feb, 2019
本研究提出了一种基于目标网络隐藏层数据表示的机制来检测对抗性样本,该机制训练了目标网络中间层的单独的自编码器,可以描述真实数据的流形,从而判断一个给定的例子是否具有与真实数据相同的特征,并探究对抗性样本在深度神经网络层中的行为。实验结果表明,我们的方法在监督和无监督环境中表现优于现有技术水平。
Jun, 2020