Aug, 2011

复数自编码器

PDF
TL;DR研究复数域上的线性自编码器及其学习算法、一般性质，发现它们的误差函数都具有一些变换不变性和全局最小值与鞍点，同时给出了一些能应用于其它自编码器的算法和一些应用方面的思路，揭示了信息理论、无监督学习、聚类和自编码器之间的联系。
发现论文，激发创造
  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019

  • 利用线性自编码器从主子空间提取主成分

    本文介绍了使用一种单隐层全连接自编码器进行特征提取可以有效地恢复主成分分析 (PCA) 的加载向量，且训练权重与 PCA 加载向量存在差异，从而优化特征提取的性能。

    Apr, 2018

  • 基于复数自编码器的目标发现

    本研究提出复杂自编码器方法用于无监督物体发现，采用基于生物神经元的编码方案，通过复杂值表示对象的存在和组合关系，相较于传统方法，在性能和效率上有显著提高。

    Apr, 2022

  • 一种自编码器机制框架

    本文提出了自动编码器机制的理论框架，研究了编码器的两个基本属性：双射映射和数据解缠，并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架，我们解释了一些自动编码器的实验结果，证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势，同时该理论框架还解释了卷积神经网络和随机加权神经网络。

    Aug, 2022

  • 用于发现复杂动力系统数据中 Manifold 的维度和坐标的自编码器

    本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

    May, 2023

  • 从神经 PCA 到深度无监督学习

    提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

    Nov, 2014

  • 变分自编码器教程

    介绍了变分自编码器（VAE）背后的直觉，解释了其背后的数学原理，并描述了它们的一些经验行为。

    Jun, 2016

  • 用简单的确定性自编码器学习低秩潜空间的理论与实证洞见

    我们提出了一种名为低秩自动编码器（LoRAE）的新方法，它通过使用低秩正则化器自适应地重构一个低维潜在空间，同时保持自动编码器的基本目标，以便在嵌入数据于一个低维空间的同时保留重要信息。我们在理论上为模型建立了更严格的误差界限，而在实践中，我们的模型通过图像生成和下游分类等各种任务展示了其优越性，理论和实践结果都强调了获取低维嵌入的重要性。

    Oct, 2023

  • 变分自编码器无意中寻找主成分分析方向

    该论文研究了变分自编码器（VAE）在学习可解释的表示和生成建模方面的出色表现，提供了对其良好性能的解释，阐明了该架构中解码器的局部正交性，从而促进重构和正交性之间的平衡。

    Dec, 2018

  • 基于自动编码器的无监督学习和半监督学习的泛化边界

    本文利用深度学习的一些理论进展和一种新型的重构损失提供了自编码器的泛化界限，表明在适宜的假设下，具有良好泛化性能的自编码器可以改进任何半监督学习方案。

    Feb, 2019