Oct, 2022

一种用于维度估计的加性自编码器

PDF
TL;DR本文针对降维问题提出并分析了一种由序列化偏差估计、线性趋势估计和非线性残差估计组成的增量自编码器。实验结果表明，仅通过浅层网络封装非线性行为的自编码器能够识别具有低自编码误差的数据集的内在维度。该研究进一步比较了深层和浅层网络结构及其训练方法，发现深层网络结构在识别内在维度时获得较低的自编码误差，但是与浅层网络相比，检测到的维度并没有变化。
additive autoencoderdimension reductionshallow networkdeep networkintrinsic dimension
发现论文，激发创造
  • 用于发现复杂动力系统数据中 Manifold 的维度和坐标的自编码器

    本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

    May, 2023

  • 基于自编码器的非线性模型降阶技术在算子学习中的泛化误差保证

    我们利用自动编码器神经网络 (AENet) 研究模型缩减中的低维非线性结构，通过先学习输入数据的潜在变量，然后学习这些潜在变量到相应输出数据的转换，成功地验证了 AENet 准确学习非线性偏微分方程解算符的能力，并建立了数学和统计估计理论来分析 AENet 的泛化误差。我们的理论框架表明训练 AENet 的样本复杂性与模拟过程的内在维度密切相关，同时也展示了 AENet 对噪声的显著鲁棒性。

    Jan, 2024

  • 一种自编码器机制框架

    本文提出了自动编码器机制的理论框架，研究了编码器的两个基本属性：双射映射和数据解缠，并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架，我们解释了一些自动编码器的实验结果，证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势，同时该理论框架还解释了卷积神经网络和随机加权神经网络。

    Aug, 2022

  • 从神经 PCA 到深度无监督学习

    提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

    Nov, 2014

  • 结构化数据的自动编码器压缩：非线性和深度的可证明优势

    对于 1 位稀疏高斯数据压缩的典型情况，我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解，且相对于高斯源完全没有稀疏性能。对于一般数据分布，我们提供了关于梯度下降最小化器形状的相变现象的证据，关键是数据的稀疏度：在关键稀疏性水平以下，最小化器是均匀随机选择的旋转（就像在非稀疏数据的压缩中一样）；在关键稀疏度以上，最小化器是恒等变换（经过排列）。最后，通过利用与近似传递算法的联系，我们展示了如何改进稀疏数据的高斯性能：对浅层架构添加去噪函数已经可以显式地减少损失，而适当的多层解码器则可以进一步改善。我们在图像数据集（如 CIFAR-10 和 MNIST）上验证了我们的发现。

    Feb, 2024

  • 自编码器为何有效？

    深度神经网络自编码器常用于模型简化，在此研究中通过调整网络参数来最小化输入与重构输出之间的差异，以达到恢复输入数据的效果，并证明了该方法的有效性。

    Oct, 2023

  • 基于自编码器的残差深度神经网络用于鲁棒回归预测和时空估计

    本文提出了一种基于自编码器的残差深度神经网络，通过利用快捷连接嵌套实现残差映射，实现了对连续变量的可靠预测，并在多个数据集上得到了较高的精度和效率。

    Dec, 2018

  • 深度连续聚类

    通过深度自编码器实现非线性降维和聚类，优化作为聚类过程的自编码器，避免之前聚类算法中离散目标的缺陷，无需先验知识即可进行聚类，实验证明该算法优于状态的聚类方案并具有普适性。

    Mar, 2018

  • 用于平滑和表示学习的功能性自编码器

    本研究提出了使用神经网络自编码器学习函数数据的非线性表示，以实现功能性数据分析，包括投影层计算加权内积以及利用一组预定义基函数从功能数据中提取的有限维向量回显功能空间。实验证明，该方法在预测和分类方面优于功能性主成分分析，并且在线性和非线性情况下都具有较强的平滑能力和更好的计算效率。

    Jan, 2024

  • 几何自编码器 -- 眼见即所解码

    本文提出了一种名为 “几何自编码器” 的数据可视化方法，该方法采用低维潜在空间的自编码器训练，通过微分几何学的角度，引入新的正则化项，减少误差导致的畸变，使数据结构的可视化更加准确。

    Jun, 2023