自编码器为何有效？

Oct, 2023

Why do autoencoders work?

Matthew D. Kvalheim, Eduardo D. Sontag

TL;DR深度神经网络自编码器常用于模型简化，在此研究中通过调整网络参数来最小化输入与重构输出之间的差异，以达到恢复输入数据的效果，并证明了该方法的有效性。

Abstract

Deep neural network autoencoders are routinely used computationally for model reduction. They allow recognizing the intrinsic dimension of data that lie in a $k$-dimensional subset $K$ of an input Euclidean space $\R^n$. The underlying idea is to obtain both an →

deep neural networks autoencoders model reduction encoding layer decoding layer

发现论文，激发创造

我们是否以错误方式使用自编码器？

在该文中，我们重新审视了欠完备自动编码器的标准训练方法，通过修改潜在空间的形状而无需在损失函数中使用任何显式正则化项。我们迫使模型重构的不是相同的观测输入，而是从同一类分布中抽样得到的另一个观测值。我们还探讨了在重构来自整个数据集的随机样本时潜在空间的行为。

Sep, 2023

一种自编码器机制框架

本文提出了自动编码器机制的理论框架，研究了编码器的两个基本属性：双射映射和数据解缠，并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架，我们解释了一些自动编码器的实验结果，证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势，同时该理论框架还解释了卷积神经网络和随机加权神经网络。

Aug, 2022

一种用于维度估计的加性自编码器

本文针对降维问题提出并分析了一种由序列化偏差估计、线性趋势估计和非线性残差估计组成的增量自编码器。实验结果表明，仅通过浅层网络封装非线性行为的自编码器能够识别具有低自编码误差的数据集的内在维度。该研究进一步比较了深层和浅层网络结构及其训练方法，发现深层网络结构在识别内在维度时获得较低的自编码误差，但是与浅层网络相比，检测到的维度并没有变化。

Oct, 2022

用于发现复杂动力系统数据中 Manifold 的维度和坐标的自编码器

本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

May, 2023

基于自编码器的非线性模型降阶技术在算子学习中的泛化误差保证

我们利用自动编码器神经网络 (AENet) 研究模型缩减中的低维非线性结构，通过先学习输入数据的潜在变量，然后学习这些潜在变量到相应输出数据的转换，成功地验证了 AENet 准确学习非线性偏微分方程解算符的能力，并建立了数学和统计估计理论来分析 AENet 的泛化误差。我们的理论框架表明训练 AENet 的样本复杂性与模拟过程的内在维度密切相关，同时也展示了 AENet 对噪声的显著鲁棒性。

Jan, 2024

自编码器

本文综述了不同类型的自编码器及其应用，自编码器是一种神经网络，通过压缩表示和重构输入以实现输入的重构。

Mar, 2020

自编码器简介

本文介绍了自编码器的数学和基本概念，讨论了其局限性、典型用例，以及几个例子，并探讨了其在减少维度、分类、去噪和异常检测等方面的应用。

Jan, 2022

从神经 PCA 到深度无监督学习

提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

Nov, 2014

在编码神经网络潜空间中表示闭合变换路径

本文使用生成流形模型改变自编码器的潜在空间，以适应数据中的低维流形结构并学习复杂系统的潜在动态，生成转换路径并对属于同一转换路径的样本进行分类。

Dec, 2019

量子自编码器用于量子数据高效压缩

本篇论文研究使用经典的优化算法来训练量子自编码器，从而实现对量子数据进行压缩和简化处理，且在 Hubbard 模型和分子哈密顿量的场景下应用自编码器进行量子模拟。

Dec, 2016