NIPSDec, 2017

去噪自编码器的运输分析：一种分析深度神经网络的新方法

PDF
TL;DR本文通过将特征映射视为运输映射，研究了深度学习的基本案例 - 去噪自编码器（DAE）的运输动态，并揭示了无限深的 DAE 如何将 mass 输送出去以减少数据分布的某种数量，即熵，这些结果虽然在数学上很简单，但是启示我们深度神经网络和 Wasserstein 梯度流之间的对应关系。
发现论文，激发创造
  • 自主深度学习：基于去噪自编码器的增量式学习，处理流动数据

    该论文提出了一种可以在数据流分析中自适应构建去噪自编码器 DEVDAN，并以单次学习为基础的方法，通过网络重要性估计来自动添加或修剪输入特征，从而提高分类精度并适应不断变化的环境。

    Sep, 2018

  • 训练去噪自编码器以最小化二进制交叉熵

    本文理论证明了用 BCE 训练的 DAE 能够在数据空间中向高概率区域梯度下降，进而在实验中通过噪声数据生成和对初始数据的迭代应用 DAE 进行数据向高概率区域的改进。

    Aug, 2017

  • 线性降噪自编码器的动态学习

    该研究针对线性去噪自编码器 (DAEs)，探究了输入噪声是如何影响学习的，并发现当正确调整时，噪声可以帮助 DAEs 忽略低方差方向，同时学习重构高方差方向，与标准正则化自编码器相比，噪声具有相似的正则化效果，但具有更快的训练动力学。

    Jun, 2018

  • 通过去噪引导潜在表示的文本自编码器教育

    本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

    May, 2019

  • 生成模型潜空间分布保持操作的最优输运映射

    本文介绍了使用分布匹配传输映射来确保潜在空间操作保留先前分布并实现更高质量样本的方法。

    Nov, 2017

  • 解缠自编码器 (DAE)

    本文介绍了一种使用对称变换原则的新型非概率解缠框架，用于对自动编码器中的潜在空间进行因式分解（或解缠），旨在实现不使用正则化器基于自动编码器的解缠，该模型与 7 种最先进的基于自动编码器的生成模型进行了比较，并根据 5 个监督解缠度量进行了评估，实验结果表明，所提出的模型在每个特征的差异方差比较大时可以获得更好的解缠效果。我们认为，这种模型开创了一个不使用正则化器来进行自动编码器的解缠学习的新领域。

    Feb, 2022

  • 复杂性的重要性：重新思考生成建模的潜空间

    本研究探讨了生成建模中潜在空间选择的最优解以及其确定过程，并提出了一种新的距离度量方法和具体的训练策略来优化潜在空间的选择，进而提高生成效果。

    Jul, 2023

  • 解构用于自监督学习的去噪扩散模型

    我们研究了最初用于图像生成的去噪扩散模型（DDM）的表示学习能力。我们的研究目的是逐步分解 DDM，将其转化为经典的去噪自编码器（DAE）。我们观察到现代 DDM 的很少组件对于学习良好的表示是至关重要的，而许多其他组件则不是必要的。我们的研究最终提出了一种高度简化并在很大程度上类似于经典 DAE 的方法。我们希望我们的研究能够在现代自监督学习领域重新激发对经典方法家族的兴趣。

    Jan, 2024

  • 分层扩散自编码器与分离图像操作

    本论文提出了一种通过使用分层扩散自动编码器 (HDAE) 以及基于截断特征的方法对扩散模型潜空间进行描述，从而实现对图像的多种操作和语义合成。

    Apr, 2023

  • 关于自编码器的可解释性和适当的潜变分解

    本文探讨了利用自编码器学习湍流吸引子的一种理论方法，包括曲线坐标系的潜空间，流形的几何属性，用于在曲线潜空间中查找主导方向的适当潜分解方法等。

    Nov, 2022