Oct, 2023

用简单的确定性自编码器学习低秩潜空间的理论与实证洞见

PDF
TL;DR我们提出了一种名为低秩自动编码器（LoRAE）的新方法，它通过使用低秩正则化器自适应地重构一个低维潜在空间，同时保持自动编码器的基本目标，以便在嵌入数据于一个低维空间的同时保留重要信息。我们在理论上为模型建立了更严格的误差界限，而在实践中，我们的模型通过图像生成和下游分类等各种任务展示了其优越性，理论和实践结果都强调了获取低维嵌入的重要性。
autoencoderunsupervised learninglatent representationlow-dimensional spacelow-rank autoencoder
发现论文，激发创造
  • 隐式秩最小化自编码器

    本文提出了一种名为隐式秩最小自编码器（IRMAE）的模型，它通过使用额外的线性层在编码器和解码器之间来最小化潜在表示的信息容量，并在多层线性网络中通过梯度下降学习来隐式地最小化代码的协方差矩阵的秩，从而使系统自发地学习具有低有效维度的表示方法，并在几个图像生成和表示学习任务中证明了该方法的有效性。

    Oct, 2020

  • 降秩自编码器 —— 增强非线性流形上的插值

    我们介绍了 Rank Reduction Autoencoder (RRAE)，这是一个具有扩展的潜在空间的自编码器，通过约束具有小的预定主奇异值数量（即低秩）来实现。RRAE 的潜在空间足够大，可以实现准确的预测，并进行特征提取。

    May, 2024

  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019

  • 我们是否以错误方式使用自编码器？

    在该文中，我们重新审视了欠完备自动编码器的标准训练方法，通过修改潜在空间的形状而无需在损失函数中使用任何显式正则化项。我们迫使模型重构的不是相同的观测输入，而是从同一类分布中抽样得到的另一个观测值。我们还探讨了在重构来自整个数据集的随机样本时潜在空间的行为。

    Sep, 2023

  • 监督自编码神经网络潜空间配置的泛化改进

    本文研究了自编码器的潜在空间（LS）属性，并提出了两种获得期望拓扑结构的 LS 配置方法。研究表明，利用几何损失项直接作用于 LS 的损失配置方法可以可靠地获得期望的 LS 配置，从而可以在 LS 中定义相似性度量来预测标签或估计多个输入的相似性，而无需使用解码器或分类器。研究还证明，使用所提出的方法训练的有监督自编码器在纹理分类方面表现良好，并且可以在没有微调的情况下很好地泛化到来自 LIP、Market1501 和 WildTrack 数据集的未见数据，甚至可以用于评估未见类的相似性。此外，通过跨数据集搜索和基于文本查询进行文本搜索的实验证明了预配置的 LS 相似性估计的优势，而无需使用语言模型。

    Feb, 2024

  • 自编码器的结构化

    本文提出了一种称为 Structuring AutoEncoders 的神经网络，其可以使用弱监督形成结构化的低维空间，从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明，结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。

    Aug, 2019

  • 关于 Wasserstein 自编码器的潜空间

    研究了 Wasserstein 自动编码器中潜在空间维度的作用，通过对合成和实际数据集的实验，提出了随机编码器应优于确定性编码器的观点，并强调了在基准解缠任务中代表学习的 WAE 的潜力。

    Feb, 2018

  • 通过去噪引导潜在表示的文本自编码器教育

    本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

    May, 2019

  • 关于自编码器的可解释性和适当的潜变分解

    本文探讨了利用自编码器学习湍流吸引子的一种理论方法，包括曲线坐标系的潜空间，流形的几何属性，用于在曲线潜空间中查找主导方向的适当潜分解方法等。

    Nov, 2022

  • 去噪对抗自编码器

    该研究论文介绍了一种结合去噪和正则化的对抗性自编码器方法，用于学习用于推理的有用表示，并通过实验验证其对于分类性能和样本合成的贡献。

    Mar, 2017