ICMLJun, 2021

主位分析：使用 Schur-Concave Loss 进行自编码

PDF
TL;DR本文研究了一种线性自编码器，其潜在变量受到量化或噪声干扰且约束条件在潜在方差集合中呈舒尔凹性。作者表明，将源分解为其主成分是最优的，而且提出了使用固定速率编码估计潜在变量所需比特数的标准位逐位分析（PBA）算法和自编码器变量压缩解码源的方法。
linear autoencoderquantizationschur-concaveprincipal componentsfixed-rate compression
发现论文，激发创造
  • PCAAE：主成分分析自编码器用于生成网络的潜空间组织

    提出了一种新的自编码器（PCAAE），它能够无监督地将数据的内在属性分离成潜空间的不同组成部分，达到了解决深层生成模型中的潜变量空间问题的目的。与其他最先进的方法相比，PCAAE 的能力更好，在潜空间中解开属性的存在，实现了属性的分离。

    Jun, 2020

  • 利用线性自编码器从主子空间提取主成分

    本文介绍了使用一种单隐层全连接自编码器进行特征提取可以有效地恢复主成分分析 (PCA) 的加载向量，且训练权重与 PCA 加载向量存在差异，从而优化特征提取的性能。

    Apr, 2018

  • 分布式主要自编码器

    通过学习一个分布模型以匹配数据的条件分布，Dimensional Principal Autoencoder (DPA) 旨在实现重建数据与原始数据完全分布相同，从而实现降维和重建的成功。

    Apr, 2024

  • 良性自编码器

    该研究证明了通过压缩数据维度以实现数据表示和压缩的有效性，并提出了一种普遍适用于非凸问题的优化算法（BAE），使得压缩模型输入有利于模型性能，并提出了一种用于计算 BAE 的高效算法，测试表明 BAE 能够提高模型在各类数据中的性能，并提高模型的稳定性和鲁棒性。

    Oct, 2022

  • 结构化数据的自动编码器压缩：非线性和深度的可证明优势

    对于 1 位稀疏高斯数据压缩的典型情况，我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解，且相对于高斯源完全没有稀疏性能。对于一般数据分布，我们提供了关于梯度下降最小化器形状的相变现象的证据，关键是数据的稀疏度：在关键稀疏性水平以下，最小化器是均匀随机选择的旋转（就像在非稀疏数据的压缩中一样）；在关键稀疏度以上，最小化器是恒等变换（经过排列）。最后，通过利用与近似传递算法的联系，我们展示了如何改进稀疏数据的高斯性能：对浅层架构添加去噪函数已经可以显式地减少损失，而适当的多层解码器则可以进一步改善。我们在图像数据集（如 CIFAR-10 和 MNIST）上验证了我们的发现。

    Feb, 2024

  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019

  • 通过最小体积压缩潜空间

    该论文介绍了一种名为最小体积的简单而有效的正则化方法，它可以减少自动编码器所需的潜在维度数量，而无需任何关于数据集固有维度的先验知识。通过证明解码器的 Lipschitz 连续性是其有效性的关键，论文揭示了 PCA 仅是其线性特例的证明，并表明在应用于非线性模型时具有类似于 PCA 的重要性排序效果。作者通过在一些教学玩具问题上演示正则化的直观理解，并在包括 MNIST、CIFAR-10 和 CelebA 在内的几个基准问题上展示了其有效性。

    Apr, 2024

  • 伪贝叶斯鲁棒 PCA：算法和分析

    探讨使用罕见值鲁棒性来降低传统主成分分析的敏感性，研究低秩分解与稀疏分量，提出了一种新型的伪贝叶斯算法来解决现有非凸方法的设计缺陷，达到了顶尖表现及可扩大的操作范围。

    Dec, 2015

  • 变分自编码器无意中寻找主成分分析方向

    该论文研究了变分自编码器（VAE）在学习可解释的表示和生成建模方面的出色表现，提供了对其良好性能的解释，阐明了该架构中解码器的局部正交性，从而促进重构和正交性之间的平衡。

    Dec, 2018

  • 低数据情况下基于 PCA 增强的自编码器用于非线性降维

    提出了一种利用 PCA 和参数化的 ReLU 激活函数进行自编码器训练的方法，以解决非线性数据降维问题，特别是对于数据稀缺及昂贵的纳米光子学元件设计和其他科学领域的任务。

    May, 2022