SIGIRMay, 2023

线性自编码器中的弱化对角约束用于推荐

PDF
TL;DR本文旨在探究线性自编码器性质，揭示 L2 正则化和零对角约束对其影响，并提出了 Relaxed Linear AutoEncoder (RLAE) 和 Relaxed Denoising Linear AutoEncoder (RDLAE) 模型，实验结果表明，这些模型优于现有线性和非线性模型，尤其对长尾项目的准确性有明显提高。
linear autoencoder modelsl2 regularizationzero-diagonal constraintssvdrlae
发现论文，激发创造
  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019

  • 降秩自编码器 —— 增强非线性流形上的插值

    我们介绍了 Rank Reduction Autoencoder (RRAE)，这是一个具有扩展的潜在空间的自编码器，通过约束具有小的预定主奇异值数量（即低秩）来实现。RRAE 的潜在空间足够大，可以实现准确的预测，并进行特征提取。

    May, 2024

  • 通过自归一化 ReLU 实现的关键自动编码器

    稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

    Jun, 2024

  • 稀疏生物数据快速双正则化自编码器

    关系推断对于从产品推荐到药物发现等应用都是一个重要任务。我们将线性模型扩展成一个浅层自动编码器，用于解决稀疏矩阵补全问题，证明了我们方法在预测药物靶标相互作用和药物疾病关联方面的速度和准确性优势。

    Jan, 2024

  • 线性自编码器隐式 ZCA 白化在推荐任务中的效果

    在推荐系统领域，线性回归（自编码器）模型被研究作为学习物品相似性的方法。本文展示了线性自编码器模型与基于 ZCA 白化的推荐数据之间的关联。特别地，我们展示了线性自编码器模型的对偶形式解实际上对物品的特征向量具有 ZCA 白化效果，而在自编码器 / 回归模型的原问题中，物品被视为输入特征。我们还展示了将线性自编码器应用于使用例如 Item2vec 获得的低维物品向量来估计物品相似性的正确性。我们的实验提供了初步结果，表明白化低维物品嵌入的有效性。

    Aug, 2023

  • 使用受限自动编码器学习非线性投影用于动态系统的降阶建模

    最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类，其中流形和投影纤维都是从数据中学习得到的。此外，我们还提出了一些新的动力学感知成本函数，以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战，我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时，我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。

    Jul, 2023

  • 低数据情况下基于 PCA 增强的自编码器用于非线性降维

    提出了一种利用 PCA 和参数化的 ReLU 激活函数进行自编码器训练的方法，以解决非线性数据降维问题，特别是对于数据稀缺及昂贵的纳米光子学元件设计和其他科学领域的任务。

    May, 2022

  • 线性降噪自编码器的动态学习

    该研究针对线性去噪自编码器 (DAEs)，探究了输入噪声是如何影响学习的，并发现当正确调整时，噪声可以帮助 DAEs 忽略低方差方向，同时学习重构高方差方向，与标准正则化自编码器相比，噪声具有相似的正则化效果，但具有更快的训练动力学。

    Jun, 2018

  • 用于发现复杂动力系统数据中 Manifold 的维度和坐标的自编码器

    本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

    May, 2023

  • 使用稀疏自编码器和非负约束进行基于部件表示的数据深度学习

    本文展示了一种新的深度学习自编码器网络，该网络使用非负约束算法（NCAE）进行训练，学习到的特征显示出数据的部分表示。在三个标准图像数据集和一个文本数据集上测试了算法的性能，并发现非负约束强制自编码器学习到数据的部分表示，同时改善了与传统的稀疏自编码器和非负矩阵分解相比的稀疏性和重构质量，进而提高了深度神经网络的预测性能。

    Jan, 2016