Feb, 2024

监督自编码神经网络潜空间配置的泛化改进

PDF
TL;DR本文研究了自编码器的潜在空间（LS）属性，并提出了两种获得期望拓扑结构的 LS 配置方法。研究表明，利用几何损失项直接作用于 LS 的损失配置方法可以可靠地获得期望的 LS 配置，从而可以在 LS 中定义相似性度量来预测标签或估计多个输入的相似性，而无需使用解码器或分类器。研究还证明，使用所提出的方法训练的有监督自编码器在纹理分类方面表现良好，并且可以在没有微调的情况下很好地泛化到来自 LIP、Market1501 和 WildTrack 数据集的未见数据，甚至可以用于评估未见类的相似性。此外，通过跨数据集搜索和基于文本查询进行文本搜索的实验证明了预配置的 LS 相似性估计的优势，而无需使用语言模型。
autoencoderslatent spacels configurationsupervised aesimilarity estimation
发现论文，激发创造
  • 自编码器的结构化

    本文提出了一种称为 Structuring AutoEncoders 的神经网络，其可以使用弱监督形成结构化的低维空间，从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明，结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。

    Aug, 2019

  • 使用监督自编码器的半监督分类在生物医学应用中的应用

    这篇文章介绍了一种新的半监督分类方法，该方法使用监督自编码器网络，将标签编码到自编码器的潜空间，并定义一个结合分类和重构损失的全局准则，用 PyTorch 实现该半监督自编码器方法并展示其在生物医学应用中的卓越表现。

    Aug, 2022

  • 用简单的确定性自编码器学习低秩潜空间的理论与实证洞见

    我们提出了一种名为低秩自动编码器（LoRAE）的新方法，它通过使用低秩正则化器自适应地重构一个低维潜在空间，同时保持自动编码器的基本目标，以便在嵌入数据于一个低维空间的同时保留重要信息。我们在理论上为模型建立了更严格的误差界限，而在实践中，我们的模型通过图像生成和下游分类等各种任务展示了其优越性，理论和实践结果都强调了获取低维嵌入的重要性。

    Oct, 2023

  • 多标签分类任务的深度潜变空间学习

    本文提出了一种基于深度神经网络的模型 Canonical Correlated AutoEncoder（C2AE），在多标签分类任务中通过联合特征和标签嵌入派生一个深度潜在空间，并引入标签相关敏感的损失函数来恢复预测的标签输出，其能够灵活应对多种规模的数据集，与其他现有的多标签分类方法相比表现更加优异。

    Jul, 2017

  • 用仅包含正常训练数据的正常潜空间约束进行异常检测

    通过引入一种新的潜变量约束损失来限制自动编码器的重构能力，本研究在不增加额外计算成本的情况下，提出了一种有效的限制异常重构能力的自动编码器的方法，从而提高异常检测模型的性能。

    Mar, 2024

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • 无监督文本风格转移的鲁棒和语义组织潜在表示

    该研究提出了一种基于 EPAAEs 的方法，通过在连续嵌入空间中添加一个可调整噪音组件来完善扰动模型，从而更好地聚类风格相似的句子，且在文本风格转移任务上表现优异，同时还将文本风格转移任务扩展到 NLI 数据集，并证明了该方法最适合学习具有更复杂风格的数据集。

    May, 2022

  • 我们是否以错误方式使用自编码器？

    在该文中，我们重新审视了欠完备自动编码器的标准训练方法，通过修改潜在空间的形状而无需在损失函数中使用任何显式正则化项。我们迫使模型重构的不是相同的观测输入，而是从同一类分布中抽样得到的另一个观测值。我们还探讨了在重构来自整个数据集的随机样本时潜在空间的行为。

    Sep, 2023

  • PCAAE：主成分分析自编码器用于生成网络的潜空间组织

    提出了一种新的自编码器（PCAAE），它能够无监督地将数据的内在属性分离成潜空间的不同组成部分，达到了解决深层生成模型中的潜变量空间问题的目的。与其他最先进的方法相比，PCAAE 的能力更好，在潜空间中解开属性的存在，实现了属性的分离。

    Jun, 2020

  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019