Dec, 2014

深度网络中的潜在变化因素发现

PDF
TL;DR本研究使用正则化方法增强自编码器，展示了深度学习架构可以识别和表达除分类信号以外的变化因素，并通过引入交叉协方差惩罚（XCov）方法，证明了可以分离出手写数字风格和面部主体身份等因素。研究在 MNIST 手写数字数据库，Toronto 人脸数据库和 Multi-PIE 数据集上进行，并演示了这些深度网络可以推广监督信号中的 ` 隐藏 ' 变化。
deep learningautoencodersregularizationfactors of variationdisentangle
发现论文，激发创造
  • 使用对抗训练解缠混合因素的深度表达

    我们提出了一种有条件的生成模型，用于学习将标记的观察结果的隐藏变化因素分离并分解成互补代码，实验结果表明该方法能够推广到未见过的类别和内类别变异。

    Nov, 2016

  • 解开独立变化因素的挑战

    本文研究了如何使用自编码器模型来解决因素糾纏問題，並通過在圖像對和三元組之間施加約束來訓練它。在實驗中，我們證明了此模型可以成功地在多個數據集上轉移屬性，但也存在參照模糊的情況。

    Nov, 2017

  • 通过循环一致变分自编码器分离变异因素

    本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构，使用变分自编码器中的循环一致性，获得鼓舞人心的结果，并与利用对抗训练的最近作品进行了比较。

    Apr, 2018

  • 通过混合因素来分解变化因素

    本文提出了一种不依赖于手动标注或数据领域知识的学习图像表示的方法，其实现了图像属性解离因素，其中每个因素代表一个一致的图像属性，这种解离后的特征可以应用于多种领域，例如将特定属性从一个图像转移到另一个图像、基于一个或多个属性进行分类或检索。这种方法中的自动编码器架构包括两个新的训练目标：不变性目标和分类目标，以确保每个特征块的编码对于其他属性是固定不变的，同时对于一致可辨的属性，避免出现完全被忽略的特征映射。实验验证了该方法在 MNIST、Sprites 和 CelebA 数据集上的有效性。

    Nov, 2017

  • 变分公平自编码器

    研究如何学习能保留数据中大部分信息且对于某些噪声或敏感变化因素具有不变性的表示形式，提出了一种基于变分自编码器的模型，包括鼓励灵敏因素和潜在因素独立的优先知识和基于 “最大均值差异”（MMD）的附加惩罚项，实验证明该方法比以前的工作更有效。

    Nov, 2015

  • 通过让表示分离来减少深度神经网络的过拟合

    研究如何在深度神经网络的训练中避免过拟合问题，提出了一种新的正则化方法 DeCov，通过最小化隐藏层激活的交叉协方差，鼓励深度神经网络表现出多样化或非冗余的表示。实验结果表明，这种方法可以显著减少过拟合，并提高泛化性能。

    Nov, 2015

  • 相关因素 VAE：学习和识别解缠因素

    我们提出了一种新颖的基于 VAE 的深度自编码器模型，可以完全无监督地学习分解的潜在表征，具有识别所有有意义的变异源及其基数的能力，该模型通过引入所谓的关联指标变量并联合 VAE 参数进行自动学习，有效地将总相关损失集中到相关因素上，我们的模型在许多具有挑战性的基准数据集上胜过了现有方法。

    Feb, 2019

  • 方差 - 协方差正则化提高表示学习

    本文介绍了一种名为 VCR 的正则化技术，旨在提高传输学习效果，该技术以促进具有高方差和最小协方差的学习表示为目标，从而防止网络仅关注减少损失函数的特征。作者通过各种实验验证了该方法的可行性，并开发了实现策略，表明 VCR 是一种强大且高效的方法，可用于增强监督学习和自监督学习的传输学习性能，为该领域的未来研究开辟了新的可能性。

    Jun, 2023

  • 自监督学习中的特征多样性

    本文研究在自监督学习中，多个因素如规模、宽度、深度和特征多样性对模型的泛化性能产生的影响，并探讨了它们之间的相互依存关系。

    Sep, 2022

  • 通过生成纠缠来分解变化因素

    提出了一个通过 spike-and-slab 受限玻尔兹曼机实现高阶交互来分离数据变异因素的新模型，与以往不同的是该模型不需要使用潜在因素的监督信息来训练，并在面部表情分类任务中展示了其效果。

    Oct, 2012