Aug, 2020

Hessian Penalty: 无监督分离的弱先验

HTML
PDF
TL;DR通过引入Hessian Penalty正则化项并应用于多个数据集的ProGAN来训练，我们证明基于Hessian Penalty的方法在潜空间中产生平行于轴的解缠缚现象。并且在BigGAN的潜空间中无需监督地识别可解释方向。我们还提供了实证证据表明，当应用于超参数化的潜空间时，Hessian Penalty鼓励显著的收缩。
发现论文，激发创造
  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在VAE的潜在空间中引入反Wishart先验来实现潜变量之间的统计独立性，能够在多个数据集上优于beta-VAE和与最先进的FactorVAE相竞争。

    Sep, 2018

  • 无监督解缠的光谱正则化

    通过对生成模型进行解缩表示，可以独立控制输出的不同方面，本文提出了一种基于奇异值分解的正则化方法，可以用来无监督地训练GANs生成具有独立控制的输出。

    Dec, 2018

  • 变分自编码器中的解缠纷问题

    本文提出了VAEs的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对β-VAE在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • InfoGAN-CR 和 ModelCentrality: 面向 GAN 解耦的自监督模型训练和选择

    通过使用自监督学习的方法一方面设计了一种新的对抗网络（GAN）模型和一个无监督模型筛选方案，另一方面提出了一种对比约束规则来提高模型向目标空间映射时对潜在因素进行解耦的能力。这种方案与对抗网络或自编码器等其他方法相比，具有更高的可解释性和速度。

    Jun, 2019

  • 逐步学习和分离层次表示

    通过渐进式学习独立层级表示，本文提出了一种策略来提高Deep Generative Models如Variational Auto-Encoder的去纠缠性能，该模型从最抽象的表示开始学习，并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上，本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进，包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据，论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势，是我们目前发现的第一次尝试通过逐步增加VAE的能力来提高去纠缠性。

    Feb, 2020

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 非分离模型的解耦表示

    探讨了一种无监督的去卷积方法，在使用没有去卷积术语的生成模型中提取去卷积表示，以获得与现有技术相当的结果。

    Feb, 2021

  • 利用预训练生成模型的对比学习视角学习解耦表示

    提出DisCo框架，通过利用预训练的生成模型的高生成质量和聚焦于发现作为解缠表示学习因素的遍历方向，从而实现学习解缠表示和发现区别性维度的最新进展。

    Feb, 2021

  • 无监督图像生成中的正交Jacobian正则化强制解耦

    本文提出一种名为OroJaR的正交Jacobian正则化方法，用于鼓励深度生成模型学习独立的表示方法，从而在图像生成方面表现出较高的效果和优越性能，实验标明该方法在空间相关变化等方面的潜在功能表现良好。

    Aug, 2021

  • 用潜在量化实现解缠

    通过强化模型正则化并将潜空间量化为可学习的离散代码，本文提出一种面向组成性编码和解码的概念偏置，从而在许多基准数据集上显著改善了学习表示的模块化和明确性。

    May, 2023