Jul, 2023

学习解缠离散表示

HTML
PDF
TL;DR通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散VAE在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。
发现论文，激发创造
  • 半监督深度生成模型学习分离表示

    该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器，能够学习到不同的表示形式，进一步实现半监督学习，其生成的能力和区分能力也得到了充分验证。

    Jun, 2017

  • 强制执行解缠变分自编码器的效果量化

    本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响，通过训练多个模型，发现其能够将独立输入生成因素编码为代码的单独元素，从而提高了模型行为的可解释性和可预测性。同时，也确定了分离对自编码机判别能力的负面影响。

    Nov, 2017

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正ELBO下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 通过循环一致变分自编码器分离变异因素

    本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构，使用变分自编码器中的循环一致性，获得鼓舞人心的结果，并与利用对抗训练的最近作品进行了比较。

    Apr, 2018

  • 基于参考变分自编码器学习分离表示

    该研究文章提出了一种基于参照的去混淆学习方法，并使用基于变分自编码器的深度生成模型成功学习到了无标注图像数据中的离散化部分解耦的表征。

    Jan, 2019

  • 变分解耦表征学习无监督模型选择

    本论文介绍了一种简单而健壮的无监督分解模型选择方法（UDR），通过对训练模型表示进行成对比较来量化分离质量，该方法能够使超参数调整和模型选择更加有效，并且与现有的有监督替代方案表现相当。同时，我们还发现，这种排序方法与两个不同领域的最终任务表现有很好的相关性。

    May, 2019

  • 用潜在变化可预测性学习分离表示

    本文提出了一种基于变量可预测性的方法来优化VAE和GAN框架中的潜变量表征的解缠方法，该方法通过最大化潜变量变化与相应图像变化之间的互信息来增强变量的可预测性，同时提出了一种新的评估指标来度量潜在维度的解缠性能。研究表明，所提出的变量可预测性方法与当前基于与真实情况的度量模型表现出很好的相关性，可以有效地增强潜变量表征的解缠能力。

    Jul, 2020

  • 无自编码的无监督解缠的陷阱和未来方向

    本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习，并分析了不同正则化方法的利弊与下游任务性能表现。

    Aug, 2021

  • 因子量化变分自编码器的解耦

    本研究解决了解耦表示学习中的真相信息缺失问题，提出了一种通过离散变分自编码器（VAE）来实现解耦的新方法。研究表明，结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能，FactorQVAE方法在两个解耦指标上优于以往的解耦方法，具有重要的应用潜力。

    Sep, 2024

  • α-TCVAE：解耦与多样性之间的关系

    本研究解决了解耦表示在生成建模中的有限适用性问题，通过引入一种新颖的总相关性下界（TC），优化变分自编码器（α-TCVAE），以最大化解耦和潜在变量的信息性。研究表明，α-TCVAE 在复杂数据集上能够学习到更加解耦的表示，并生成更多样化的观察结果，为机器学习领域提供了更好的生成能力和应用潜力。

    Nov, 2024