Feb, 2018

自动编码总相关性解释

PDF
TL;DR本文提出了一种基于多元互信息或称总相关性的信息论方法，用于表征表示学习中的解缠和依赖性，提出了一种基于可变下限的 CorEx 方法，使得 Latent codes 更具可解释性，并且能够生成更丰富、更真实的样本；同时，将 VAE 与 CorEx 相联系，在信息论上加深了对分层 VAE 的理解，并激发了一种新的算法 AnchorVAE。
unsupervised learninginformation-theoretic approachtotal correlationvariational autoencodersanchorvae
发现论文，激发创造
  • 变分自编码器中解交缠来源的隔离

    我们提出了一种基于 Total Correlation Variational Autoencoder 的无监督学习方法，用以生成 disentangled representations，并介绍了一种分类器无关的 disentanglement 度量，称为 mutual information gap (MIG)。通过对 restricted 和 non-restricted 实验结果的定量和定性分析，我们展示了 latent variables model 的 total correlation 和 disentanglement 之间的强关联关系。

    Feb, 2018

  • betaTCVAE 中总相关性的咒语破解

    该论文提出了通过总相关的分解路径来解决 betaTCVAE 中的总相关问题，并从模型容量分配的角度解释 VAE 的表示学习能力。该新模型能够使 VAE 更灵活地调整参数容量，从而在各种数据集上取得更好的解缠效果，并通过实验表明了总相关估计的局限性。

    Oct, 2022

  • 相关变分自编码器

    该研究提出了基于相关变量分布的 CVAEs 方法来学习高维数据的潜在表示。通过对无向相关图的所有最大有向无环子图的可计算较低限的平均值来解决相关先验带来的不可计算问题，证明了该方法在公共基准评级数据集的匹配和链接预测，以及合成数据集上的谱聚类中的有效性。

    May, 2019

  • 通过相关性在高维数据中发现结构

    提出了一种层次逐步抽象表示复杂数据的学习方法，该方法基于优化信息论目标，通过最大化多变量互信息来搜索最佳解释数据相关性的潜在因素集合，该方法无需监督，不需要模型假设，并且随着变量数量的线性扩展具有可行性，我们证明了 Correlation Explanation (CorEx) 自动发现了来源于多个数据源的有意义的结构，包括个性测试、DNA 和人类语言。

    Jun, 2014

  • 锚定相关性解释：最小领域知识主题建模

    本文介绍了一种名为 CorEx 的主题建模方法，这种方法不需要假设潜在的生成模型，而是通过信息理论框架学习最大信息的主题。该框架可以自然地推广到具有层次结构和半监督扩展的情况，通过锚词，可以灵活地将单词级的领域知识纳入 CorEx，从而最小限度地促进主题的可分离性和表征。通过多种数据集、指标和实验，我们证明了 CorEx 产生的主题与无监督和半监督变体的 LDA 所产生的主题在质量上是可比较的。

    Nov, 2016

  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022

  • 通过锚定相关性解释实现可解释的主题发现

    使用模糊和非正式的专家知识指导文本中解释性潜在主题的发现，结合了信息瓶颈和总相关性解释方法，对 Anchored CorEx 进行了初步评估，并在两个不同的语料库上产生了更连贯和可解释的主题。

    Jun, 2016

  • 使用 Wasserstein 自编码器学习解耦表示

    该论文提出了 TCWAE 方法，使用 WAE 框架在潜在变量上分离了总相关项，从而在保持重构精度的同时提供了对学习表示的解缠结控制，同时在选择重构成本方面提供了更大的灵活性，并在已知生成因素的数据集上进行了大量的量化比较，取得了与最先进技术相比具有竞争力的结果。

    Oct, 2020

  • 在变分自编码器中通过最大化互信息学习表征

    介绍了一种新的方法 ——InfoMax-VAE：在传统的 VAES 上加上互信息最大化的方法，同时优化其中的高级表示。在多项实验中，表现优于 Info-VAE 和 β-VAE 等现代流行的方法。

    Dec, 2019

  • 探索高阶神经网络节点之间的总相关性

    我们提出了一种名为本地相关解释（CorEx）的新方法，通过首先基于数据流形上的接近程度对数据点进行聚类，以在局部尺度上捕获高阶变量相互作用（HOIs），以解决在复杂的生态系统、合作关系和人脑等领域中准确表征 HOIs 变得困难并且当 HOIs 在数据中变化时进一步加剧的问题。然后，我们使用一种名为总相关性的多变量互信息构建每个聚类中数据的潜在因子表示，以学习局部 HOIs。我们使用本地 CorEx 探索合成和真实世界数据中的 HOIs，以提取有关数据结构的隐藏见解。最后，我们演示了本地 CorEx 用于探索和解释经过训练的神经网络内部运作的适用性。

    Feb, 2024