ICMLJun, 2022

基于对比学习的非线性独立成分分析的有限样本可识别性

PDF
TL;DR本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析，该分析框架聚合了 GCL loss 函数的特性，统计概括分析和数值微分，并考虑到学习函数的逼近误差。
nonlinear independent component analysisidentifiabilitycontrastive learningunsupervised learningfinite-sample analysis
发现论文，激发创造
  • 利用辅助变量和广义对比学习的非线性 ICA

    提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架，通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习，实现了该框架的计算机实现，并证明了该模型的可识别性和一致性。

    May, 2018

  • 非线性 ICA 的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性 ICA 的非平凡可识别性。

    Jun, 2022

  • 超越结构稀疏性的非线性独立成分分析的泛化

    非线性独立分量分析的可辨识性在结构稀疏性、不完备性、灵活分组结构等限制条件下得到了一系列新的可辨识性结果，支持实验证据在合成和真实数据集上。

    Nov, 2023

  • 基于时间对比学习和非线性 ICA 的无监督特征提取

    提出一种基于时间序列的无监督深度学习方法：时间对比学习，利用数据的非静态特性提取潜在特征，同时将时间对比学习与非线性 ICA 模型相结合实现非线性 ICA 模型的辨识性研究。

    May, 2016

  • 因果组成分析

    介绍了一个名为 Causal Component Analysis 的问题，它可以作为 Independent Component Analysis 方法以及 Causal Representation Learning 方法的一个泛化，专注于学习解混函数和因果机制，并通过多个数据集的干预方法以及利用基于概率流的似然方法来确定 CauCA 的可识别性。

    May, 2023

  • 非线性独立成分分析的空间数据可识别特征学习

    最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架，采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性 ICA 被建立为 TP 非线性 ICA 模型的极限，并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。

    Nov, 2023

  • 多视角非线性 ICA 的可识别性结果：不完整的罗塞塔石问题

    该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题，并呈现了在使用深度神经网络等功能逼近器时，可以理论上消除混合的新颖可识别性证明。

    May, 2019

  • 隐马尔可夫非线性 ICA：从非平稳时间序列中进行无监督学习

    本文提出了一种新的非线性 ICA 框架，该框架无需手动分割数据，而是结合了隐马尔可夫模型来实现非监督地学习和动态建模，同时证明了该模型的可辨识性。

    Jun, 2020

  • 使用非线性 ICA 进行具有普适非线性关系的因果发现

    研究非线性关系下的因果发现问题，提出基于非线性独立成分分析的方法，通过一系列独立性检验来推断具有双边因果关系的变量之间的因果方向，并扩展到多变量因果发现，最终通过神经成像数据证明该方法的有效性。

    Apr, 2019

  • 未知高斯噪声的可证明独立成分分析及其对高斯混合模型和自动编码器的启示

    本文提出了一种新的独立分量分析（ICA）算法，该算法有可证明的性能保证，并引入了一种新的准白化步骤和找到函数所有局部最优解的通用框架，算法通过局部搜索逐个找到 A 的列以控制误差积累，运行时间和样本复杂度均为 n 和 1/ε 的多项式级别。

    Jun, 2012