Nov, 2023

非线性独立成分分析的空间数据可识别特征学习

PDF
TL;DR最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架，采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性 ICA 被建立为 TP 非线性 ICA 模型的极限，并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。
nonlinear icalatent dependencies$t$-processvariational inferenceidentifiability theorems
发现论文，激发创造
  • 非线性 ICA 的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性 ICA 的非平凡可识别性。

    Jun, 2022

  • 利用辅助变量和广义对比学习的非线性 ICA

    提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架，通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习，实现了该框架的计算机实现，并证明了该模型的可识别性和一致性。

    May, 2018

  • 基于时间对比学习和非线性 ICA 的无监督特征提取

    提出一种基于时间序列的无监督深度学习方法：时间对比学习，利用数据的非静态特性提取潜在特征，同时将时间对比学习与非线性 ICA 模型相结合实现非线性 ICA 模型的辨识性研究。

    May, 2016

  • 超越结构稀疏性的非线性独立成分分析的泛化

    非线性独立分量分析的可辨识性在结构稀疏性、不完备性、灵活分组结构等限制条件下得到了一系列新的可辨识性结果，支持实验证据在合成和真实数据集上。

    Nov, 2023

  • 隐马尔可夫非线性 ICA：从非平稳时间序列中进行无监督学习

    本文提出了一种新的非线性 ICA 框架，该框架无需手动分割数据，而是结合了隐马尔可夫模型来实现非监督地学习和动态建模，同时证明了该模型的可辨识性。

    Jun, 2020

  • 基于对比学习的非线性独立成分分析的有限样本可识别性

    本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析，该分析框架聚合了 GCL loss 函数的特性，统计概括分析和数值微分，并考虑到学习函数的逼近误差。

    Jun, 2022

  • 变分自编码器和非线性 ICA: 一个统一的框架

    该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。

    Jul, 2019

  • 使用非线性 ICA 进行具有普适非线性关系的因果发现

    研究非线性关系下的因果发现问题，提出基于非线性独立成分分析的方法，通过一系列独立性检验来推断具有双边因果关系的变量之间的因果方向，并扩展到多变量因果发现，最终通过神经成像数据证明该方法的有效性。

    Apr, 2019

  • 多视角非线性 ICA 的可识别性结果：不完整的罗塞塔石问题

    该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题，并呈现了在使用深度神经网络等功能逼近器时，可以理论上消除混合的新颖可识别性证明。

    May, 2019

  • 通过机制稀疏正则化实现解缠：非线性 ICA 的新原则

    通过机制稀疏正则化，本文引入了一种新颖的解缠结原则，提出了一种表示学习方法，通过同时学习潜在因素和将它们相关联的稀疏因果图模型，实现了解鉴别。通过在潜在因素上应用未知目标干预，清晰地揭示了 ICA 和因果的联系。我们通过展示在模拟中学到的解缠绕表示来验证我们的理论。

    Jul, 2021