Aug, 2024

在不假设非高斯性的情况下稀疏独立成分分析的可识别性

HTML
PDF
TL;DR本研究针对传统独立成分分析(ICA)在处理高斯分布时遇到的可识别性问题，通过引入新的假设构建来源与观测变量之间的连接结构，从而在不假设非高斯性的前提下，提出了一种基于二阶统计量的可识别性理论。研究表明，该理论和基于稀疏约束的两种估计方法在实验中均得到了验证，具有广泛的应用潜力。
发现论文，激发创造
  • 未知高斯噪声的可证明独立成分分析及其对高斯混合模型和自动编码器的启示

    本文提出了一种新的独立分量分析（ICA）算法，该算法有可证明的性能保证，并引入了一种新的准白化步骤和找到函数所有局部最优解的通用框架，算法通过局部搜索逐个找到A的列以控制误差积累，运行时间和样本复杂度均为n和1/ε的多项式级别。

    Jun, 2012

  • 多视角非线性ICA的可识别性结果：不完整的罗塞塔石问题

    该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题，并呈现了在使用深度神经网络等功能逼近器时，可以理论上消除混合的新颖可识别性证明。

    May, 2019

  • 通过机制稀疏正则化实现解缠：非线性ICA的新原则

    通过机制稀疏正则化，本文引入了一种新颖的解缠结原则，提出了一种表示学习方法，通过同时学习潜在因素和将它们相关联的稀疏因果图模型，实现了解鉴别。通过在潜在因素上应用未知目标干预，清晰地揭示了ICA和因果的联系。我们通过展示在模拟中学到的解缠绕表示来验证我们的理论。

    Jul, 2021

  • 基于对比学习的非线性独立成分分析的有限样本可识别性

    本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析，该分析框架聚合了GCL loss函数的特性，统计概括分析和数值微分，并考虑到学习函数的逼近误差。

    Jun, 2022

  • 非线性ICA的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性ICA的非平凡可识别性。

    Jun, 2022

  • 因果组成分析

    介绍了一个名为Causal Component Analysis的问题，它可以作为Independent Component Analysis方法以及Causal Representation Learning方法的一个泛化，专注于学习解混函数和因果机制，并通过多个数据集的干预方法以及利用基于概率流的似然方法来确定CauCA的可识别性。

    May, 2023

  • 通过密度地标检测离散化潜在坐标系统的可辨识性

    本文开发了一种新的不要求非独立性的、称为量化坐标可识别性的可识别性形式，并全面证明了离散坐标的恢复

    Jun, 2023

  • 超越结构稀疏性的非线性独立成分分析的泛化

    非线性独立分量分析的可辨识性在结构稀疏性、不完备性、灵活分组结构等限制条件下得到了一系列新的可辨识性结果，支持实验证据在合成和真实数据集上。

    Nov, 2023

  • 非线性独立成分分析的空间数据可识别特征学习

    最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性ICA框架，采用适用于具有高维度依赖结构的数据的$t$-process (TP)潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与TP先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些TP独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性ICA被建立为TP非线性ICA模型的极限，并且我们证明了该GP极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。

    Nov, 2023

  • 高斯线性时间不变系统独立分量分析中的可辨识性的干预视角

    研究论证了在动态系统中系统识别和干预设计之间的关系，并展示在高斯线性时不变（LTI）系统中，通过引入多样干预信号，可以识别系统参数。

    Nov, 2023