Jan, 2024

评估噪声 ICA 解决方案的非参数分数

PDF
TL;DR本文提出了一种非参数分数，用于评估在独立成分分析（ICA）的迭代算法中对任意高斯噪声的解决方案的质量。该分数的创新之处在于仅假设数据有有限的二阶矩，并利用特征函数评估估计混合矩阵的质量，而不需要任何噪声分布参数的知识。我们还提供了一种基于特征函数的对比函数，用于 ICA，并提出了一个固定点迭代来优化对应的目标函数。最后，我们提出了一个理论框架来获得一类 ICA 对比函数的局部和全局最优解的充分条件。该框架固有地使用准正交化方法，并将我们的结果扩展到带噪声的 ICA 经典分析。通过在模拟数据集上的实验结果，我们证明了我们算法的有效性。
发现论文，激发创造
  • 未知高斯噪声的可证明独立成分分析及其对高斯混合模型和自动编码器的启示

    本文提出了一种新的独立分量分析（ICA）算法，该算法有可证明的性能保证，并引入了一种新的准白化步骤和找到函数所有局部最优解的通用框架，算法通过局部搜索逐个找到 A 的列以控制误差积累，运行时间和样本复杂度均为 n 和 1/ε 的多项式级别。

    Jun, 2012

  • 基于对比学习的非线性独立成分分析的有限样本可识别性

    本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析，该分析框架聚合了 GCL loss 函数的特性，统计概括分析和数值微分，并考虑到学习函数的逼近误差。

    Jun, 2022

  • 使用对抗网络学习非线性独立特征

    通过对抗目标来优化难以直接估计和优化的统计依赖度量，可以更容易地学习独立特征并解决 ICA 问题。

    Oct, 2017

  • ICA 的协方差矩阵的重尾模拟

    本研究提出了一种名为 HTICA 的实用算法，用于重尾 ICA 问题，该算法通过使用中心体的显式解析表示方式，避免了使用椭球体方法和随机游走。此外，本文研究了重尾对不同 ICA 算法的影响，并表明一些使用协方差矩阵或高阶矩的算法可以成功解决一些具有无穷第二矩的 ICA 实例。

    Feb, 2017

  • 在线独立分量分析可解模型中的随机陷阱

    本文研究了一种基于 Hebbian 算法的独立成分分析方法的稳定性和转移学习的问题，并证明了在数据维度较高时该方法需要低的学习率，因此需要进行大量迭代来学习。

    May, 2001

  • 高维在线独立成分分析的可伸缩极限

    本论文使用非线性 PDE 研究了高维限制下在线算法的性能表现和最优化措施，并提出了利用随机梯度下降解决 1D Minimization 问题的新算法。

    Oct, 2017

  • 高斯过程得分函数的随机逼近

    探讨无偏随机逼近的统计特性，通过模拟数据集得到有效计算、可比最大似然估计的技术，并通过 $2^n$ 阶乘设计元素改进算法得到更好的结果

    Dec, 2013

  • 测量变换独立分量分析

    本文提出一种新的独立组分分析框架，基于对观测向量的概率分布应用结构变换的测量转换 ICA（MTICA），通过选择合适的变换，我们证明分离矩阵可以通过对多个变换协方差矩阵对角化唯一确定，通过对多个经验性测量变换协方差矩阵进行近似联合对角化，MTICA 估计分离矩阵。与基于核的 ICA 技术不同，后者将变换重复地应用于观测向量的某些仿射映射，而 MTICA 仅将变换一次应用于观测值的概率分布，导致了性能优势和较少的实现复杂度。数值模拟证明了该方法相比其他现有的 ICA 的最新方法具有更好的性能。

    Feb, 2013

  • 非高斯分量分析基于更弱假设的 SQ 下界

    我们研究了统计查询模型下非高斯成分分析（NGCA）的复杂性，并证明了在满足匹配矩条件下的近乎最优统计查询下界，推广到隐含子空间的设置，并获得了近乎最优统计查询下界，适用于一系列具体估计任务。

    Mar, 2024

  • 利用辅助变量和广义对比学习的非线性 ICA

    提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架，通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习，实现了该框架的计算机实现，并证明了该模型的可识别性和一致性。

    May, 2018