论所学习表征的线性可辨识性
本文讨论了一种可能的未标识结果,说明了非线性独立成分分析理论基础上的建构,并通过适当构造的反例说明了表示学习中的其他反例及其可识别性。
Feb, 2022
该研究论文提出了一个统计模型,通过引入辅助数据,并建立了各种可辨认性条件,其中包括非线性独立分量分析(ICA),并证明了所提模型的不确定性在某些条件下与线性 ICA 相同。在图数据中应用可辨认性理论,提出了一种可辨认的图嵌入方法,并通过数值实验验证了所提方法对潜向量的恢复以及模型可辨认性与图数据中的最大连接权重之间的依赖关系,从而支持了理论结果的推论。
May, 2024
该论文研究因果关系表示学习,通过从我们观察到的低级数据中恢复高级潜在变量和它们之间的因果关系,假设可以访问从多个环境生成的观测结果。作者提出了一种可证明在无法使用硬干预的情况下所能达到的最佳可识别性概念,并针对线性因果模型和一般非参数因果模型提供了相应的可识别性保证。
Nov, 2023
使用代数方法建立了鉴定隐藏类模型参数的一般方法,包括有限或非参数混合、隐藏马尔可夫模型和随机图混合模型,并且发现在参数化设置中,传统定义的可辨识性通常太强,在非参数设置中,受到限制的混合分布才能获得可识别性。
Sep, 2008
本研究针对概率模型的可辨识性理论,通过一种广泛的条件能量模型建立充分条件,使得学习到的表示在函数空间上是唯一的,从而可以用于在非线性 ICA 框架下的组件估计,同时提高了图像数据集在迁移学习和半监督学习任务中的性能。
Feb, 2020
本文考虑识别性表示学习和干预外推任务,发现可识别表示能有效预测干预对结果的影响,即使干预呈非线性关系。通过结合干预外推任务和可识别表示学习,我们提出了一种新的方法 Rep4Ex,通过对观察特征进行非线性外推,成功预测未观察干预的效应。
Oct, 2023
研究非参数学习中未知干预数据的因果表征学习,证明两个有关变量的观察分布和一次干预足以提供可识别性,同时说明了保留潜在变量之间因果影响的等价解决方案在绘制新数据的因果推论方面的合理性
Jun, 2023
潜在维度加性噪声模型和潜在后非线性因果模型中的分布转变在因果表示学习中发挥重要作用,能够确定因果表示的可辨识性条件,并将其转化为实际算法,从而获得可靠的潜在因果表示。
Mar, 2024
最近,非线性独立成分分析(nonlinear ICA)已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架,采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法,将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来,并采用诱导点的方法以提高计算效率。在理论方面,我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外,高斯过程(GP)非线性 ICA 被建立为 TP 非线性 ICA 模型的极限,并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说,只有当这些成分具有不同的协方差核时,它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。
Nov, 2023