May, 2024

使用两个潜在向量的统计模型的可识别性：维度关系的重要性及其在图嵌入中的应用

PDF
TL;DR该研究论文提出了一个统计模型，通过引入辅助数据，并建立了各种可辨认性条件，其中包括非线性独立分量分析（ICA），并证明了所提模型的不确定性在某些条件下与线性 ICA 相同。在图数据中应用可辨认性理论，提出了一种可辨认的图嵌入方法，并通过数值实验验证了所提方法对潜向量的恢复以及模型可辨认性与图数据中的最大连接权重之间的依赖关系，从而支持了理论结果的推论。
发现论文，激发创造
  • 单个独立潜变量的发现

    本文提出了一种基于自编码器的方法，通过恢复两个统计独立组件的隐藏元素来解决混合数据下的潜变量发现问题，并在图像合成、语音合成和胎儿心电图提取等多个任务中进行了性能验证。

    Oct, 2021

  • 论所学习表征的线性可辨识性

    研究深度神经网络在表示学习中的可辨认性，并从非线性独立成分分析的角度提出一种恢复可辨认性的方法，提出了一系列充分条件和证据，证明一大类具有判别性的模型在功能空间上具有线性可辨认性。

    Jul, 2020

  • 非线性 ICA 的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性 ICA 的非平凡可识别性。

    Jun, 2022

  • 非线性潜在层次模型的识别

    本文研究了非线性潜在变量的分层因果模型的识别问题，并证明在一些缓和的假设下，可以实现因果结构和潜在变量的可识别性。

    Jun, 2023

  • 带有多个观测变量的潜变量结构模型参数可识别性

    使用代数方法建立了鉴定隐藏类模型参数的一般方法，包括有限或非参数混合、隐藏马尔可夫模型和随机图混合模型，并且发现在参数化设置中，传统定义的可辨识性通常太强，在非参数设置中，受到限制的混合分布才能获得可识别性。

    Sep, 2008

  • 非线性独立成分分析的空间数据可识别特征学习

    最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架，采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性 ICA 被建立为 TP 非线性 ICA 模型的极限，并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。

    Nov, 2023

  • 学习未知干预下非参数潜在因果图

    本文介绍了一种在潜在空间中通过未知干预重建潜在因果图的方法，不需要进行参数假设，并且不需要已知潜在变量的数量，每个潜在变量最多只需要一个未知干预，通过引入虚集和孤立边的两个新图形概念，可构造性地证明了这种方法的可行性。

    Jun, 2023

  • 利用辅助变量和广义对比学习的非线性 ICA

    提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架，通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习，实现了该框架的计算机实现，并证明了该模型的可识别性和一致性。

    May, 2018

  • 变分自编码器和非线性 ICA: 一个统一的框架

    该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。

    Jul, 2019

  • 多视角非线性 ICA 的可识别性结果：不完整的罗塞塔石问题

    该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题，并呈现了在使用深度神经网络等功能逼近器时，可以理论上消除混合的新颖可识别性证明。

    May, 2019