Jul, 2015

重新思考LDA：用于离散ICA的矩匹配

HTML
PDF
TL;DR本文通过建立LDA和ICA之间的联系，推导出一种新的基于累积量的张量以及一种基于张量联合对角化的方法，用于LDA的矩匹配技术，实验证明该方法优于现有的矩匹配方法。
发现论文，激发创造
  • 随机折叠变分贝叶斯推断用于潜在狄利克雷分配

    该研究提出了一种基于折叠变分贝叶斯推断技术的随机算法，能快速准确地从大规模数字文本信息中学习话题模型并与人交互分析。

    May, 2013

  • WarpLDA：一种O(1)高缓存效率的潜在狄利克雷分配算法

    本文开发了 WarpLDA 算法来处理 Latent Dirichlet Allocation (LDA) 中的内存访问效率问题，并通过多种测试得出 WarpLDA 相比现有算法在速度上更具优势，用户可以在数小时内从数亿个文档中学习高达一百万个主题，吞吐量可达 11G 每秒。

    Oct, 2015

  • 超越CCA：多视角模型的矩匹配

    本文介绍了三种新的概率规范相关分析的半参数扩展，并考虑了这些模型估计的矩匹配技术。通过将新模型与独立分量分析的离散版本（DICA）之间的显式联系画出，并进一步使用与独立分量分析的密切联系介绍广义协方差矩阵，以改善样本复杂度并显著简化推导和算法。

    Feb, 2016

  • ICA的协方差矩阵的重尾模拟

    本研究提出了一种名为HTICA的实用算法，用于重尾ICA问题，该算法通过使用中心体的显式解析表示方式，避免了使用椭球体方法和随机游走。此外，本文研究了重尾对不同ICA算法的影响，并表明一些使用协方差矩阵或高阶矩的算法可以成功解决一些具有无穷第二矩的ICA实例。

    Feb, 2017

  • 分层矩方法

    论文介绍了基于谱方法模型参数学习的强大工具，并提出了一种分层方法去解决模型错误建模的鲁棒性问题。我们用近似的联合对角化取代以前算法中使用的张量分解步骤，并在主题建模实验中表明，我们的方法在速度和模型质量方面优于以前的张量分解方法。

    Oct, 2018

  • 通过机制稀疏正则化实现解缠：非线性ICA的新原则

    通过机制稀疏正则化，本文引入了一种新颖的解缠结原则，提出了一种表示学习方法，通过同时学习潜在因素和将它们相关联的稀疏因果图模型，实现了解鉴别。通过在潜在因素上应用未知目标干预，清晰地揭示了ICA和因果的联系。我们通过展示在模拟中学到的解缠绕表示来验证我们的理论。

    Jul, 2021

  • 非线性ICA的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性ICA的非平凡可识别性。

    Jun, 2022

  • SimLDA：主题模型评估工具

    本文介绍了一种新的变分信息传递算法，名为ALBU，用于在有限数据情况下识别LDA模型中的方面，并在推特和新闻组数据集上与VB算法进行比较，展示ALBU算法在小型数据集表现出更高精度的潜在分布学习能力。

    Aug, 2022

  • 超越结构稀疏性的非线性独立成分分析的泛化

    非线性独立分量分析的可辨识性在结构稀疏性、不完备性、灵活分组结构等限制条件下得到了一系列新的可辨识性结果，支持实验证据在合成和真实数据集上。

    Nov, 2023

  • 非负矩阵分解与潜在狄利克雷分配之间的联系

    非负矩阵因式分解也称为广义Kullback-Leibler散度(NMF)和隐含狄利克雷分配(LDA)是两种用于非负数据降维的流行方法。在这篇论文中，我们展示了在对分解的两个矩阵的列添加$\ell_1$归一化约束和一个狄利克雷先验的条件下，NMF与LDA等效。我们的方法还揭示了一个矩阵上的Lasso惩罚和另一个矩阵的$\ell_1$归一化约束是不足以引发任何稀疏性的。

    May, 2024