May, 2022

基于互信息的短文本主题建模的联邦非负矩阵分解

PDF
TL;DR文中介绍了一种使用 Federated NMF 和互信息（MI）的方法，可以在尊重客户数据隐私的同时，帮助多个客户一起训练矩阵分解话题模型，并更好地进行自然语言处理
non-negative matrix factorizationfederated nmftopic modelingnatural language processingmutual information
发现论文，激发创造
  • 基于非负矩阵分解的多模态多视角聚类

    通过结合相关对象，无监督机器学习技术旨在揭示数据集中的潜在模式。在本文中，我们提出了一项关于多模态聚类算法的研究，并提出了一种名为多模态多视图非负矩阵分解的新方法，其中我们分析了多个局部 NMF 模型的协同作用。实验结果表明，所提出的方法具有较大的价值，并使用多种数据集进行评估，相比于现有的方法，获得了非常有前景的结果。

    Aug, 2023

  • 学习主题模型 —— 走出奇异值分解

    该论文从理论上证明了利用非负矩阵分解（NMF）作为主要工具来实现主题模型学习算法的可行性，具有学习效率高，不需要数据满足某些限制条件等优点，可用于包含主题 - 主题相关性的模型。

    Apr, 2012

  • 联邦神经主题模型

    本文探讨了用于主题建模的联邦学习方法，以解决跨数据源分析时的隐私问题，并提出一种基于最先进的神经网络主题模型实现的联邦实现方案，保护各节点的隐私。实验结果表明，与中心化方法相比，该方法在跨节点文档主题多样性和构建联合模型方面更具优势。

    Dec, 2022

  • 连续半监督非负矩阵分解

    本文介绍了如何使用非负矩阵分解方法无监督地自动检测语料库中的主题，并证明该方法可结合回归得出比先识别主题后进行回归更好的效果并有更好的可解释性。

    Dec, 2022

  • 具有深度相互信息估计的神经主题建模

    本研究提出了一种新颖的神经话题模型（NTM-DMIE），可在无监督文本挖掘中应用。该模型结合了深度互信息估计和对抗学习，进一步保留文本输入的代表信息，并通过全局和局部互信息来维护输入文档中的丰富信息，并在几个度量标准方面表现出良好的性能。

    Mar, 2022

  • 非负矩阵分解中的二到五个真相

    本文探讨了矩阵缩放对非负矩阵分解进行主题建模的作用。作者提出了一种基于归一化拉普拉斯 (NL) 的缩放方法，其在文本话题建模方面的效果显著，并且在三个数据集上证明了它的优越性。作者认为这种缩放方法与其他矩阵缩放方法存在关联。

    May, 2023

  • 安全联合矩阵分解

    本研究提出一种基于矩阵分解的安全联邦学习框架，称为 FedMF，利用同态加密技术实现了对上传信息的加密保护，从而解决联邦学习中梯度泄露的问题，并证明了其可行性。

    Jun, 2019

  • 非负矩阵分解的原因和方法

    本文介绍了非负矩阵分解的稀疏特征提取功能，并探讨了如何解决通常情况下 NP 困难的 NMF 问题，介绍了一个称为近可分离 NMF 的问题子类，可以高效地解决一些在有噪声的情况下的 NMF 问题。最后简要描述了 NMF 在数学和计算机科学领域的若干相关问题。

    Jan, 2014

  • 基于隐私保护的分布式非负矩阵分解

    在分布式的无线网络中，我们提出了一种保护隐私的非负矩阵分解算法，利用 Paillier 加密系统对分布式大型数据矩阵进行分解，从而保护每个节点的本地数据隐私，并在邻居节点之间进行安全的信息交互。模拟结果表明该算法在实现分布式非负矩阵分解的同时保持了隐私保护的有效性。

    Mar, 2024

  • 非负矩阵分解与潜在狄利克雷分配之间的联系

    非负矩阵因式分解也称为广义 Kullback-Leibler 散度 (NMF) 和隐含狄利克雷分配 (LDA) 是两种用于非负数据降维的流行方法。在这篇论文中，我们展示了在对分解的两个矩阵的列添加 $\ell_1$ 归一化约束和一个狄利克雷先验的条件下，NMF 与 LDA 等效。我们的方法还揭示了一个矩阵上的 Lasso 惩罚和另一个矩阵的 $\ell_1$ 归一化约束是不足以引发任何稀疏性的。

    May, 2024