AAAIApr, 2018

在神经形态多芯片系统上训练概率主题模型

PDF
TL;DR本文研究了如何在神经形态多芯片系统（NMS）上训练概率主题模型，提出了三种算法，一种是批量算法，另外两种是在线算法，使用了新颖的随机优化方法和高效的能量和存储策略，并成功用于 pLSI 和 LDA 训练，结果表明这些算法不仅能够与常规计算机算法相媲美，而且更适合在 NMS 上实现。
probabilistic topic modelsneuromorphic multi-chip systemsspiking neural networksenergy-efficient trainingstochastic optimization
发现论文，激发创造
  • 主题建模的少样本学习

    本文提出了一种基于神经网络的少样本学习方法，该方法可以从少量文档中学习主题模型，并通过 EM 算法的先验概率对主题模型参数进行估计，通过随机梯度下降方法使测试似然性达到最大值，在实验中，我们证明了该方法在三个真实文档集上表现出比现有方法更好的困惑度。

    Apr, 2021

  • 神经膜电阻系统中的无监督学习

    本文探讨了基于 neuromemristive 系统 (NMSs) 的无监督聚类学习，以及如何利用简单的忆阻器交叉堆栈结构和学习规则来实现与 MATLAB 的 k-means 聚类相当的性能。

    Jan, 2016

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 神经变分推断下的离散隐变量主题挖掘

    这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

    Jun, 2017

  • 自动主题生成的分层潜在语义映射

    本文提出一种新的名为 Hierarchical Latent Semantic Mapping (HLSM) 的主题生成方法，它可以自动从语料库中生成主题，并使用单词之间的关联和层次生成主题网络。实验表明，相比于现有的一些最先进的方法，HLSM 在几个文档集合上表现良好。

    Nov, 2015

  • LightLDA: 在中小型计算集群上进行大规模主题建模

    通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

    Dec, 2014

  • 神经主题建模与持续终身学习

    本文提出了一种用于神经主题建模的终身学习框架，可以连续处理文档集流并通过从多个来源的知识转移积累主题，以更好地处理稀疏数据，并通过新的选择性数据增强、共同训练和主题正则化方法来最小化灾难性遗忘，作者通过建模三个稀疏的文档集任务进行证明其提出的终身神经主题建模（LNTM）框架具有改良的表现。

    Jun, 2020

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 半监督神经主题建模的联合学习方法

    本文介绍了标签索引神经主题模型（LI-NTM），它是迄今为止首个有效的上游半监督神经主题模型，并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型，此外，通过消融研究发现，我们共同学习的分类器优于基线分类器。

    Apr, 2022

  • 重访主题指导语言模型

    一项最近的自然语言处理研究旨在结合语言模型和主题模型，这些主题引导的语言模型通过将主题模型与神经语言模型相结合，采用无监督学习方法来发现文档级别的词汇使用模式。本文比较了这些方法在标准化环境中的效果，并发现这些方法中没有任何一种超越了标准 LSTM 语言模型基准，并且大多数方法无法学习到好的主题。此外，我们训练了一个探测神经语言模型的方法，结果显示基准模型的隐藏状态已经编码了主题信息。本研究公开了所使用的所有代码。

    Dec, 2023