Apr, 2016

使用词嵌入的非参数球形主题建模

PDF
TL;DR本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。
topic modelssemantic regularitiesvon mises-fisher distributionword embeddingsefficient inference
发现论文，激发创造
  • 高斯嵌入的词表示

    本文提倡使用基于密度的分布嵌入方法，并提出了一种在高斯分布空间中学习表示的方法，以更好地捕捉有关表示和其关系的不确定性，自然地表达不对称性，并使决策边界参数更有表达力。本文比较了各种单词嵌入基准测试的性能，调查了这些嵌入模型主导和其他不对称关系的能力，并探索了表示的新颖特性。

    Dec, 2014

  • 广义球面文本嵌入

    本文提出了一种无监督建模方法，通过引入新的相似度度量和矩阵嵌入的优化问题，可以更加灵活地表示文本嵌入，并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。

    Nov, 2022

  • LDA2VEC：利用狄利克雷主题模型和词嵌入相结合

    本研究介绍了 lda2vec 模型，它可以联合学习文档层次上主题向量的 Dirichlet 分布与密集的单词向量，并且相对于连续的密集文档表示，可以产生更稀疏、可解释的文档混合分布。

    May, 2016

  • 球面文本嵌入

    通过基于球形生成模型设计的 Riemannian 优化算法，在球形空间中实现无监督文本嵌入并在各种文本嵌入任务中达到了最新成果，包括词相似性和文档聚类。

    Nov, 2019

  • 具有排序敏感性和语义感知能力的主题建模

    本文提出了一种高斯混合神经主题模型（GMNTM），该模型将单词的顺序和句子的语义意义同时纳入了主题建模，实验结果表明，相比现有的主题建模方法，GMNTM 在困惑度、检索准确性和分类准确性方面获得了显著的改进。

    Feb, 2015

  • 用主题嵌入混合表示单词嵌入混合

    本文提出了一种新的主题建模框架，在该框架中，每个文档都被视为一组单词嵌入向量，每个主题都被建模为嵌入空间中的嵌入向量，并在相同的向量空间中嵌入单词和主题，定义一种方法来衡量文档单词的嵌入向量与主题嵌入向量之间的语义差异，并优化主题嵌入以最小化所有文档的期望差异。实验结果表明，所提出的方法在发现更连贯和多样化的主题以及提取更好的文档表示方面具有竞争性的性能。

    Mar, 2022

  • 基于计数模型的词向量表示恢复

    该研究是关于使用基于计数的模型来提取文本的语义表征，使用 Hellinger 距离用于处理大型语料库中的单词共现统计数据，并获得了很好的性能表现。

    Dec, 2014

  • 层次密度排序嵌入

    本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

    Apr, 2018

  • 多模式词分布

    本文介绍了一种基于能量的最大化边际目标的多模态词分布方法，用于学习包含语义信息、包含多个词含义、蕴含和丰富的不确定性信息的词嵌入。实验结果表明，该方法在诸如单词相似度和蕴含等基准数据集上优于 Word2vec 跳字模型和高斯嵌入。

    Apr, 2017

  • 使用 Wasserstein 距离的高斯词嵌入

    该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

    Aug, 2018