ACLApr, 2020

预训练是热门话题：上下文化文档嵌入提高了主题相关性

PDF
TL;DR本文介绍了关于主题模型的研究，探讨了如何将 contextual embeddings 应用于 neural topic models，以提高主题模型的准确性和一致性，并且研究结果表明，对自然语言处理模型的改进将会对主题模型产生积极影响。
发现论文，激发创造
  • BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

    本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

    May, 2023

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • 厌倦主题模型？预训练词嵌入聚类同样适用于快速且良好的主题！

    本文提出了一种利用预训练单词嵌入进行文本聚类的新方法，同时整合文本信息进行加权聚类并重新排名前几个单词，旨在挖掘出文档集合中的主题，并对其性能进行基准测试并分析其在降维中的性能。实验表明，所提出的方法在降低时间和计算复杂度同时不输于传统的概率主题模型。

    Apr, 2020

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 通过邻域聚合学习主题模型

    本文利用网络视角研究主题模型，将节点与词语，边与文档内出现的词语之间的关系相对应，旨在探究如何将真实信号融入其模型中，并改善模型分类表现。

    Feb, 2018

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • 话题作为实体聚类：基于语言模型和图神经网络的基于实体的话题

    我们提出了一种基于聚类的主题建模方法，使用概念实体作为语言无关的表示，并使用图神经网络从百科全书语料库和知识库中提取实体的向量表示，该方法在连贯性度量方面始终优于其他主题模型。

    Jan, 2023

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 通过分离上下文 n 元信息来改进词向量嵌入

    训练单词嵌入与高阶 n-gram 嵌入同时可以帮助消除上下文信息，从而得到更好的单词嵌入。通过在各种任务上显着优于其他竞争性单词表示模型，我们实证了我们的假设的有效性。

    Apr, 2019