利用神经嵌入自动标注主题
我们提出了一种基于聚类的主题建模方法,使用概念实体作为语言无关的表示,并使用图神经网络从百科全书语料库和知识库中提取实体的向量表示,该方法在连贯性度量方面始终优于其他主题模型。
Jan, 2023
通过结合基于词嵌入、降维和聚类的算法,本研究旨在从未分类的文本集合中获取主题;文本嵌入算法采用了 BERT 模型,这是一种在自然语言处理任务中广泛应用的神经网络架构;为了处理高维数据,使用 UMAP 降维技术,能保留原始数据的局部和全局信息的一部分;K-Means 作为聚类算法,用于获取主题;然后,使用 TF-IDF 统计、主题多样性和主题连贯性来评估主题的含义;该过程的结果显示出较好的数值,因此主题建模是一种可以对无标签文本进行分类或聚类的可行选择。
Oct, 2023
本文提出了一种利用预训练单词嵌入进行文本聚类的新方法,同时整合文本信息进行加权聚类并重新排名前几个单词,旨在挖掘出文档集合中的主题,并对其性能进行基准测试并分析其在降维中的性能。实验表明,所提出的方法在降低时间和计算复杂度同时不输于传统的概率主题模型。
Apr, 2020
通过设计不同的探针实验,使用 BERT 和 DistilBERT,我们发现注意力框架在模拟主题词簇时发挥了关键作用,这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。
Jan, 2023
本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题,相比于利用神经模型的方法有更高的效率和简洁性。
Apr, 2022
采用标签 - 词汇联合嵌入法和注意力机制的词嵌入模型,用于文本分类并保持了词嵌入的可解释性,同时提供了利用其他信息的能力。在多个大型文本数据集上实验表明,该方法在准确率和速度方面均优于现有最先进方法。
May, 2018
通过为神经主题模型添加一种直观的交互方式,即用户可以为主题标记一个词语,并更新主题词使其靠近标记词,从而允许用户根据信息需求优化主题,我们的研究方法通过人机研究评估,证明用户标记能够改善文件排序得分,帮助找到更相关的文档。
Nov, 2023
本文提出了一个新颖的方法,使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签,并设计了一个多任务模型 - NewsEmbed,交替使用对比学习和多标签分类来推导通用文档编码器,在多个自然语言理解任务中实现了出色的性能表现。
Jun, 2021