基于话题线索的基于检索的聊天机器人响应选择
本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型,从而改进对小文本数据的话题推断。结果表明,与传统主题模型相比,改进后的方法可以更有效地对短文本数据进行话题建模。
Sep, 2016
采用先验知识辅助在长文本中进行语义匹配,提出了一种知识增强混合神经网络(KEHNN),该模型通过知识门将先验知识融入单词表示中,并建立了三个匹配通道,最终实现对句子的局部和全局语境进行匹配的高检索性能。
Nov, 2016
该研究提出了一种新型的神经网络架构,采用分层循环神经网络和潜在主题聚类模块进行候选答案排名,该模型的层级结构可以有效地捕捉整体含义并在长文本理解方面表现出色,并在两个数据集中取得了最佳的问题答案排序结果。
Oct, 2017
我们提出了一种名为序列匹配框架(SMF)的新型匹配框架,该框架可以充分携带上下文中的重要信息,同时建模上下文中话语之间的关系,通过序列卷积网络和序列注意力网络实现,实验结果表明,这两种模型都可以显著优于现有技术,而可视化结果揭示了模型如何捕捉并利用上下文中的重要信息实现匹配。
Oct, 2017
本文提出了基于注意力机制的神经匹配模型,采用基于价值共享的加权方案,结合问题关键词重要性学习,使用 popular benchmark TREC QA 数据集验证其在短答案文本排名方面的性能优越性。
Jan, 2018
我们提出了用于短文本分类的主题记忆网络,采用新颖的主题记忆机制来编码类别标签的潜在主题表示,实验结果表明,我们的模型在短文本分类方面优于现有模型,并生成连贯的主题。
Sep, 2018
本文提出了一种使用多视图嵌入空间的神经主题建模框架,通过联合多种来源的预训练主题嵌入和预训练词嵌入来提高主题质量并更好地处理一词多义。文章通过从新闻和医疗领域的不同文本集合中进行实验,评估了主题和文档表示的质量。
Apr, 2021
本研究开发了一种新型的神经主题模型,结合了来自预先训练的语言模型BERT的上下文化单词嵌入,无需使用任何词袋信息即可推断文档的主题分布,实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型,并可处理来自新到达文档的未见单词。
May, 2023
在本论文中,我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题,通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外,我们提供了一种简单的解决方案,通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下,对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题,胜过现有最先进的模型。
Oct, 2023