我们提出了一种神经网络模型,该模型可共同学习文本和知识库实体的分布式表示。我们使用基于维基百科的大量文本和其实体注释来训练模型,并在涉及无监督和有监督设置的三个重要 NLP 任务(即句子文本相似性,实体链接和短问答)上进行了评估。在所有三个任务上,我们都取得了最先进的结果。
May, 2017
本文介绍了 TextEnt,一种神经网络模型,它直接从知识库(KB)中学习实体和文档的分布式表示。通过训练我们的模型来预测文档所描述的实体并将文档和目标实体映射到连续向量空间中,其性能得到了良好的评估。
Jun, 2018
本文提出了一种基于概率图模型的联合实体消岐方法,充分利用了文档级别实体共现和上下文信息,避免昂贵的训练过程和专业特征工程,通过节点置信传递来做近似推断,能够在实时场景中快速高效地工作,对多种基准数据集进行了准确性测试,表现与现有先进方法相当甚至更好。
Sep, 2015
该论文介绍了一种以实体为中心的神经体系结构,用于生成数据到文本的任务,并通过在 RotoWire 基准和棒球领域的新数据集上进行的实验,表明该模型在自动和人类评估上优于竞争基线。
Jun, 2019
本文提出了一种新颖的基于注意力机制的神经网络模型,用于精细分类实体类型,与以前的模型不同的是,我们的模型递归地构建实体提及上下文的表示。我们的模型在著名的 FIGER 数据集上实现了 74.94% 的松散微平均 F1 分数,相对提高了 2.59%。我们还研究了我们的模型中注意机制的行为,并观察到它可以学习表明实体精细类别成员资格的上下文语言表达式。
Apr, 2016
本研究基于深度单妻神经网络模型,将实体及其语法变化的语义信息嵌入到嵌入向量中,以实现对大型参考集的新实体实现快速映射,并在挑战性的生物实体规范化数据集中证明了框架的有效性。
Nov, 2018
提出了一种新的文本分类和排序框架,该框架可以自动化地识别政治辩论和演讲文本中值得核查的句子,这种框架结合了句子的语义分析和通过句子中已识别的实体获得的额外实体嵌入,使用五种不同的语言模型、六种不同的知识图谱嵌入模型以及两种组合方法实例化,然后进行了广泛的评估,结果显示神经语言模型明显优于传统的 TF.IDF 和 LSTM 方法,其中 ALBERT 模型始终是所有测试的神经语言模型中最有效的模型,实体嵌入与知识图谱嵌入一起使用明显优于现有基于句子实体之间相似性和相关性分数的文献方法。
Nov, 2022
本文提出了一种基于实体类型信息构建判别式语言模型的新方法,并提供了两个基于食谱和 Java 编程代码的基准数据集来评估所提出的模型。实验结果表明,相比现有的语言模型,我们的模型在食谱生成和代码生成方面的困惑度分别达到 52.2%和 22.06%的显著提高。
May, 2018
我们提出了一种基于聚类的主题建模方法,使用概念实体作为语言无关的表示,并使用图神经网络从百科全书语料库和知识库中提取实体的向量表示,该方法在连贯性度量方面始终优于其他主题模型。
Jan, 2023
本文研究了使用链接实体以指导神经文本摘要器生成简洁更好摘要的方法,并提出了 Entity2Topic (E2T) 方法。通过 E2T 应用于基于 Aufmerksamkeit 机制的简单序列到序列模型,在 Gigaword 和 CNN 摘要数据集上至少获得 2 个 ROUGE 点的显著性能提升。