从文本中学习跨语境实体表示

Jan, 2020

Learning Cross-Context Entity Representations from Text

Jeffrey Ling, Nicholas FitzGerald, Zifei Shan, Livio Baldini Soares, Thibault Févry...

TL;DR通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示，结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示，并在四个领域展示了成功的结果。

Abstract

Language modeling tasks, in which words, or word-pieces, are predicted on the basis of a local context, have been very effective for learning word embeddings and context dependent representations of phrases. Motivated by the observation that efforts to code world knowledge into machine readable knowledge bases or human readable encyclopedias tend to be entit

entity representations neural models entity linking context independent fill-in-the-blank task

发现论文，激发创造

知识增强的上下文词表示

提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

Sep, 2019

通过大规模打标实现可解释的实体表示

本研究提出了一种利用细粒度实体类型推断模型生成具备人类可读性，且能够直接用于实体相关任务的实体表示向量的方法，并针对特定领域实体优化表征，通过少量规则增加领域知识以提高性能。

Apr, 2020

知识库描述中实体和文档的表示学习

本文介绍了 TextEnt，一种神经网络模型，它直接从知识库（KB）中学习实体和文档的分布式表示。通过训练我们的模型来预测文档所描述的实体并将文档和目标实体映射到连续向量空间中，其性能得到了良好的评估。

Jun, 2018

领域无关实体链接的细粒度实体类型划分

该论文介绍了一种可以构建鲁棒实体链接模型的方法，该方法将注意力放在建立细粒度实体属性的模型上，具有更好的泛化性能，使用维基百科类别的大型库存来远程标记数据并训练实体类型模型，使用软类型预测将提及链接到最相似的候选实体上。

Sep, 2019

mLUKE: 多语言预训练语言模型中实体表示的强大力量

此篇论文研究了如何利用来自 Wikipedia 实体的跨语言对齐信息来提高多语言预训练语言模型的效果，并探索了在下游跨语言任务中使用实体表示方法的有效性。

Oct, 2021

利用多任务问答在语言模型中灌输类型知识

该研究论文介绍了一种利用基于类型的问题通过文本预训练在语言模型中灌输细粒度类型知识的方法，并利用知识库文档和知识图谱创建 WikiWiki 数据集来评估性能。该方法在零 - shot 对话状态跟踪基准测试中取得了最先进的表现，可以准确地推断维基百科文章中的实体类型，并能够发现人工评判认为有用的新类型。

Apr, 2022

建模潜在实体类型信息以提升实体链接

提出一种基于 BERT 预训练和实体相似度分数的实体链接模型，通过注入潜在的类型信息到实体嵌入中，并结合一种基于 BERT 的实体相似度分数，显著提高了实体链接模型的性能。

Jan, 2020

语言嵌入：用于语言类型学和跨语言迁移学习

本研究探究是否可以通过学习表示语言之间关系的语言表示来进行跨语言任务，而无需使用平行数据。使用去噪自编码器产生 29 种语言的密集嵌入，并在零样本情况下使用 WALS 和两个外部任务（跨语言依赖解析和跨语言自然语言推理）来评估嵌入。

Jun, 2021

知识库实体的细粒度类型划分的多层次表示

本文研究自然语言中实体的多层表示学习方法，包括字符级、单词级和实体级。我们比较了各级别上的现有学习方法，确认每个级别的表示都提供互补信息，同时提出将三个级别的表示联合起来可以大幅度提高细粒度实体类型识别的性能，而添加实体描述信息能够进一步增强多层次的实体表示。

Jan, 2017

从知识库中学习文本和实体的分布式表示

我们提出了一种神经网络模型，该模型可共同学习文本和知识库实体的分布式表示。我们使用基于维基百科的大量文本和其实体注释来训练模型，并在涉及无监督和有监督设置的三个重要 NLP 任务（即句子文本相似性，实体链接和短问答）上进行了评估。在所有三个任务上，我们都取得了最先进的结果。

May, 2017