DOCENT：从大型文档集合中学习自监督实体表示

ACLFeb, 2021

DOCENT：从大型文档集合中学习自监督实体表示

DOCENT: Learning Self-Supervised Entity Representations from Large Document Collections

Yury Zemlyanskiy, Sudeep Gandhe, Ruining He, Bhargav Kanagal, Anirudh Ravula...

TL;DR本文探讨了从大量相关文本中学习丰富的无监督实体表示。采用我们提出的训练策略，在多项与实体相关的任务中实现了良好的表现，如排序检索、知识库补全、问题回答等，并且无需人类监督。

Abstract

This paper explores learning rich self-supervised entity representations from large amounts of the associated text. Once pre-trained, these models become applicable to multiple entity-centric tasks such as ranked retrieval, knowledge base completion, question answering, and more. Unlike other methods that harvest self-supervision signals based merely on a lo

self-supervised learning entity representation text analysis knowledge base completion natural language processing

发现论文，激发创造

LUKE: 深度上下文化实体表示与实体感知自注意力

本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。

Oct, 2020

利用远程监督联合嵌入实体和文本

本文提出了一种基于远程监督的方法，从未注释的语料库中仅使用实体和表面形式之间的映射列表，联合学习实体和文本的嵌入。与仅依赖于人类注释文本或大型知识图谱结构的先前方法相比，实验结果表明，我们的嵌入可更好地捕捉实体的相似性和关联性。

Jul, 2018

知识库描述中实体和文档的表示学习

本文介绍了 TextEnt，一种神经网络模型，它直接从知识库（KB）中学习实体和文档的分布式表示。通过训练我们的模型来预测文档所描述的实体并将文档和目标实体映射到连续向量空间中，其性能得到了良好的评估。

Jun, 2018

从知识库中学习文本和实体的分布式表示

我们提出了一种神经网络模型，该模型可共同学习文本和知识库实体的分布式表示。我们使用基于维基百科的大量文本和其实体注释来训练模型，并在涉及无监督和有监督设置的三个重要 NLP 任务（即句子文本相似性，实体链接和短问答）上进行了评估。在所有三个任务上，我们都取得了最先进的结果。

May, 2017

从文本中学习跨语境实体表示

通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示，结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示，并在四个领域展示了成功的结果。

Jan, 2020

NewsEmbed: 预训练文档表示模型对新闻进行建模

本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

Jun, 2021

为实体检索学习密集表示

使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

Sep, 2019

SelfDoc: 自我监督文件表示学习

SelfDoc 是一个文档图像理解的任务无关的预训练框架，利用文档的位置、文本和视觉信息，并建模内容块之间的上下文关系，提出了一种新的跨模态学习模型，优于现有模型，同时具有自适应的视觉语言融合机制并应用自监督模型预训练，与以前作品相比，使用较少的文档图片达到更好的性能。

Jun, 2021

双向语言模型的半监督序列标注

本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

Apr, 2017

自然语言处理任务中的迁移学习监督上下文嵌入

本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

Jun, 2019