提出了一种新的多语言实体链接公式，其中语言特定的提及解析为面向语言不可知的知识库。 在改进特征表示，负面挖掘和辅助实体配对任务的先前工作的基础上，我们在这个新的环境中训练了一个双编码器，以获得单个实体检索模型，它涵盖了 100 多种语言和 2000 万个实体。该模型胜过了远远有限的跨语言链接任务的最新结果。 这个大规模的系统面临着罕见实体和低资源语言的挑战，因此我们主张增加对零点和少量射击评估的关注。 为此，我们提供了 Mewsli-9，一个新的大型多语言数据集，帮助我们了解基于频率的分析如何为我们的模型和训练增强提供关键见解。

Nov, 2020

本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。

Oct, 2020

使用 LEIA 方法结合维基百科实体名称对目标语言语料进行增强，并通过从左到右的语言建模训练模型，以提升跨语言问答的性能表现。

Feb, 2024

通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示，结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示，并在四个领域展示了成功的结果。

Jan, 2020

本文研究使用基于嵌入的方法将不同语言的实体编码到同一向量空间中，并提出使用预训练的多语言 BERT 模型来融合各个语言中的实体描述，以寻找源语言和目标语言之间相应实体的方法。结果表明，该方法在两个基准数据集上明显优于现有系统。

Oct, 2019

本研究提出了一种新的跨语言词和实体联合表示学习方法，通过多语言知识库进行远程监督，利用两种正则化方法和知识和跨语言关注降低噪声， 实验结果定性和定量证明了该方法的显著性。

Nov, 2018

本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

Mar, 2019

我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

Aug, 2022

本文提出一种神经实体链接模型，通过多种角度训练查询和候选文档之间的细粒度相似性和不相似性，并结合卷积和张量网络，在多语言语境下实现跨语言实体链接，并证明该英文训练的系统可以通过使用多语言嵌入进行零 - shot 学习。该提议系统在英语以及跨语言测试中取得 state-of-the-art 的结果 (例如：西班牙语和汉语 TAC 的 2015 数据集)。

Dec, 2017

本文提出了一种基于多语言训练的实体和关系抽取框架 (mERE)，使用两阶段多语言训练方法和多语言实体、关系抽取联合模型，通过语言通用聚合器 (LA) 和语言特定切换器 (LS) 分别缓解语言干扰并提高关系三元组的抽取效果，实验结果表明该方法优于单语言和多语言基线模型。

Jan, 2023