此篇论文研究了如何利用来自 Wikipedia 实体的跨语言对齐信息来提高多语言预训练语言模型的效果，并探索了在下游跨语言任务中使用实体表示方法的有效性。

Oct, 2021

本文提出了三种低成本的方法来衡量源预训练和目标任务数据之间的相似性，并在超过 30 个数据对上展示这些方法是好的预测器。结果表明，预训练的语言模型比预训练的词向量更有效，更可预测，但是预训练的词向量在预训练数据不相似时表现更好。

Apr, 2019

本次研究综述了在 NLP 和 CV 领域中，通过注入知识的预训练模型（KEPTMs）在解决预训练模型领域中鲁棒性和可解释性差的问题上取得了重要进展，同时对现有 KEPTMs 进行了系统分类，并提出了未来研究的潜在方向。

Oct, 2021

本文研究预训练语言模型（如 BERT）在零样本的事实推理任务中的知识捕获，提出一种有效的弱监督预训练目标，通过实体知识的显式融入，实现了对真实世界知识的建模，实验结果表明，该模型在答题、实体类型标注等任务上均优于 BERT。

Dec, 2019

使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Aug, 2019

本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

Jan, 2022

我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

Aug, 2022

结合 Transformer 架构和维基百科链接的大规模预训练，我们提出了一个实体链接模型，在 CoNLL 和 TAC-KBP 两个常用实体链接数据集上实现了最先进的 96.7% 和 94.9% 的准确率。通过负实体候选、Transformer 架构选择和数据扰动等方面进行了详细分析，最后在没有领域内训练数据的情况下，给出了更具挑战性设置方面的有希望的结果。

May, 2020

通过在 65 百万个合成问题和 2 亿个来自 Reddit 对话的帖子对大型 bi-encoder 模型进行适当的预训练，可以在信息检索和对话检索基准测试中实现比监督基准线显着更好的表现。

Jul, 2021

使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

Sep, 2019