本文介绍了将预训练语言模型（PLMs）引入搜索引擎的相关技术及其在实际应用中所面临的问题，使用 ERINE 语言模型以及创新的预训练策略、调整排列信号的方法，成功提高搜索引擎的性能。

May, 2021

本文介绍了为改善百度地图上的地理相关任务而设计和开发的基于地理和语言预训练模型 ERNIE-GeoL，通过对一个包含大量地理知识的异构图中生成的大规模数据进行预训练，ERNIE-GeoL 得以学习地理 - 语言的通用表示，并且已自 2021 年 4 月起在百度地图的生产环境中部署，有效提升了各种地理相关任务的性能，从而证明了 ERNIE-GeoL 可作为广泛用于地理相关任务的基础。

Mar, 2022

本文提出了 ERNIE，使用大规模的文本语料库和知识图谱（KGs）同时训练，利用 KGs 中的外部知识来增强语言表征，实验证明在不同知识驱动任务上 ERNIE 显著提高性能，同时在其他常见 NLP 任务上与 BERT 的性能相当。

May, 2019

ERNIE 是一种新颖的语言表示模型，通过知识集成增强，它设计了基于实体级屏蔽和短语级屏蔽的屏蔽策略，实验结果证明，ERNIE 在自然语言推理、语义相似性、命名实体识别、情感分析和问答等五个中文自然语言处理任务上均取得了新的最佳表现。

Apr, 2019

提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ERNIE 2.0 的表现优于 BERT 和 XLNet。已经在 https://github.com/PaddlePaddle/ERNIE 发布了源代码和预训练模型。

Jul, 2019

提出了一种统一的框架 ERNIE 3.0，用于预训练大规模知识增强模型，利用自回归网络和自编码网络相结合的方法来让训练好的模型适用于自然语言理解和生成任务，结果表明，该模型在 54 个中文 NLP 任务上优于现有技术，英文版本超越人类表现 + 0.8%。

Jul, 2021

本文提出了一种新的框架 Uni-Retriever，通过知识蒸馏和对比学习的方式，联合进行高相关性和高 CTR 检索的多目标学习过程，以生成嵌入式向量进行嵌入式检索，该检索方式可以实现广告检索的两个目标。经多项测试验证，该方法显著提高了 Bing 检索系统的检索效果。

Feb, 2022

使用 NLP 和多模式学习，该论文介绍了如何通过搜索引擎检索来增强预训练模型，从而在测试时从互联网中检索到有用的数据，并更新模型以解决模型的不确定性，取得了零样本性能的显著改进。

Nov, 2023

该研究提出了 ERNIE 3.0 Titan 模型，它是目前最大的中文密集预训练模型，其使用预训练语言模型取得了在 68 个自然语言处理任务上的最佳性能。

Dec, 2021

ERNIE 团队在 SemEval-2020 的任务 10 中取得第一名，提出了一种利用无监督预训练模型并在任务中进行微调的方法来寻找给定句子中最重要的单词，并证明这种方法可以通过额外的特征工程和数据增强来提高表现。最终他们的模型取得了 0.823 的最高分，在所有指标上位居第一。

Sep, 2020