提出了一种统一的框架 ERNIE 3.0，用于预训练大规模知识增强模型，利用自回归网络和自编码网络相结合的方法来让训练好的模型适用于自然语言理解和生成任务，结果表明，该模型在 54 个中文 NLP 任务上优于现有技术，英文版本超越人类表现 + 0.8%。

Jul, 2021

提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ERNIE 2.0 的表现优于 BERT 和 XLNet。已经在 https://github.com/PaddlePaddle/ERNIE 发布了源代码和预训练模型。

Jul, 2019

本文介绍了一种面向多语言自然语言和编程语言的语言模型 ERNIE-Code，提供了通用跨语言预训练的两种方法，取得了很好的性能表现，包括零样本提示的跨语言代码摘要和文本翻译。

Dec, 2022

提出了一种增强型的多流序列到序列预训练及微调框架 ERNIE-GEN，用于多种语言生成任务中，实现了比现有预训练方法更高的性能，并且使用更少的预训练数据和参数量。

Jan, 2020

本文提出了 ERNIE，使用大规模的文本语料库和知识图谱（KGs）同时训练，利用 KGs 中的外部知识来增强语言表征，实验证明在不同知识驱动任务上 ERNIE 显著提高性能，同时在其他常见 NLP 任务上与 BERT 的性能相当。

May, 2019

该论文提出 ERNIE-Gram，一种显式 n-gram 屏蔽方法，可以将粗粒度的语言信息有效地融入预训练中，通过在 19 个后续任务上的实验结果表明，ERNIE-Gram 可以大幅优于先前的预训练模型，也可以与最先进的方法相媲美。

Oct, 2020

本文介绍了为改善百度地图上的地理相关任务而设计和开发的基于地理和语言预训练模型 ERNIE-GeoL，通过对一个包含大量地理知识的异构图中生成的大规模数据进行预训练，ERNIE-GeoL 得以学习地理 - 语言的通用表示，并且已自 2021 年 4 月起在百度地图的生产环境中部署，有效提升了各种地理相关任务的性能，从而证明了 ERNIE-GeoL 可作为广泛用于地理相关任务的基础。

Mar, 2022

本研究提出了一种方法，将分布式训练性能纳入模型架构设计中，用于构建 245B 参数的大型单例语言模型 Yuan 1.0，在千万台 GPU 上取得了优异的性能，并在自然语言处理任务中取得了最新成果，同时还建立了当前质量最高的 5TB 中文语料库。此外，本研究还提出了数据处理方法和校准与标签扩展方法，以提高零样本和少样本准确性。Yuan 1.0 表现出强大的自然语言生成能力，其生成的文章很难与人类撰写的文章区分开来。

Oct, 2021

ERNIE 是一种新颖的语言表示模型，通过知识集成增强，它设计了基于实体级屏蔽和短语级屏蔽的屏蔽策略，实验结果证明，ERNIE 在自然语言推理、语义相似性、命名实体识别、情感分析和问答等五个中文自然语言处理任务上均取得了新的最佳表现。

Apr, 2019

本文描述了一种使用最新的中文预训练语言模型 ERNIE 开发和部署检索系统的方法，并通过离线和在线实验表明该系统性能良好，特别是对于那些查询需求不常见的查询，该检索系统可以大大提高搜索引擎的易用性和适用性。

Jun, 2021