本文指出现有软件实现的能量消耗测量并不准确，因为它们没有考虑到硬件差异及资源利用对能量消耗的影响。研究者们通过四个不同的 NLP 模型进行实验测量，并使用硬件电量计对现有能量测量的误差进行了量化。研究者呼吁需要一个更准确的能量估算模型，以考虑硬件差异及资源利用与能量消耗之间的非线性关系。

Oct, 2020

该研究提出了一种基于能量的推断网络方法，训练非自回归机器翻译模型，以最小化预训练的自回归模型定义的能量，实现了在 IWSLT 2014 DE-EN 和 WMT 2016 RO-EN 数据集上非自回归结果的最佳效果。

May, 2020

本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

May, 2022

提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ERNIE 2.0 的表现优于 BERT 和 XLNet。已经在 https://github.com/PaddlePaddle/ERNIE 发布了源代码和预训练模型。

Jul, 2019

本文介绍了一种基于 Web 的语义系统 EneMonIE（通过信息提取监测能源趋势），该系统通过使用从 Web 上获取的不同类型的媒体的自动、持续和有导向性的信息提取，监测最新的能源趋势，并提供各种数字能源数据和媒体的信息处理、展示和信息检索。

Jan, 2022

应用自然语言处理方法，利用三种无监督模型 (Latent Dirichlet Allocation、Word2Vec 和 Transformer) 分析大规模特定主题科学文章的能源相关内容并实现文本的信息提取和知识发现，同时展示了能源材料研究中潜在的主题和概念，并开发了文档分类方法以加速能源研究和材料开发工作。

Feb, 2024

提出了直觉推理网络（IRENE）—— 一种新颖的神经模型，用于关于代理人目标、偏好和行为的直观心理推理，能够将以往的经验推广到新的情境。IRENE 将图神经网络和变形金刚网络相结合，对学习代理人和世界状态进行表示，并在任务环境中编码。在具有挑战性的婴儿直觉基准测试中，IRENE 在其五项任务中取得了最新的最佳性能，提高了高达 48.9%。与现有方法相比，IRENE 能够将偏好绑定到特定代理人上，更好地区分合理和非合理代理人，并更好地理解阻碍物的作用。我们还首次调查了训练任务对测试性能的影响。我们的分析证明了 IRENE 在结合训练中获得的先前知识用于未见评估任务方面的有效性。

Dec, 2023

本文提出了 ERNIE，使用大规模的文本语料库和知识图谱（KGs）同时训练，利用 KGs 中的外部知识来增强语言表征，实验证明在不同知识驱动任务上 ERNIE 显著提高性能，同时在其他常见 NLP 任务上与 BERT 的性能相当。

May, 2019

该研究提出了 ERNIE 3.0 Titan 模型，它是目前最大的中文密集预训练模型，其使用预训练语言模型取得了在 68 个自然语言处理任务上的最佳性能。

Dec, 2021

该论文提出了一种新的软件系统 SONIC，该系统支持 DNN 推理，并引入一种名为 loop continuation 的技术，大幅减少了能量收集系统上正确执行 DNN 推理的成本。实验结果表明，SONIC 和 TAILS 可以实现更高的能量效率，分别将推理能量减少了 6.9 倍和 12.2 倍。

Sep, 2018