本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。
Jun, 2019
使用大型语言模型（LLMs）辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性，将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略，发现模型的响应可用性可以补偿推理成本的巨大差异，并将研究结果推广到更广泛的企业领域。
Jun, 2023
本文介绍了在资源有限的情况下，如何在自然语言处理中提高处理效率的方法和研究方向。
Aug, 2022
本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。
Nov, 2021
本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。
May, 2022
通过提出一个专为大型语言模型量身定制的泛化、评估和成本建模框架，我们认为在部署大型语言模型之前，企业需要仔细评估泛化、评估和成本优化三个因素。
Aug, 2023
本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。
May, 2020
本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。
Mar, 2020
该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。
May, 2024
本文阐述了一种用于生产中的数据高效神经解决方案，其中包含一系列采样和建模技术，以实现仅使用部分数据便可达到轻量级神经网络模型的生成，进而提出了为生成生产级别 NLG 模型的最佳实践方法，可用于自然语言生成中。
Nov, 2020