Jul, 2024

语言模型环境影响的报告与分析:以常识问答和外部知识为例

TL;DR本研究解决了大型语言模型(LLMs)在提升性能时忽视环境影响的问题。通过将T5 LLM与外部知识相结合,研究评估了模型训练的环境影响,发现小型模型并不总是可持续的,并且提高训练并不总是能够提升性能。此工作强调在深度学习研究中平衡模型性能与环境效率的重要性。