Jan, 2024
ClimateGPT：AI综合气候变化跨学科研究
ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on
Climate Change
TL;DR该论文介绍了ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的3000亿个标记数据集进行两次自训练，其中第一次自训练中包括42亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对ClimateGPT-7B、13B和70B模型进行了持续预训练，使用了42亿个领域特定的标记数据集来自Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估LLMs的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的70B Chat模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。