本文提出了在气候和健康领域开发多个领域特定的语言模型，通过捕捉可用的知识来解决各种任务，从而消除气候变化对人类健康的影响。这是第一篇在这些领域考虑开发多个领域特定语言模型的工作，并将所开发的模型、资源和代码库提供给研究人员。

Dec, 2022

本文运用最先进的 NLP 技术，对财务报告中的气候相关风险进行检测，通过调整 BERT 和 ClimateBert 两种 transformer 模型的 fine-tuning 过程，利用 Clima-Text 数据库，筛选出了 ClimateBert 在检测气候风险方面表现最佳，是投资者、机构代理人和公司监控财务报告中披露的气候风险的优秀工具。

Mar, 2023

该论文介绍了 ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的 3000 亿个标记数据集进行两次自训练，其中第一次自训练中包括 42 亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对 ClimateGPT-7B、13B 和 70B 模型进行了持续预训练，使用了 42 亿个领域特定的标记数据集来自 Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估 LLMs 的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的 70B Chat 模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。

Jan, 2024

本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从 ClimateWatch 检索排放数据并利用 Google 搜索。通过将这些资源与 LLMs 相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为 LLMs 的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。

Mar, 2023

这篇论文提出了一个自动评估框架，通过综合指标评估大型语言模型在应对气候危机方面的知识，并发现现有大型语言模型的知识在时效性方面存在不足。

Dec, 2023

本文提出了 Climate Change Benchmark（ClimaBench），这是一个用于系统评估 CC NLU 任务模型性能的基准收集现有不同数据集的基准。我们从公开可用的环境披露中筛选了两个大规模的标记文本分类和问答数据集，并提供了数据分析。

Jan, 2023

评估大型语言模型对气候变化主题的能力，从科学沟通原则出发，提供一个全面的评估框架，强调 LLM 生成结果的呈现和认识适当性，揭示 LLM 在气候传播领域的潜力和局限性。

Oct, 2023

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019

本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

Aug, 2019

SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

Mar, 2019