Jan, 2024

利用大型语言模型自动核实气候变化声明

PDF
TL;DR本文介绍了一个名为 Climinator 的新型基于人工智能的工具，用于自动化检验气候变化论断。Climinator 利用来自 IPCC 报告和同行评审的科学文献等权威来源的多个大型语言模型，采用创新的调解者 - 拥护者框架，有效综合不同的科学观点，得出坚实、以证据为基础的评估结果。研究结果表明，在从 Climate Feedback 和 Skeptical Science 收集的论断测试中，我们的模型表现出了非凡的准确性。值得注意的是，将气候科学否认观点的拥护者纳入我们的框架中，Climinator 的循环辩论过程可靠地趋于科学共识，突显了其将多样化观点整合为基于科学的事实结论的能力。尽管我们的研究存在一定限制并需要仔细解释，但我们的方法具有重要的潜力。我们希望激发更多的研究，并鼓励在其他领域，包括政治事实检验和法律领域，探索其适用性。
发现论文，激发创造
  • 大型语言模型对气候变化的影响

    这篇论文提出了一个自动评估框架，通过综合指标评估大型语言模型在应对气候危机方面的知识，并发现现有大型语言模型的知识在时效性方面存在不足。

    Dec, 2023

  • 利用气候资源增强大型语言模型

    本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从 ClimateWatch 检索排放数据并利用 Google 搜索。通过将这些资源与 LLMs 相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为 LLMs 的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。

    Mar, 2023

  • 评估大型语言模型对气候信息的应用

    评估大型语言模型对气候变化主题的能力，从科学沟通原则出发，提供一个全面的评估框架，强调 LLM 生成结果的呈现和认识适当性，揭示 LLM 在气候传播领域的潜力和局限性。

    Oct, 2023

  • 大型语言模型中的气候虚假信息去除

    气候变化的误导信息是解决人类面临的最严重威胁之一的关键障碍，本文研究了大型语言模型在气候信息方面的事实准确性。通过使用真假标记的问答数据对语言模型进行微调和评估，比较了开源模型，并评估它们对气候变化问题生成真实回答的能力。我们还研究了故意注入虚假气候信息的模型的可检测性，并发现这种注入可能不会影响模型在其他领域中的回答准确性。此外，我们比较了取消学习算法、微调和检索增强生成（RAG）在事实上对语言模型在气候变化主题上的基础的有效性。我们的评估揭示了取消学习算法对于微妙的概念性主张可能是有效的，尽管之前的研究发现它们在隐私情境下无效。这些见解旨在指导更具事实可靠性的语言模型的发展，并强调了保护语言模型免受误导攻击的额外工作的必要性。

    May, 2024

  • chatIPCC：基于气候科学的会话式人工智能

    通过融合 IPCC AR6 的信息，增强 GPT-4，并使用它来回答三个不同的问答场景中的具有挑战性的问题，我们展示了我们的交互式 AI 原型的能力，并证明了我们的方案的有效性。该方法可很容易地扩展到特定领域中的聊天机器人，实现可靠和准确的信息传递。

    Apr, 2023

  • ClimateGPT：AI 综合气候变化跨学科研究

    该论文介绍了 ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的 3000 亿个标记数据集进行两次自训练，其中第一次自训练中包括 42 亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对 ClimateGPT-7B、13B 和 70B 模型进行了持续预训练，使用了 42 亿个领域特定的标记数据集来自 Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估 LLMs 的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的 70B Chat 模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。

    Jan, 2024

  • CliMedBERT：面向气候和健康相关文本的预训练语言模型

    本文提出了在气候和健康领域开发多个领域特定的语言模型，通过捕捉可用的知识来解决各种任务，从而消除气候变化对人类健康的影响。这是第一篇在这些领域考虑开发多个领域特定语言模型的工作，并将所开发的模型、资源和代码库提供给研究人员。

    Dec, 2022

  • 气候评估中的机器学习模型：LLMs 能准确评估人类专家对气候表述的信心吗？

    通过介绍 ClimateX 数据集，使用最新的 IPCC 报告收集的 8094 个气候陈述和与之相关的置信水平，我们展示了最近的大型语言模型（LLMs）可以在气候相关陈述中对人类专家的置信度进行分类，尤其是在少样本学习环境中，但准确率有限（最多为 47％）。在整体上，模型对低和中置信度陈述表现出一致且显著的过度自信。我们强调了这些结果对气候交流、LLMs 评估策略以及在信息检索系统中使用 LLMs 的影响。

    Nov, 2023

  • ClimateBert：面向气候相关文本的预训练语言模型

    本文研究了预训练语言模型在处理特定领域文本时的缺陷，提出了基于 transformer 的 CLIMATEBERT 语言模型，并证明其在气候相关文本处理任务中显著提升了模型效果。

    Oct, 2021

  • 大型语言模型的自动索赔匹配：在打击虚假信息中赋予事实检查员权力

    通过使用 FACT-GPT 框架，我们介绍了一种自动化事实核查的方法，该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容，无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明，我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美，与人工标注结果密切一致。

    Oct, 2023