Jul, 2024

评估GPT-4o在气候变化证据综合和系统评估中的有效性：初步洞察

HTML
PDF
TL;DR我们研究了使用GPT-40，一种先进的大型语言模型（LLM），进行证据综述和系统评估任务的潜力。我们评估了GPT-40在全球适应性映射计划（GAMI）数据集中执行这些任务的有效性，结果表明在低专业的任务中，如地理位置识别，GPT-40可以达到很高的准确性，然而在中级和高级专业任务中，如利益相关方识别和适应性响应深度评估，其性能则不可靠。这些发现促进了设计评估工作流程的需求，既利用了GPT-40等模型的优点，也提供了改进它们在这些任务上表现的细化方法。
发现论文，激发创造
  • 利用气候资源增强大型语言模型

    本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从ClimateWatch检索排放数据并利用Google搜索。通过将这些资源与LLMs相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为LLMs的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。

    Mar, 2023

  • GPT4GEO：语言模型如何看待世界地理

    本篇研究探究 GPT-4 模型应用于地理数据场景问题的解决能力，试图了解其是否具备对地理位置、距离、海拔，以及更复杂的问题如国家轮廓、旅游网络、路线规划和供应链分析的理解和解决能力。结果表明该模型在一定程度上具备对世界的认识，但仍存在限制。

    May, 2023

  • 大型语言模型的关键评述：敏感性、偏见和专用人工智能之路

    该研究比较了一个专门编译的语言模型和通用模型（如OpenAI的GPT-3.5）在检测文本数据中可持续发展目标（SDGs）方面的效果。通过对大型语言模型（LLMs）进行关键性回顾，探讨了与偏见和敏感性相关的挑战。强调了需要专门的训练来进行准确、无偏的分析。使用公司描述数据集的案例研究揭示了GPT-3.5和专门的SDG检测模型之间的差异。虽然GPT-3.5具有更广泛的覆盖范围，但可能针对公司活动的相关性有限地识别出SDGs。相反，专门的模型更专注于高度相关的SDGs。强调了深思熟虑的模型选择的重要性，考虑任务需求、成本、复杂性和透明度。尽管LLMs非常灵活，但建议在需要精确性和准确性的任务中使用专门的模型。研究最后鼓励进一步研究在LLMs的能力与领域特定专业知识和可解释性之间找到平衡。

    Jul, 2023

  • 评估大型语言模型对气候信息的应用

    评估大型语言模型对气候变化主题的能力，从科学沟通原则出发，提供一个全面的评估框架，强调LLM生成结果的呈现和认识适当性，揭示LLM在气候传播领域的潜力和局限性。

    Oct, 2023

  • ClimateGPT：AI综合气候变化跨学科研究

    该论文介绍了ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的3000亿个标记数据集进行两次自训练，其中第一次自训练中包括42亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对ClimateGPT-7B、13B和70B模型进行了持续预训练，使用了42亿个领域特定的标记数据集来自Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估LLMs的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的70B Chat模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。

    Jan, 2024

  • WildfireGPT: 针对火灾分析定制的大型语言模型

    WildfireGPT是一个使用大规模语言模型的原型代理软件，为决策者和政策制定者提供有关野火风险的详细、用户特定的见解，其中包括大规模语言模型、野火细节、气候变化、可操作见解和野火风险。

    Feb, 2024

  • 使用大型语言模型进行系统综述中的数据提取探索：快速可行性研究

    该文章介绍了使用GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估LLM-based自动化工具方面仍然存在欠缺的问题。

    May, 2024

  • 大型语言模型作为科学综合评估器

    研究探讨了大型语言模型（如GPT-4和Mistral）如何评估科学摘要（或更适合称为科学综述）的质量，将它们的评估与人工标注者的评价进行比较。通过使用包含100个研究问题及其由GPT-4从五篇相关论文摘要生成的综述的数据集，并与人工质量评分进行核查，该研究评估了闭源的GPT-4和开源的Mistral模型评估这些摘要，并提供其判断的理由。初步结果显示，大型语言模型可以提供与质量评分相对应的逻辑解释，但更深入的统计分析显示大型语言模型与人工评分之间存在较弱的相关性，这表明了大型语言模型在科学综述评估中的潜力和当前的局限性。

    Jul, 2024

  • 评估大型语言模型在可持续发展目标映射中的性能

    本研究针对大型语言模型（LLMs）在可持续发展目标（SDG）映射任务中的表现进行了比较，填补了对多种开源模型在这一领域表现的评估空白。研究采用多种评估指标（如F1分数、精准率和召回率）对模型性能进行了深入分析，结果显示LLaMA 2和Gemma仍需显著改进，而其他模型表现差异不大。此项研究为选择适合的语言模型提供了实证依据，促进了SDG映射的进展。

    Aug, 2024

  • 评估生成语言模型在分类任务中的表现：环境与气候变化领域的性能及自我评估能力

    本研究解决了生成语言模型在环境与气候变化领域分类任务中的表现差距，比较了大型语言模型（LLMs）和小型语言模型（SLM）与BERT基线模型的有效性。研究发现，尽管BERT模型表现优越，生成模型仍显示出显著的性能，并通过自我评估分析揭示了模型在不同任务中的校准能力，为理解生成语言模型在应对生态与气候变化方面的应用提供了新见解。

    Aug, 2024