Dec, 2022

CliMedBERT：面向气候和健康相关文本的预训练语言模型

PDF
TL;DR本文提出了在气候和健康领域开发多个领域特定的语言模型，通过捕捉可用的知识来解决各种任务，从而消除气候变化对人类健康的影响。这是第一篇在这些领域考虑开发多个领域特定语言模型的工作，并将所开发的模型、资源和代码库提供给研究人员。
climate changehuman healthevidence-based policieslanguage modelsdomain-specific
发现论文，激发创造
  • ClimateBert：面向气候相关文本的预训练语言模型

    本文研究了预训练语言模型在处理特定领域文本时的缺陷，提出了基于 transformer 的 CLIMATEBERT 语言模型，并证明其在气候相关文本处理任务中显著提升了模型效果。

    Oct, 2021

  • 利用气候资源增强大型语言模型

    本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从 ClimateWatch 检索排放数据并利用 Google 搜索。通过将这些资源与 LLMs 相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为 LLMs 的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。

    Mar, 2023

  • ClimateGPT：AI 综合气候变化跨学科研究

    该论文介绍了 ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的 3000 亿个标记数据集进行两次自训练，其中第一次自训练中包括 42 亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对 ClimateGPT-7B、13B 和 70B 模型进行了持续预训练，使用了 42 亿个领域特定的标记数据集来自 Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估 LLMs 的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的 70B Chat 模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。

    Jan, 2024

  • 大型语言模型对气候变化的影响

    这篇论文提出了一个自动评估框架，通过综合指标评估大型语言模型在应对气候危机方面的知识，并发现现有大型语言模型的知识在时效性方面存在不足。

    Dec, 2023

  • 评估大型语言模型对气候信息的应用

    评估大型语言模型对气候变化主题的能力，从科学沟通原则出发，提供一个全面的评估框架，强调 LLM 生成结果的呈现和认识适当性，揭示 LLM 在气候传播领域的潜力和局限性。

    Oct, 2023

  • 阿拉伯迷你气候 GPT：定制的阿拉伯气候变化与可持续性文本生成模型

    我们提出了一个基于开源大型语言模型的轻量级阿拉伯迷你气候 GPT，该模型经过细调，并利用矢量嵌入检索机制在推理过程中。我们通过定量和定性评估验证了我们提出的模型在与气候相关的查询中的优越性，并通过人工专家评估显示出对我们模型响应的 81.6% 偏好。

    Dec, 2023

  • 使用 ClimaText 微调 ClimateBert Transformer 进行气候相关金融风险披露分析

    本文运用最先进的 NLP 技术，对财务报告中的气候相关风险进行检测，通过调整 BERT 和 ClimateBert 两种 transformer 模型的 fine-tuning 过程，利用 Clima-Text 数据库，筛选出了 ClimateBert 在检测气候风险方面表现最佳，是投资者、机构代理人和公司监控财务报告中披露的气候风险的优秀工具。

    Mar, 2023

  • 大型语言模型中的气候虚假信息去除

    气候变化的误导信息是解决人类面临的最严重威胁之一的关键障碍，本文研究了大型语言模型在气候信息方面的事实准确性。通过使用真假标记的问答数据对语言模型进行微调和评估，比较了开源模型，并评估它们对气候变化问题生成真实回答的能力。我们还研究了故意注入虚假气候信息的模型的可检测性，并发现这种注入可能不会影响模型在其他领域中的回答准确性。此外，我们比较了取消学习算法、微调和检索增强生成（RAG）在事实上对语言模型在气候变化主题上的基础的有效性。我们的评估揭示了取消学习算法对于微妙的概念性主张可能是有效的，尽管之前的研究发现它们在隐私情境下无效。这些见解旨在指导更具事实可靠性的语言模型的发展，并强调了保护语言模型免受误导攻击的额外工作的必要性。

    May, 2024

  • 开发医疗语言模型嵌入空间

    我们探索专门为不同医疗数据集调整较小的大型语言模型（LLMs）的专业预训练方法。我们通过传统的掩码语言建模、无监督文本表示的深度对比学习（DeCLUTR）以及利用医疗设置中的元数据类别的新型预训练目标进行了评估。对每个数据集进行了对下游文档分类任务的评估，并分析了生成的嵌入空间。对比训练的模型在分类任务上表现优于其他方法，以有限的标记数据实现了强大性能，并且所需的模型参数更新更少。虽然基于元数据的预训练无法进一步改进数据集上的分类，但它提供了有趣的嵌入簇可分离性。所有领域适应的 LLMs 在性能上均优于公开可用的通用基础 LLM，验证了领域专业化的重要性。这项研究展示了在有限的计算预算下将医疗能力注入紧凑的 LLMs 的高效方法，这是在本地医疗环境中负责任和可持续部署的关键能力。我们提供专门针对医疗 LLMs 的预训练指南，推动对对比目标的持续研究，并演示了将小型 LLMs 与涉及隐私敏感的医疗任务保持一致的适应技术。

    Mar, 2024

  • 从文本到转型：大型语言模型多功能性的全面评述

    这项开创性的研究探讨了大型语言模型（LLMs）如生成式预训练变换器（GPT）和双向编码器表示来自变换器（BERT）在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理（NLP）方面已经展现出卓越的能力，但这些 LLMs 在健身、整体福祉、城市规划、气候建模以及灾害管理等领域尚未得到系统性的研究，本综述除了提供对 LLMs 在不同领域的广泛应用进行全面分析外，还揭示了 LLMs 潜力尚未被利用的研究空白和领域。这项研究发现了 LLMs 在健身福祉、城市规划、气候建模和灾害响应等领域留下印记的创新方式，可以激发未来在这些领域的研究和应用。

    Feb, 2024