chatIPCC:基于气候科学的会话式人工智能
本研究基于最新的想法,将大型语言模型视为能够访问多个包含有关组织,机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性,该代理可以从ClimateWatch检索排放数据并利用Google搜索。通过将这些资源与LLMs相结合,我们的方法克服了不准确语言的局限性,在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为LLMs的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。
Mar, 2023
本文通过对 CHI 会议记录进行提取,评估了 ChatGPT 和 GPT-4 对成本低廉的抽取式问题回答的实际任务的表现,发现 ChatGPT 和 GPT-4 的组合是分析文本语料库的有效低成本手段,对于 HCI 领域的研究人员,我们提供了90多个研究主题中4392个研究挑战的交互式可视化。
Jun, 2023
ChatGPT是OpenAI创建的一种大型语言模型(LLM),通过大量数据的精心训练,推动了自然语言处理(NLP)的发展,并拓展了LLM的能力边界。本文主要目标是对ChatGPT及其演变的当前研究方向进行简明概述,提供了基于玻璃盒和黑盒观点的综合分析。此概述也揭示了LLM和GAI领域的现有和缺失研究方向,有益于公众用户和开发人员。
Jul, 2023
评估大型语言模型对气候变化主题的能力,从科学沟通原则出发,提供一个全面的评估框架,强调LLM生成结果的呈现和认识适当性,揭示LLM在气候传播领域的潜力和局限性。
Oct, 2023
我们提出了一个基于开源大型语言模型的轻量级阿拉伯迷你气候GPT,该模型经过细调,并利用矢量嵌入检索机制在推理过程中。我们通过定量和定性评估验证了我们提出的模型在与气候相关的查询中的优越性,并通过人工专家评估显示出对我们模型响应的81.6%偏好。
Dec, 2023
该论文介绍了ClimateGPT,这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的3000亿个标记数据集进行两次自训练,其中第一次自训练中包括42亿个领域特定的标记,并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外,还对ClimateGPT-7B、13B和70B模型进行了持续预训练,使用了42亿个领域特定的标记数据集来自Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集,对每个模型进行了指令微调。为了减少虚构数量,我们优化了模型以进行检索增强,并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性,我们建议使用级联机器翻译,并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性,我们考虑了不同的研究视角,因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估LLMs的自动气候专用基准测试。在这些基准测试中,ClimateGPT-7B 在截然不同于的70B Chat模型的情况下表现出色,而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估,并且公开发布。
Jan, 2024
通过历史数据集训练的CHATATC大型语言模型在非安全关键的交通流量管理环境中进行了研究,测试了其查询和回应能力,并详细介绍了用于与CHATATC对话代理进行交互和协作的图形用户界面的设计。
Feb, 2024
通过对多个LLM模型的研究,本文不仅提供了全面的概述,还明确了现有挑战,并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点,为进一步的探索、增强和创新提供了启示。
Mar, 2024
本研究解决了大型语言模型(LLMs)在提升性能时忽视环境影响的问题。通过将T5 LLM与外部知识相结合,研究评估了模型训练的环境影响,发现小型模型并不总是可持续的,并且提高训练并不总是能够提升性能。此工作强调在深度学习研究中平衡模型性能与环境效率的重要性。
Jul, 2024