Oct, 2023

OceanGPT：用于海洋科学任务的大型语言模型

PDF
TL;DROceanGPT 是第一个专注于海洋领域的大型语言模型，通过 DoInstruct 框架和 OceanBench 评测系统，在海洋科学任务上展示了更高水平的知识专业性，并在海洋技术中具备初步的具身智能能力。
ocean sciencelarge language models (llms)oceangptdoinstructoceanbench
发现论文，激发创造
  • MarineGPT：将海洋的秘密解锁给公众

    通过构建多模态联合语义空间，以海洋为专题领域，将 MarineGPT 与海洋相关的图像和文本注入其模型，提供了更敏感、更丰富、更科学的反馈和理解，从而拓展了海洋的了解范围，并为未来的学术和工业研究提供了宝贵的数据和预训练模型。

    Oct, 2023

  • 大型语言模型对科学发现的影响：使用 GPT-4 的初步研究

    近年来，在自然语言处理方面取得突破性进展的大型语言模型（LLM）的出现，展示了其在包括理解、生成和翻译自然语言甚至超越语言处理的任务方面的卓越能力。本文报告中，我们深入研究了 LLM 在科学发现环境中的性能，重点关注 GPT-4，这一最先进的语言模型。我们的调查涉及药物发现、生物学、计算化学（密度泛函理论（DFT）和分子动力学（MD））、材料设计和偏微分方程（PDE）等多个科学领域。评估 GPT-4 在科学任务上的表现对于揭示其在各个研究领域中的潜力、验证其特定领域的专长、加速科学进展、优化资源分配、指导未来模型发展以及促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估，提供对模型理解复杂科学概念和关系的定性洞见，以及偶尔的基准测试，定量评估模型解决明确定义的特定领域问题的能力。我们的初步探索表明，GPT-4 在各种科学应用中展示出有希望的潜力，显示出处理复杂问题解决和知识整合任务的能力。总体而言，我们评估了 GPT-4 的知识库、科学理解、科学数值计算能力以及各种科学预测能力。

    Nov, 2023

  • 为地球科学知识理解与应用构建基础语言模型的学习

    本篇论文中，我们针对地球科学领域开发了第一个大语言模型 K2，并建立了 GeoSignal 数据集用来调整 LLMs 的响应，以及 GeoBenchmark 数据集在地球科学方面对 LLMs 进行评估，并进行了 fine-tuning 操作，实验证明了我们的方法和数据集的有效性。

    Jun, 2023

  • GeoGalactica：地质科学领域的科学大型语言模型

    通过使用大型语言模型 (LLMs) 进行地球科学的进一步预训练和监督微调，我们得到了一个包含 300 亿参数的地球科学领域最大的语言模型 GeoGalactica，并且在技术报告中详细介绍了它的各个方面，包括数据收集、数据清洗、基础模型选择、预训练、微调和评估。

    Dec, 2023

  • GPT4GEO：语言模型如何看待世界地理

    本篇研究探究 GPT-4 模型应用于地理数据场景问题的解决能力，试图了解其是否具备对地理位置、距离、海拔，以及更复杂的问题如国家轮廓、旅游网络、路线规划和供应链分析的理解和解决能力。结果表明该模型在一定程度上具备对世界的认识，但仍存在限制。

    May, 2023

  • SeqGPT：一个开箱即用的开放领域序列理解大语言模型

    SeqGPT 是一种增强的双语模型，专门用于开放领域自然语言理解，通过两个原子任务来表达所有的 NLU 任务并进行指令微调和深度微调，展示了良好的分类和抽取能力，可在未见领域上执行语言理解任务。

    Aug, 2023

  • AcademicGPT：学术研究的赋能

    AcademicGPT 是一个专为学术研究而设计的模型，通过从学术论文、论文、某些学术领域内容、高质量的中文数据等中进行持续训练，展示了其从广泛知识能力、中文能力到学术能力的各项实用能力和多个领域特定的应用。

    Nov, 2023

  • CityGPT：大型语言模型赋能城市空间认知

    CityGPT 是一种用于增强大型语言模型在理解城市空间和解决相关城市任务方面能力的系统框架，通过在模型中构建城市规模的世界模型，并使用包含城市知识的多样化指令调整数据集 CityInstruction 来进行模型微调，实现对城市空间的理解和空间推理能力的有效增强。

    Jun, 2024

  • PatentGPT：一个大规模的知识产权语言模型

    应用大型语言模型在知识产权领域具有挑战性，本研究提出了一种低成本、标准化的过程来训练面向知识产权的语言模型，成功满足了该领域的需求，并证明了在知识产权领域中专门训练的模型的有效性。

    Apr, 2024

  • ClimateGPT：AI 综合气候变化跨学科研究

    该论文介绍了 ClimateGPT，这是一种专门用于综合气候变化领域的大型语言模型家族。该模型通过对科学导向的 3000 亿个标记数据集进行两次自训练，其中第一次自训练中包括 42 亿个领域特定的标记，并且第二次自训练则在预训练之后通过为气候领域进行调整进行。此外，还对 ClimateGPT-7B、13B 和 70B 模型进行了持续预训练，使用了 42 亿个领域特定的标记数据集来自 Llama-2。通过与气候科学家紧密合作创建高质量和人工生成的领域特定数据集，对每个模型进行了指令微调。为了减少虚构数量，我们优化了模型以进行检索增强，并提出了一种层次化检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机器翻译，并证明这种方法在大量语言上可以与本地多语言模型相媲美且更易于扩展。针对气候变化的跨学科特性，我们考虑了不同的研究视角，因此该模型可以在总体答案的基础上产生针对不同视角的深入答案。我们还提出了一套用于评估 LLMs 的自动气候专用基准测试。在这些基准测试中，ClimateGPT-7B 在截然不同于的 70B Chat 模型的情况下表现出色，而在一般领域基准测试上的结果没有下降。我们的人工评估证实了基准测试中看到的趋势。所有模型均是使用可再生能源进行训练和评估，并且公开发布。

    Jan, 2024