该论文介绍了 Galactica: 一个可以存储、组合和推理科学知识的大型语言模型。通过在大量科学文章、参考资料、知识库和其他来源上的模型训练，我们在多个科学任务上超越了现有模型。这表明了语言模型作为科学新接口的潜力。

Nov, 2022

本篇论文中，我们针对地球科学领域开发了第一个大语言模型 K2，并建立了 GeoSignal 数据集用来调整 LLMs 的响应，以及 GeoBenchmark 数据集在地球科学方面对 LLMs 进行评估，并进行了 fine-tuning 操作，实验证明了我们的方法和数据集的有效性。

Jun, 2023

在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

Oct, 2023

OceanGPT 是第一个专注于海洋领域的大型语言模型，通过 DoInstruct 框架和 OceanBench 评测系统，在海洋科学任务上展示了更高水平的知识专业性，并在海洋技术中具备初步的具身智能能力。

Oct, 2023

AstroLLaMA 是一个从 LLaMA-2 微调而来的 70 亿参数模型，通过使用 arXiv 上的 30 万篇天文学摘要进行微调，优化传统的因果语言建模，在困惑度上比 Llama-2 低 30%。尽管参数数量显著较少，我们的模型生成的文本补全和嵌入提取比当前的基础模型更富有见解和科学相关性。AstroLLaMA 作为一个具有广泛微调潜力的稳健的领域专用模型，其公开发布旨在推动天文学研究，包括自动论文摘要和对话系统开发。

Sep, 2023

本文采用 OpenAI GPT-4 大型语言模型进行天文论文的上下文引导交互，并利用蒸馏技术最优化输入效率。通过 10 个蒸馏文档的多文献语境去探索模型的反应，结果表明 GPT-4 能够提供具有相关研究成果框架背景下的详细答案，对天文学界提供了潜力巨大的应用前景，特别是猜测生成方面的可能性。

Apr, 2023

利用紧凑的 7B 参数的 LLaMA-2 模型来提升天文学问题回答的性能，通过有针对性、持续的预训练，在天文学语料库的精心筛选子集中取得了显著的专业主题理解提升，结果表明有限的资源下的持续预训练仍然可以提高模型在专业主题上的性能，该模型已经作为首个针对天文学社区的开源对话式人工智能工具发布，名称为 AstroLLaMA-Chat。

Jan, 2024

基于大型语言模型 (LLM) 的代理机制在航天领域中发挥重要作用，首次将 LLM 代理引入航天研究，通过提示工程、少样本提示和微调技术开发了有效的 LLM 代理，并在挑战赛中获得第二名。

Mar, 2024

该研究对 250 个科学领域的大型语言模型进行了全面调研，揭示了它们在架构和预训练技术上的交叉领域和跨模态连接，并总结了每个领域和模态的预训练数据集和评估任务。此外，还研究了大型语言模型在科学发现中的应用。

Jun, 2024

大型语言模型 (LLMs) 在增强自然语言理解方面具有变革性的力量，代表着朝着人工通用智能迈出的重要一步。科学 LLMs 是一个新兴的领域，专门针对促进科学发现进行工程化设计。本文详细调查了科学 LLMs，并围绕生物化学领域进行了深入研究，包括文本知识、小型分子、大分子蛋白质、基因组序列以及它们的组合，从模型架构、能力、数据集和评估等方面进行了分析。最后，我们批判性地审查了当前的挑战，并指出了前景广阔的研究方向以及 LLMs 的进展。通过提供对该领域技术发展的全面概述，本调查力求成为研究人员在科学 LLMs 复杂领域中的宝贵资源。

Jan, 2024