近年来，在自然语言处理方面取得突破性进展的大型语言模型（LLM）的出现，展示了其在包括理解、生成和翻译自然语言甚至超越语言处理的任务方面的卓越能力。本文报告中，我们深入研究了 LLM 在科学发现环境中的性能，重点关注 GPT-4，这一最先进的语言模型。我们的调查涉及药物发现、生物学、计算化学（密度泛函理论（DFT）和分子动力学（MD））、材料设计和偏微分方程（PDE）等多个科学领域。评估 GPT-4 在科学任务上的表现对于揭示其在各个研究领域中的潜力、验证其特定领域的专长、加速科学进展、优化资源分配、指导未来模型发展以及促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估，提供对模型理解复杂科学概念和关系的定性洞见，以及偶尔的基准测试，定量评估模型解决明确定义的特定领域问题的能力。我们的初步探索表明，GPT-4 在各种科学应用中展示出有希望的潜力，显示出处理复杂问题解决和知识整合任务的能力。总体而言，我们评估了 GPT-4 的知识库、科学理解、科学数值计算能力以及各种科学预测能力。

Nov, 2023

本文提出了一种基于大型语言模型的框架（MolReGPT），通过检索式提示范式在上下文中进行少量评估，并利用分子相似性原理从本地数据库检索类似分子及其文本描述来启用 LLMS，用于分子说明翻译以促进分子发现

Jun, 2023

利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

Sep, 2023

评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

Jan, 2024

我们研究了基于 SMolInstruct 数据集进行 fine-tune 的大型语言模型在化学任务上表现出色，特别是 Mistral 模型，同时，我们还分析了可训练参数的影响，为未来的研究提供了一些见解。

Feb, 2024

GPT-4 在计算材料科学中应用可以解决科学软件采用自定义输入语言的挑战以及由于描述模拟方法不足导致的研究结果复现性差的问题，通过生成正确的输入文件和详细的计算任务描述，减少研究者常规任务、加速新用户培训并提高结果可复现性。

Oct, 2023

PharmGPT is a suite of multilingual LLMs specifically trained on a comprehensive corpus tailored to the Bio-Pharmaceutical and Chemical sectors, demonstrating exceptional capability in domain-specific tasks, addressing the existing gap in specialized language modeling, and paving the way for more effective applications of NLP in specialized domains.

Jun, 2024

利用 MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

Jun, 2024

基于大型语言模型（LLMs）的研究和应用在生物信息学领域有着巨大潜力和效力，该研究通过分析各种关键生物信息学任务，证明了 LLMs（如 GPT 变体）在给定适当提示的情况下可以成功处理大多数任务，同时也分析了在复杂生物信息学任务中的局限性。

Feb, 2024

ChemLLM 是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。

Feb, 2024