评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

Jan, 2024

通过预先训练的语言模型 GPT-3，我们提出了一种简单的序列到序列方法来联合提取科学文本中的复杂层次信息的命名实体识别和关系抽取，并证明了这种方式能够准确提取复杂科学知识的有用记录。

Dec, 2022

我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

Aug, 2023

材料语言处理 (MLP) 是材料科学研究的关键推动者之一，通过从大量的材料科学文献中提取结构化信息，使得研究变得可能。我们开发了基于生成预训练变换器 (GPT) 的流水线工具，其中基于先前 MLP 模型的复杂架构被战略性的提示工程设计所取代。我们的发现证实了 GPT-MLP 模型的潜力以及它们在可靠性和实用性方面的价值，并且我们的科学方法和系统性方法适用于加速科学文献的信息提取的任何材料科学领域。

Aug, 2023

探索 GPT-4 在从科学文献中进行特定模式的信息提取方面的能力，评估其是否能够通过基本的提示方法复制两个已存在的材料科学数据集，从最初手动提取的文稿中提取所需信息，并利用材料科学家的见解进行详细的手动错误分析，以确定模型在提取所需信息时的困难之处，并提出研究方向来解决这个广泛重要的任务。

Jun, 2024

本文主要介绍了一种从研究论文全文中提取材料数据以建立数据库的简单方法，该方法基于自然语言处理和大型通用语言模型，无需编程或模型培训等专业知识，可实现高召回率和几乎完美精度。作者还评估了多种语言模型（GPT-3/3.5，bart 和 DeBERTaV3），并在提取体积模量数据方面取得了良好的表现。最后，作者还通过开发金属玻璃的临界冷却速率数据库展示了该方法可以扩展到其他研究领域。

Feb, 2023

本文介绍了一种基于语义内容表示的学术交流结构化方法，利用 LMMs 的文本生成能力，提供了结构化学术贡献摘要的自动化方法，并在信息提取方面展示了竞争力。

Jan, 2024

在大规模语言模型（LLMs）的研究中，通过对上万份数据进行微调，我们成功构建了一种可以根据元表面几何仅仅通过文本提示就能预测一系列频率范围内的电磁光谱的 LLM 模型。与传统的机器学习方法相比，该模型在所有探索过的数据集大小上均实现了更低的误差，包括深度神经网络。此外，我们还证明了 LLM 通过提供所需的几何形状来解决反问题的能力。因此，我们建议在特定领域的大型数据集上对 LLMs 进行微调，使其能够把握该领域的细微差别，成为研究和分析的有价值工具。

Apr, 2024

GPT-4 在计算材料科学中应用可以解决科学软件采用自定义输入语言的挑战以及由于描述模拟方法不足导致的研究结果复现性差的问题，通过生成正确的输入文件和详细的计算任务描述，减少研究者常规任务、加速新用户培训并提高结果可复现性。

Oct, 2023

我们研究了基于 SMolInstruct 数据集进行 fine-tune 的大型语言模型在化学任务上表现出色，特别是 Mistral 模型，同时，我们还分析了可训练参数的影响，为未来的研究提供了一些见解。

Feb, 2024