本文提出了 MatSci-NLP 标准，旨在评估自然语言处理模型在材料科学文本上的性能，其中包括命名实体识别和关系分类等传统 NLP 任务以及涉及创建材料合成程序的特定于材料科学的 NLP 任务。作者的实验结果表明，预先训练的模型对科学文本的理解优于对一般文本的 BERT 模型训练，并提出了一种基于问题回答方法的 NLP 多任务学习方法，其性能优于传统的微调方法。

May, 2023

评估先进的大型语言模型（LLMs）在材料科学领域的科学文档中提取结构化信息的能力，并引入了一种比较分析复杂材料表述的新方法，重点是采用化学式的标准化来解决材料科学信息评估中固有的复杂性。LLMs 在指定的两个关键任务中展现出不同的表现：对于命名实体识别（NER）任务，LLMs 未能超越基准模型和规则基模型，对于关系抽取（RE）任务，经过适当策略的 GPT-3.5-Turbo 优于所有模型，而 GPT-4 和 GPT-4-Turbo 在没有经过任何调优的情况下，在仅提供几个示例的情况下展示出出色的推理和关系抽取能力，超越了基准模型。总体而言，结果表明，虽然 LLMs 在连接概念方面展示出相关的推理能力，但对于需要提取复杂领域特定实体（如材料）的任务来说，专门的模型目前是更好的选择。

Jan, 2024

通过 MatText 套件中的基准测试工具和数据集，我们对语言模型在材料建模方面的性能进行了广泛分析，结果显示这些模型在捕捉关键的材料几何信息方面存在困难，而在某些新颖的表示方法中强调使用局部信息。我们的分析突显出了基于文本方法在材料设计中存在的不足之处。

Jun, 2024

SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

Mar, 2019

本研究旨在通过基于 Social Science Citation Index (SSCI) 期刊发表的摘要的预训练模型来提高自然语言处理任务的性能，目前该模型已在 GitHub 上发布，并在学科分类、摘要结构 - 功能识别和命名实体识别任务中展现出了优秀的性能。

Jun, 2022

利用大型语言模型进行材料属性预测，通过引入模型 MatInFormer，在加工空间群信息的关键词化过程中学习晶体学语法，并通过任务特定数据进一步展示 MatInFormer 的适应性。通过注意力可视化，我们揭示了模型在属性预测过程中重点关注的特征，并在 14 个不同数据集中验证了我们提出模型的有效性，从而强调其在通过准确的材料属性预测进行高通量筛选方面的潜力。

Aug, 2023

我们提出了 MatSciRE（Material Science Relation Extractor），这是一种基于指针网络编码器 - 解码器框架，用于从材料科学文章中共同提取实体和关系的方法。我们针对电池材料的五种关系进行工作 - 电导率，库伦效率，容量，电压和能量。与使用 ChemDataExtractor 的先前尝试相比，我们的方法取得了更好的 F1 分数（0.771）。MatSciRE 的整体图形框架如图 1 所示。通过 MatSciRE 从材料科学文献中以实体 - 关系三元组的形式提取材料信息。

Jan, 2024

我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

Aug, 2023

提供了一个包含 50 篇开放获取文章的新数据集 MuLMS，跨越了材料科学的七个子领域，通过多任务训练与相关资源结合，展示了适用于所有任务的竞争神经模型的效果。

Oct, 2023

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019