材料信息学变压器：一种用于可解释材料性质预测的语言模型

Aug, 2023

材料信息学变压器：一种用于可解释材料性质预测的语言模型

Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

Hongshuo Huang, Rishikesh Magar, Changwen Xu, Amir Bariti Farimani

TL;DR利用大型语言模型进行材料属性预测，通过引入模型 MatInFormer，在加工空间群信息的关键词化过程中学习晶体学语法，并通过任务特定数据进一步展示 MatInFormer 的适应性。通过注意力可视化，我们揭示了模型在属性预测过程中重点关注的特征，并在 14 个不同数据集中验证了我们提出模型的有效性，从而强调其在通过准确的材料属性预测进行高通量筛选方面的潜力。

Abstract

Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for →

large language models material property prediction matinformer crystallography metal-organic frameworks

发现论文，激发创造

一般性用途的无机材料属性预测机器学习框架

该研究论文介绍了一种新的机器学习框架，用于从现有的材料数据中提取预测模型，方法是使用具有化学多样性的属性列表，并将数据集分成相似材料组，提高预测准确度，可用于预测晶态和非晶材料的多种属性。

Jun, 2016

大语言模型时代的材料科学：一个观点

我们提供一个对大型语言模型在材料科学研究中的适用性的观点，认为它们处理一系列任务和学科中的模糊需求的能力使它们成为帮助研究人员的强大工具。我们定性地研究了基础的大型语言模型理论，并将其与文献中的相关性质和技术联系起来，然后提供了两个案例研究，展示了它们在大规模任务自动化和知识提取中的应用。我们认为，在当前的发展阶段，大型语言模型应该被视为能够加速和统一领域探索的不知疲倦的工具，而不是新见解的神谕。希望本文能让材料科学研究人员了解到运用这些工具的相关概念。

Mar, 2024

生物和仿生材料力学的对话式大型语言模型 BioinspiredLLM

通过自动回归变换器大型语言模型 BioinspiredLLM，我们可以加速发现并指导研究，通过该模型可以提供信息回忆、协助研究任务和推动创造力等功能，同时它还能与其他生成式人工智能模型协作，重塑传统材料设计流程。

Sep, 2023

MatSciBERT：用于文本挖掘和信息提取的材料领域语言模型

本文介绍了在材料科学文献数据的基础上训练的一种面向材料科学领域的语言模型 MatSciBERT，并对其在抽象分类、命名实体识别和关系提取等领域的性能进行了评价。结果表明 MatSciBERT 在这些任务中具有优异的表现，可用于提取材料领域的信息以推动材料的发现或优化。同时我们提供 MatSciBERT 的预训练和微调权重，以及模型的免费访问权。

Sep, 2021

LLMatDesign：基于大型语言模型的自主材料发现

LLMatDesign 是一个基于大型语言模型的可解释材料设计框架，通过使用 LLM 代理来翻译人类指令、修改材料并使用提供的工具评估结果，以零样本的方式适应新任务和条件，通过在几个材料设计任务上系统评估证实其在小数据领域中开发具有用户定义目标属性的新材料的有效性，展示了在计算环境中基于自主 LLM 引导的材料发现对于未来的自动化实验室的显著潜力。

Jun, 2024

利用语言表示进行物料推荐、排序与探索

通过使用来自材料科学特定语言模型的自然语言嵌入作为成分和结构特征的表示方法，我们介绍了一种材料发现框架，并将其应用于热电材料，展示了原型结构的多样化推荐和识别出了未充分研究的高性能材料空间，其中包括卤化物钙钛矿、德拉福石和尖晶石结构。

May, 2023

LLM 是否准备好面对现实世界的材料探索？

基于材料科学知识和假设生成及假设测试，我们描述了材料科学 LLMs 的框架，以及构建大规模多模态数据集的挑战和应用 MatSci-LLMs 进行材料发现的路线图。

Feb, 2024

基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

Oct, 2023

转移分子基础模型以预测聚合物性质

使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型，可以达到与在扩增聚合物数据集训练的模型相当的准确性，对于一系列基准预测任务来说。

Oct, 2023

通过潜在空间融合提高分子属性预测

本文提出了一种多视图方法，将来自最先进化学模型的潜在空间进行结合，其中使用了基于 MHG-GNN 的嵌入（将分子结构表示为图形）和根植于化学语言的 MoLFormer 嵌入。我们通过在六个基准数据集上评估该方法，证明了我们所提出的多视图方法在预测临床试验药物毒性和抑制 HIV 复制等复杂任务上，优于现有的最先进方法，包括在 11 亿个分子上进行训练的 MoLFormer-XL。研究结果突显了潜在空间融合和特征整合在推进分子属性预测方面的潜力。

Oct, 2023