Mar, 2024

AlloyBERT：利用大型语言模型进行合金性能预测

PDF
TL;DR使用文本输入预测合金的弹性模量和屈服强度，AlloyBERT 是一种基于变压器编码器的模型，使用 RoBERTa 作为基础，通过自注意机制建立单词之间的关联，实现对合金属性的预测。
alloyspredictive techniquesalloyberttransformer encoder-based modeltext-based prediction
发现论文，激发创造
  • 用单个深度学习模型预测晶体的多个性质

    本研究介绍了一种基于 Transformer 的适应性框架 CrystalBERT，该框架整合了空间群、元素和晶胞信息，能够准确预测各种物理重要性质，包括拓扑性质和超导过渡温度等，同时提供具有洞察力的对目标物性影响最显著的特征的物理解释。通过结合各种特征，模型在拓扑分类中实现了 91% 的高准确率，超过以往研究，并识别了先前被错误分类的拓扑材料，进一步证明了我们模型的有效性。

    May, 2024

  • PeptideBERT: 基于 Transformers 的肽性质预测语言模型

    通过使用 Transformer 和 PeptideBERT 等 Language Models，本研究引入一种蛋白质语言模型，用于预测多肽的溶血性、溶解度和非粘附性等关键性质，并在此基础上获得了近期最佳结果。

    Aug, 2023

  • 基于 Bert、Roberta 和 Xlnet 的分子性质预测集成模型

    提出了一种新的方法，通过集成学习和 BERT、RoBERTa 和 XLNet 的监督微调，无需进行大量预训练即可高精度预测分子属性，解决了实验组面临的计算资源有限的问题，提供了一种具有成本效益和资源高效的解决方案，可能推进分子领域的进一步研究。

    May, 2024

  • 使用自然语言处理从大型高分子库中提取通用材料属性数据的流程

    本研究使用自然语言处理方法自动提取高分子文献中的材料性质数据，并训练了材料科学摘要的语言模型 MaterialsBERT。通过该模型，我们在 60 小时内从约 13 万篇摘要中提取了约 30 万条材料性质记录，证明了从已发表文献开始进行自动数据提取的可行性。

    Sep, 2022

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • 材料信息学变压器：一种用于可解释材料性质预测的语言模型

    利用大型语言模型进行材料属性预测，通过引入模型 MatInFormer，在加工空间群信息的关键词化过程中学习晶体学语法，并通过任务特定数据进一步展示 MatInFormer 的适应性。通过注意力可视化，我们揭示了模型在属性预测过程中重点关注的特征，并在 14 个不同数据集中验证了我们提出模型的有效性，从而强调其在通过准确的材料属性预测进行高通量筛选方面的潜力。

    Aug, 2023

  • GPT-MolBERTa: 用于分子性质预测的 GPT 分子特征语言模型

    利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

    Sep, 2023

  • 机器学习在金属增材制造中用于机械性能预测

    本文介绍了一种基于机器学习的综合框架，用于金属增材制造过程中机械性能的预测，并提出了利用 SHAP 分析对机器学习模型预测结果进行解释和解读的方法，同时比较了数据驱动的显式模型相对于机器学习模型更具可解释性。

    Aug, 2022

  • 基于多模态 Transformer 模型的 Buchwald-Hartwig 反应和 Suzuki-Miyaura 反应产率预测

    该研究使用 SMILES 和化学描述符的多类型输入预测化学反应产量，模型由预训练的 BERT 编码器和 MLP 组成，可提高产量预测精度并在 Buchwald-Hartwig 和 Suzuki-Miyaura 反应中测试，同时可以推荐最佳反应条件，从而在湿实验中实现最佳结果。

    Apr, 2022

  • 模型架构与规模对预测分子性质的作用：来自对 RoBERTa、BART 和 LLaMA 的微调的见解

    该研究引入了一个系统框架，用于比较大型语言模型在各种化学信息学任务中的微调效果。通过采用统一的训练方法，我们评估了三种知名模型（RoBERTa、BART 和 LLaMA）在使用 SMILES 作为通用分子表示格式预测分子性质时的能力。我们的比较分析涉及 18 种不同参数大小和数据集规模的这些模型的预训练，接着对它们在 DeepChem 的六个基准任务上进行微调。该研究不仅界定了每种模型类型的优势和局限性，还为选择最适合特定化学信息学应用的大型语言模型提供了可靠的方法论。

    May, 2024