该研究引入了一个系统框架，用于比较大型语言模型在各种化学信息学任务中的微调效果。通过采用统一的训练方法，我们评估了三种知名模型（RoBERTa、BART 和 LLaMA）在使用 SMILES 作为通用分子表示格式预测分子性质时的能力。我们的比较分析涉及 18 种不同参数大小和数据集规模的这些模型的预训练，接着对它们在 DeepChem 的六个基准任务上进行微调。该研究不仅界定了每种模型类型的优势和局限性，还为选择最适合特定化学信息学应用的大型语言模型提供了可靠的方法论。

May, 2024

利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

Sep, 2023

这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

Oct, 2020

使用文本输入预测合金的弹性模量和屈服强度，AlloyBERT 是一种基于变压器编码器的模型，使用 RoBERTa 作为基础，通过自注意机制建立单词之间的关联，实现对合金属性的预测。

Mar, 2024

本文使用三个预训练的语言模型（XLM-R、BART 和 DeBERTa-V3）作为上下文嵌入的增强，用于命名实体识别，最终在 NL4Opt 竞赛子任务 1 上取得了 92.9％ 的 F1 得分，并排名第五。

Dec, 2022

通过深度学习在药物发现领域的应用中，通过集成生物测定和分子指纹提取真正的分子信息，加速早期活性分子的识别，有助于简化新型药物的鉴定。

Jan, 2024

该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

Sep, 2022

我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

Oct, 2023

本文提出了 Multi-CLS BERT 方法，它是一种高效的 BERT 模型集成方法，不需要在测试时运行多个 BERT 模型，只需要运行单个 Multi-CLS BERT 模型。在 GLUE 和 SuperGLUE 数据集上，实验证明这种方法能够显著提高准确度和置信度。

Oct, 2022

本研究介绍了一种基于 Transformer 的适应性框架 CrystalBERT，该框架整合了空间群、元素和晶胞信息，能够准确预测各种物理重要性质，包括拓扑性质和超导过渡温度等，同时提供具有洞察力的对目标物性影响最显著的特征的物理解释。通过结合各种特征，模型在拓扑分类中实现了 91% 的高准确率，超过以往研究，并识别了先前被错误分类的拓扑材料，进一步证明了我们模型的有效性。

May, 2024