科学语言模型在分子发现中的作用及其在药物设计、性质预测和反应化学中的优势，以及通过降低科学语言建模领域的门槛来加速化学发现，并提出结合聊天机器人界面和计算化学工具的分子设计愿景。
Sep, 2023
本论文展示了一个结合多个大型语言模型的智能代理系统，可自主设计、规划和执行科学实验，并通过三个不同的实例展示代理的科学研究能力，最为复杂的是成功执行加催化交叉偶联反应。最后，讨论了这种系统的安全影响，并提出了防止滥用的措施。
Apr, 2023
基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。
Nov, 2023
基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。
Mar, 2024
提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。
Jan, 2023
通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。
Jan, 2024
通过研究 Transformer 模型在学习 SMILES 的化学结构上的进展与成效，结果表明 Transformer 模型学习分子的局部结构能力较强，但需要更长时间的训练才能理解整体结构和手性，这些发现有望深化化学领域中 NLP 模型的理解。
Mar, 2023
介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。
本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。
Oct, 2022
该研究介绍了一种基于序列到序列模型的无模板反应预测方法，使用一种新型的可扩展标记方法，不涉及反应模板等辅助知识，达到了 80.1% 的准确率，其核心思想是运用语言学分析的思维方式来解决有机化学问题。
Nov, 2017