使用先进的优化算法和非线性融合，通过少量数据实现科学大语言模型的性能提升和新的最佳水平，并引入细粒度的评估方法来评估大语言模型中的虚构能力和促进负责任的使用。

May, 2024

通过使用多模态基准 ChEBI-20-MM，我们评估了模型与数据模态的兼容性和知识获取，并通过模态转移概率矩阵提供了适用于任务的最合适的模态，同时引入了一种统计可解释的方法，通过局部特征过滤来发现具有上下文特定的知识映射，从而揭示了科学语言建模在分子科学中的学习机制及其推进方法的可能性。

Feb, 2024

大型语言模型在机器翻译方面表现出良好的性能，但是使用监督微调的方式仍存在一些问题，本研究引入了对比优选优化 (CPO) 方法来改进性能。通过将 CPO 应用于 ALMA 模型，可以在限定的数据和参数规模下达到与竞赛获胜者及 GPT-4 相当甚至超过其性能的 ALMA-R 模型。

Jan, 2024

大型语言模型（LLM）在生物化学任务中表现出卓越的性能，特别是分子字幕翻译任务，在分子和自然语言文本之间建立联系。然而，先前的方法在将 LLM 调整到分子 - 字幕翻译任务中需要额外的领域特定预训练阶段，分子和文本空间之间的对齐性较弱，或者对 LLM 的规模有严格要求。为了解决这些挑战，我们提出了一种新的范式：上下文分子适应（ICMA），允许 LLM 通过上下文示例来学习分子 - 文本对应关系。实验证明，ICMT 可以使 LLM 在没有额外的训练语料库和复杂结构的情况下实现最先进的或相当的性能，表明 LLM 本质上是上下文中的分子学习器。

Mar, 2024

ChemLLM 是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。

Feb, 2024

预训练语言模型和信息传递神经网络在处理分子文本和分子科学领域展示了显著的能力。本文提出了两种策略来评估信息整合是否能增强性能：对比学习和融合，经实证分析表明，当应用于较小的分子图时，整合方法相比基准模型表现出优越性能，而当应用于大规模图时，这些整合方法并未带来性能改进。

May, 2024

开发疗法是一个漫长而昂贵的过程，需要满足许多不同的标准，而能够加快这个过程的人工智能模型将是无价之宝。这篇论文介绍了 Tx-LLM，它是一个通用的大型语言模型，从 PaLM-2 中细调，能够编码关于不同治疗模式的知识，并在药物发现领域的多个阶段上同时进行预测，从而具有竞争力的性能。我们相信 Tx-LLM 是向编码生化知识的 LLMs 迈出的重要一步，未来可能成为整个药物发现开发过程中的一种端到端工具。

Jun, 2024

通过大型语言模型技术，我们提出了一种全面的人工智能代理框架，能够高度准确地从大量化学文献中提取信息，实现化学文献的自动化处理，从而节省人力资源并提升性能。这一方法在化学文献处理方面具有重要的实践价值，并展示了人工智能在化学数据管理和利用方面的潜力。

Feb, 2024

将大型语言模型 (LLMs) 整合到化学领域是一个复杂的任务，本文以细致的方法论探索了该跨学科领域的复杂性和创新，从分子信息如何通过各种表示和标记方法导入 LLMs 开始，将化学 LLMs 分为三个不同的群体，并讨论了将这些输入整合到 LLMs 的方法，然后探讨了应用 LLMs 在化学中的多样化应用，包括在化学任务中的新范例，最后确定了有望的研究方向，包括进一步整合化学知识，持续学习的进展以及模型可解释性的改进，为该领域的突破性发展铺平了道路。

Feb, 2024

该研究提出了一种基于对比学习构建多语言分子嵌入的预训练方法 MM-Deacon，通过对 SMILES 和 IUPAC 语言的大规模分子进行预训练，在分子性质预测、零样本跨语言检索和药物相互作用预测任务中取得了鲁棒性良好的结果。

Sep, 2021