Feb, 2024

LlaSMol：通过大规模、综合、高质量的指导调整数据集推进化学领域的大型语言模型

PDF
TL;DR我们研究了基于 SMolInstruct 数据集进行 fine-tune 的大型语言模型在化学任务上表现出色，特别是 Mistral 模型，同时，我们还分析了可训练参数的影响，为未来的研究提供了一些见解。
发现论文，激发创造
  • 化学 LLM: 一种化学大型语言模型

    ChemLLM 是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。

    Feb, 2024

  • GPT 模型在化学方面能做什么？八项任务的综合评估

    本文针对大语言模型在化学领域能力的未知，建立起一个包含 8 个化学实践任务的全面基准，运用 GPT-4、GPT-3.5 和 Davinci-003 三种 GPT 模型以零样本和少样本的情境下进行测试，发现 GPT-4 相较于其他两种模型表现更佳，而 GPT 模型在需要精确理解分子 SMILES 表示的任务中较为欠缺，而在文本相关的说明任务方面表现出较强的能力。

    May, 2023

  • 结构化化学推理与大型语言模型

    本文研究利用大型语言模型（LLMs）解决复杂的化学问题的问题，提出了 InstructChem，一种新的结构化推理方法，极大地提升了 LLMs 的化学推理能力。

    Nov, 2023

  • 从词语到分子：化学中大型语言模型的调查

    将大型语言模型 (LLMs) 整合到化学领域是一个复杂的任务，本文以细致的方法论探索了该跨学科领域的复杂性和创新，从分子信息如何通过各种表示和标记方法导入 LLMs 开始，将化学 LLMs 分为三个不同的群体，并讨论了将这些输入整合到 LLMs 的方法，然后探讨了应用 LLMs 在化学中的多样化应用，包括在化学任务中的新范例，最后确定了有望的研究方向，包括进一步整合化学知识，持续学习的进展以及模型可解释性的改进，为该领域的突破性发展铺平了道路。

    Feb, 2024

  • 大型语言模型是超人级化学家吗？

    通过 ChemBench 等评估框架，我们发现大型语言模型在化学科学中展示出卓越的能力，但仍需进一步研究以提高其安全性和实用性。

    Apr, 2024

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

    本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。

    Jun, 2024

  • 大规模语言模型用于分子预测任务的基准测试

    LLMs 在分子预测任务中的表现相对较弱，而与机器学习模型合作使用时，LLMs 有潜力提升模型性能。

    Mar, 2024

  • Mol-Instructions: 一份面向大型语言模型的大规模生物分子指令数据集

    为了提高大型模型在生物分子领域的适应能力和认知敏锐度，我们引入了 Mol-Instructions，这是一个精心策划的、专门为生物分子领域设计的全面指令数据集，包括分子指令、蛋白质指令和生物分子文本指令。

    Jun, 2023

  • 基于大型语言模型的分子发现与翻译: ChatGPT 视角

    本文提出了一种基于大型语言模型的框架（MolReGPT），通过检索式提示范式在上下文中进行少量评估，并利用分子相似性原理从本地数据库检索类似分子及其文本描述来启用 LLMS，用于分子说明翻译以促进分子发现

    Jun, 2023