Feb, 2024

MolTC: 语言模型中的分子关系建模

PDF
TL;DR该研究提出了一个基于 LLMs 的多模态框架 MolTC，以图像化信息为基础，实现了统一的分子间相互作用预测，并进行了包括 400 万分子对的多数据集实验，证明了该方法在基于 GNN 和 LLM 的基准测试中的优越性。
molecular relational learninglarge language modelsmoltcgraphical informationmulti-modal framework
发现论文，激发创造
  • 具有因果子结构的移位鲁棒分子关系学习

    本文提出一种针对分子关系学习中分布变化的稳健模型 CMRL，该模型基于领域知识并构建了结构因果模型（SCM），引入一种新的条件干预框架，并成功地从因果子结构中学习，并减轻了与化学反应表面相关的快捷子结构的混杂效应。

    May, 2023

  • MolCA: 跨模态投影器与单模态适配器的分子图语言模型

    MolCA 是一种使用跨模态计算器和单模适配器的分子图 - 语言建模方法，能够通过将图编码器的表示空间和语言模型的文本空间连接，使语言模型理解基于文本和图的分子内容。

    Oct, 2023

  • 化学 LLM 是否能从信息传递中受益

    预训练语言模型和信息传递神经网络在处理分子文本和分子科学领域展示了显著的能力。本文提出了两种策略来评估信息整合是否能增强性能：对比学习和融合，经实证分析表明，当应用于较小的分子图时，整合方法相比基准模型表现出优越性能，而当应用于大规模图时，这些整合方法并未带来性能改进。

    May, 2024

  • 大型语言模型的检索增强多模态思维链推理

    使用检索机制动态自动选择基于跨模态相似性的示例，以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例，以增加示例的多样性。通过一系列实验，我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。

    Dec, 2023

  • 大型语言模型作为上下文化学物质学习器

    大型语言模型（LLM）在生物化学任务中表现出卓越的性能，特别是分子字幕翻译任务，在分子和自然语言文本之间建立联系。然而，先前的方法在将 LLM 调整到分子 - 字幕翻译任务中需要额外的领域特定预训练阶段，分子和文本空间之间的对齐性较弱，或者对 LLM 的规模有严格要求。为了解决这些挑战，我们提出了一种新的范式：上下文分子适应（ICMA），允许 LLM 通过上下文示例来学习分子 - 文本对应关系。实验证明，ICMT 可以使 LLM 在没有额外的训练语料库和复杂结构的情况下实现最先进的或相当的性能，表明 LLM 本质上是上下文中的分子学习器。

    Mar, 2024

  • MolCAP：分子化学反应预训练及促进微调增强的分子表示学习

    我们提出了一种基于化学反应知识的 MolCAP，它是一个图形预训练变压器模型，用于推动分子表示学习，其结果表明在各种生物医学任务中优于传统预训练框架的比较方法，这表明了应用反应信息进行分子表示学习的前景。

    Jun, 2023

  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023

  • 面向语言模型中的三维分子 - 文本解释

    通过在语言模型中嵌入 3D 分子编码器，我们提出了 3D-MoLM：3D 分子语言建模，用于解决语言模型在理解三维分子结构方面的限制，在生物分子领域具有潜力。

    Jan, 2024

  • ProLLM: 蛋白链思路增强 LLM 用于蛋白质相互作用预测

    蛋白质 - 蛋白质相互作用的预测对于理解生物功能和疾病发展至关重要，本文介绍了一种基于大型语言模型的新框架 ProLLM，利用 ProCoT 蛋白质推理过程作为自然语言提示，通过结构化数据和自然语言的映射，实现了有效的间接连接蛋白质的预测，从上游到下游追踪蛋白质间的生物信号传递路径。

    Mar, 2024

  • ALMol：通过离线偏好对比优化实现对齐的语言 - 分子翻译 LLM

    化学和人工智能的交叉领域是一个积极研究的领域，旨在加速科学发现；该研究聚焦于机器翻译化学语言和分子模型，并采用一种新的训练方法，通过对比优化来提高模型性能。

    May, 2024