Oct, 2023

分子语言模型的偏好优化

PDF
TL;DR分子语言建模是生成新化学结构的有效方法，但这些模型未事先编码化学家可能想要的某些偏好。我们研究使用直接偏好优化的微调方法，以更好地使生成的分子与化学家的偏好相一致。我们的发现表明，这种方法简单、高效且非常有效。
molecular language modelingchemical structuresfine-tuningdirect preference optimizationchemist preferences
发现论文，激发创造
  • ALMol：通过离线偏好对比优化实现对齐的语言 - 分子翻译 LLM

    化学和人工智能的交叉领域是一个积极研究的领域，旨在加速科学发现；该研究聚焦于机器翻译化学语言和分子模型，并采用一种新的训练方法，通过对比优化来提高模型性能。

    May, 2024

  • 分子发现中的语言模型

    科学语言模型在分子发现中的作用及其在药物设计、性质预测和反应化学中的优势，以及通过降低科学语言建模领域的门槛来加速化学发现，并提出结合聊天机器人界面和计算化学工具的分子设计愿景。

    Sep, 2023

  • 蛋白质语言模型的偏好优化作为多目标结合物设计范式

    该研究提出了一种基于指令微调和直接优化偏好的自回归蛋白质语言模型（pLMs）的多目标结合物设计范式。通过对专家策划的优先序列数据集进行直接优化，将多个设计目标编码到语言模型中。我们展示了所提出的对齐策略使 ProtGPT2 能够有效地设计以特定受体和药物可发展性为条件的结合物。生成的结合物样本表明等电点（pI）的中位数改善了 17％-60％。

    Mar, 2024

  • 优化语言模型以符合人类偏好的问题的因果推断

    对大型语言模型的优化进行了初步探索，为了使模型正确学习文本和结果之间的关系，提出了因果语言优化问题的形式化，开发了解决该问题的方法 —— 因果偏好优化（CPO），并扩展了双重稳健 CPO（DR-CPO），最后在困难的混淆条件下验证了 DR-CPO 对于直接结果数据上优化最先进的 LLMs 的有效性和鲁棒性。

    Feb, 2024

  • MolTailor: 通过文本提示定制化化学分子表征以执行特定任务

    通过将语言模型视为代理和分子预训练模型视为知识库，我们提出了一种新颖的方法，称为 MolTailor，它可以通过理解任务的自然语言描述来强调分子表示中与任务相关的特征，从而提高预测性能。通过评估，我们证明了 MolTailor 相较于基线模型表现出更好的性能，验证了增强分子表示学习相关性的有效性，展示了语言模型引导优化的潜力，以更好地利用和释放现有强大的分子表示方法的能力。

    Jan, 2024

  • 通过强化学习对语言模型进行微调以提升精确目标分子生成

    本研究采用创新的全新药物设计策略，利用语言模型的能力为特定蛋白质设计有针对性的药物。我们采用强化学习框架和近端策略优化对模型进行优化，获得生成适用于蛋白质靶点的药物的策略。通过融合药物 - 靶点相互作用和分子有效性的综合奖励函数，我们的方法经过强化学习的微调展现出很大的潜力，在分子有效性、相互作用效果和关键化学特性方面实现了显著的改进，分别达到了 65.37 的药物热似度定量评估（QED）、321.55 的分子量（MW）和 4.47 的辛醇 - 水分配系数 (logP)。此外，在生成的药物中，仅有 0.041% 没有新颖性。

    May, 2024

  • 语言模型能够直接在三维空间中生成 XYZ、CIF 和 PDB 文件的分子、材料和蛋白质结合位点

    本文研究利用语言模型进行分子设计，探讨了通过正常神经网络训练的语言模型在不修改结构的情况下，如何从多种显著不同的化学结构产生三维化合物、晶体和蛋白质结合位点。同时，讨论了语言模型的优点和局限性，并强调了无需使用简化的分子表示方法进行训练即可探索三维化学空间的能力。

    May, 2023

  • 利用预训练的生物化学语言模型进行有针对性的药物设计

    本次研究利用预先训练的生物化学语言模型来启动具有靶向分子设计功能的模型，从而提高分子生成模型的性能，探讨了两种不同的启动策略。结果表明，在评估生成化合物质量和对于新蛋白质进行评估的过程中，采用 beam search 而非采用抽样有助于提高性能。

    Sep, 2022

  • 直接优化偏好：你的语言模型其实是一个暗地里的奖励模型

    本文提出了一种称为 DPO（Direct Preference Optimization）的算法来解决无监督语言模型中的可控性问题，并在实验中表明，相较于传统的 RLHF 方法，DPO 不仅表现更好，而且更加稳定和简单。

    May, 2023

  • 精细调优的语言模型生成稳定的无机材料文本

    通过对大型语言模型进行微调以稳定材料生成，实验证明微调后的模型相对于竞争性扩散模型能以约两倍的速度（49% 对比 28%）产生预测为亚稳态的材料，同时具备生成稳定材料、填补部分结构和根据文本条件生成的能力。此外，研究表明，语言模型捕捉晶体结构的关键对称性能力随模型规模的增大而改善，表明预训练语言模型的偏见适用于原子尺度的数据。

    Feb, 2024