EMNLPOct, 2023

BioT5: 用化学知识和自然语言关联加强生物学中的跨模态整合

PDF
TL;DR提出了 BioT5，这是一个综合的预训练框架，通过化学知识和自然语言关联来丰富生物学中的跨模态集成，具有 100% 稳健的分子表示，从非结构化生物文献的上下文中提取知识，并区分结构化和非结构化知识，在多种任务中展现出卓越性能，能够捕捉生物实体的潜在关系和属性。
发现论文，激发创造
  • BioT5+：融合 IUPAC 集成和多任务调整的通用生物理解

    BioT5 + 是一个针对生物研究和药物发现的框架，融合了多种新颖特性，包括 IUPAC 命名、来自 bioRxiv 和 PubChem 等数据源的生物文本和分子数据，以及用于处理数字数据的新颖数值标记化技术，从而将分子表示与其文本描述之间的鸿沟缩小，提供对生物实体的更全面理解，并大大提高了生物文本和生物序列的基于实践的推理能力。

    Feb, 2024

  • 分子与自然语言的翻译

    $\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

    Apr, 2022

  • 利用生物分子与自然语言进行多模式学习的调研

    通过综合分析最近在生物分子和自然语言的交叉建模研究领域取得的最新进展，我们阐述了生物分子技术表示的技术、多模态语言和分子数据源集成的关键目标和原理、实际应用、可用资源和数据集的总结、以及未来研究方向等。

    Mar, 2024

  • 一种分子多模基础模型，将分子图与自然语言相关联

    通过对分子的图形和语义相关文本数据进行对比学习，我们提出了一个分子多模态基础模型，该模型结合了图形和自然语言的特定和互补信息，更好地抓住了分子的专业知识以及具备了从自然语言描述中生成有意义的分子图形的能力。

    Sep, 2022

  • 文本与分子之间的桥梁：一项关于分子多模态框架的调查

    通过综述多模态分子研究的框架，本文探讨了人工智能在分子科学中的应用，特别关注文本与分子之间的对齐方法以及使用大型语言模型和提示技术进行分子任务的重要应用，同时讨论了该领域的局限性和未来研究的几个有希望的方向。

    Mar, 2024

  • 利用多任务语言建模统一分子和文本表示

    提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。

    Jan, 2023

  • 多模态信息下的分子联合表示学习

    本文提出了一种新的分子联合表示学习框架，通过 SMILES 和分子图的多模态信息进行多模态融合，改进了自我注意力机制，并进一步提出了双向消息传递图神经网络来增强从图中聚合的信息流以进一步组合。我们通过公共性质预测数据集上的大量实验证明了我们的模型的有效性。

    Nov, 2022

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • 自然语言交互分子发现

    本文提出了一种基于自然语言描述和编辑目标分子的新型任务，即 “对话式分子设计”，并设计了一个通用的 ChatMol 模型，它采用了大规模语言模型和化学知识相结合的技术，来实现将自然语言和化学语言相互转换在分子领域的应用。

    Jun, 2023

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022