Feb, 2024

BioT5+：融合 IUPAC 集成和多任务调整的通用生物理解

PDF
TL;DRBioT5 + 是一个针对生物研究和药物发现的框架，融合了多种新颖特性，包括 IUPAC 命名、来自 bioRxiv 和 PubChem 等数据源的生物文本和分子数据，以及用于处理数字数据的新颖数值标记化技术，从而将分子表示与其文本描述之间的鸿沟缩小，提供对生物实体的更全面理解，并大大提高了生物文本和生物序列的基于实践的推理能力。
发现论文，激发创造
  • BioT5: 用化学知识和自然语言关联加强生物学中的跨模态整合

    提出了 BioT5，这是一个综合的预训练框架，通过化学知识和自然语言关联来丰富生物学中的跨模态集成，具有 100% 稳健的分子表示，从非结构化生物文献的上下文中提取知识，并区分结构化和非结构化知识，在多种任务中展现出卓越性能，能够捕捉生物实体的潜在关系和属性。

    Oct, 2023

  • 分子与自然语言的翻译

    $\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

    Apr, 2022

  • 3D-MolT5: 以 3D 分子标记建立统一的 3D 分子 - 文本模型

    我们提出了 3D-MolT5 框架，通过在特定的三维令牌词汇表上映射细粒度的三维亚结构表示，实现了一维分子序列和三维分子结构的无缝组合，在一个统一的架构中编码了分子序列、分子结构和文本序列。对于分子属性预测、分子说明和基于文本的分子生成任务，我们的 3D-MolT5 在多个下游数据集上展现出优异的性能。

    Jun, 2024

  • 利用多任务语言建模统一分子和文本表示

    提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。

    Jan, 2023

  • SciFive：一个用于生物医学文献的文本到文本转换器模型

    SciFive 是一种预先训练于大型生物医学语料库的领域特定的 T5 模型，它优于当前 SOTA 方法（即 BERT，BioBERT 和 Base T5）在命名实体关系、关系提取、自然语言推理和问答任务上，特别是在需要更长、更复杂输出的生物医学自然语言处理任务方面，我们的结果支持探索更具挑战性的文本生成任务和该领域新方法的开发。

    May, 2021

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • ReactionT5：大规模预训练模型用于有限反应数据的应用

    利用深度神经网络中的基于 Transformer 的方法，在分子相关的预测任务中，通过将分子视为符号序列，解决了多种有机化学应用问题，并利用公开资源 Open Reaction Database (ORD) 对预训练进行了改进，进一步通过有限的微调数据展示了预训练模型的出色性能，ReactionT5 模型的预训练模型在 Hugging Face 平台上公开可用。

    Nov, 2023

  • 有机反应预测的专用和分析型指令调整和字节级语言模型

    通过该论文的系统经验研究，我们评估了基于 Transformer 编码器 - 解码器模型 FlanT5 和 ByT5 在有机反应预测中的影响，为将这些最先进的语言模型更有效地用于化学相关任务提供了指导。

    May, 2024

  • 基于多模态分子结构文本模型的文本检索和编辑

    该研究介绍了一种新的多模态分子结构 - 文本模型 MoleculeSTM，它结合学习化学结构和文本描述，以有效利用化学领域中丰富的文本知识，同时提高药物设计的效率和创新能力，并在多个基准测试中获得了最先进的泛化能力。

    Dec, 2022

  • 利用生物分子与自然语言进行多模式学习的调研

    通过综合分析最近在生物分子和自然语言的交叉建模研究领域取得的最新进展，我们阐述了生物分子技术表示的技术、多模态语言和分子数据源集成的关键目标和原理、实际应用、可用资源和数据集的总结、以及未来研究方向等。

    Mar, 2024