Oct, 2023

BioBridge: 通过知识图谱搭建生物医学基础模型的桥梁

PDF
TL;DR利用知识图谱作为桥梁，将独立训练的单模态基础模型连接起来，建立多模态行为，BioBridge 在跨模态检索任务中的效果优于最佳基线 KG 嵌入方法（平均提升约 76.3%），同时展现了对未见模态和关系的跨领域泛化能力，并被证明可以用于生物医学多模态问答和新药引导生成的通用检索器。
foundation modelsbiomedical domainsbiobridgemultimodal behaviorknowledge graphs
发现论文，激发创造
  • BioBLP: 多模态生物医学知识图谱学习的模块化框架

    提出了一种用于学习具有实体属性的知识图谱嵌入的模块化框架，其中模块可以对不同模态的属性数据进行编码，并且支持具有缺失属性的实体。在使用包含大约两百万三元组的生物医学 KG 进行训练和评估时，发现在给定低程度实体的情况下，与不考虑属性数据的基准方法相比，该方法在药物 - 蛋白质相互作用预测任务中的表现较好。

    Jun, 2023

  • 运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

    本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

    Dec, 2023

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • ChatBridge：利用大型语言模型作为语言催化剂桥接语言形式

    本文提出了一种名为 ChatBridge 的多模态语言模型，利用语言的表达能力作为各种模态之间的桥梁，从而实现多种任务的感知。ChatBridge 利用大型语言模型（LLM）的零 - shot 能力来处理多样化的多模态输入，尤其是在涵盖文本、图像、视频和音频模态的 16 种多模态任务中展现出良好的强化学习效果。

    May, 2023

  • Know2BIO: 演进中的生物医学知识图谱全面双视角基准

    我们提出了一个面向生物医学领域的异构知识图谱基准测试平台 Know2BIO，它从 30 个不同的数据源中整合数据，并捕捉了 11 个生物医学类别中的复杂关系。通过在 Know2BIO 上评估知识图谱表示模型，我们展示了其在生物医学领域中作为知识图谱表示学习基准测试的有效性。

    Oct, 2023

  • 桥接 - GNN：有效知识转移的知识桥接学习

    数据需求过大的难题给深度学习模型带来了挑战，我们提出了一种基于图神经网络的知识桥接学习方法（KBL），通过构建桥接图和样本间的知识传递，KBL 不受强假设限制且对源数据的噪声具有鲁棒性，实验证明 Bridged-GNN 方法在有限数据场景中显著提升了性能。

    Aug, 2023

  • 使用知识图谱嵌入和语言模型进行生物医学多跳问答

    这篇研究论文探讨了如何使用自然语言问答，相结合的语言模型和 KG 嵌入来回答生物学家们所提出的一系列自由形式的问题，其 KG 数据集来源于 Hetionet，并利用该数据集创建一个多跳生物医学问答数据集以测试多跳生物医学问答系统。

    Nov, 2022

  • 百亿级预训练多模态商业知识图谱的构建与应用

    本文介绍了基于企业阿里巴巴集团的知识图谱的构建过程及其应用，形成了一个前所未有规模的公开业务知识图谱 OpenBG，其中覆盖了各种抽象产品和消费需求，包括精细的分类和多模态事实，并分享了 OpenBG 基准资源以及基于 OpenBG 基准的在线竞赛结果。

    Sep, 2022

  • 癌症生物标志物发现的生物医学知识图谱

    本文描述了如何构建一个特定领域的知识图谱，以帮助癌症生物标志物的发现和查询，并使用语义技术和信息抽取方法集成相关领域的知识和数据，提供交互式解释和问题回答。

    Feb, 2023

  • MolFM：一个多模态分子基础模型

    MolFM 是一个多模态分子基础模型，通过分子结构、生物医学文本和知识图谱进行联合表示学习，以提高交叉模态理解和下游任务的性能。

    Jun, 2023