Dec, 2023

MMGPL：多模态医学数据分析与图形提示学习

PDF
TL;DR使用图提示学习模型进行神经系统疾病的诊断，通过学习 GPT-4 获取相关疾病概念，计算概念与图像区块的语义相似度，并减少不相关区块的权重，同时利用图卷积网络层提取图的结构信息，以提升预训练模型在神经系统疾病诊断上的性能。
发现论文，激发创造
  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • 大型语言模型的图神经启动

    提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

    Sep, 2023

  • 多任务预训练和图上提示的 MultiGPrompt

    在本文中，我们提出了 MultiGPrompt，一种新颖的多任务预训练和提示框架，用于利用多个预设任务获取更全面的预训练知识，并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析 MultiGPrompt。

    Nov, 2023

  • 一体化：用于图神经网络的多任务提示

    本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距，并提出了一种新的用于图形模型的多任务提示方法。经过实验，结果表明我们的方法优越性。

    Jul, 2023

  • GraphPrompt: 将图神经网络的预训练和下游任务统一

    本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt，可以将预训练和下游任务统一到一个通用的任务模板中，并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。

    Feb, 2023

  • UMass-BioNLP 在 MEDIQA-M3G 2024 中的 DermPrompt：基于 GPT-4V 的皮肤诊断系统的系统化探索

    通过整合大型多模型，特别是利用 GPT-4V 在检索者和重新排序框架下的能力，本研究提出了一种诊断临床皮肤病例的新方法，实验证明使用 GPT-4V 作为检索代理在检索皮肤病情时能够准确地检索到正确的皮肤状况，同时通过多智能体对话框架进行诊断可提供更早和准确的诊断。

    Apr, 2024

  • 医学视觉引导（MVP）：一种用于多功能和高质量医学图像分割的统一框架

    准确分割病变区域对于各种疾病的临床诊断和治疗至关重要。本研究提出了一种新颖的医学视觉提示 (MVP) 框架，借鉴了自然语言处理 (NLP) 的预训练和提示概念，通过整合 SPGP、IEGP 和 AAGP 三个关键组件，使得分割网络更好地学习形状提示信息并实现不同任务之间的相互学习，实验结果表明此方法在各种具有挑战性的医学图像任务中表现优越。

    Apr, 2024

  • 我们能否将软提示应用于图学习任务的 LLM？

    通过 GraphPrompter 框架，将 Large Language Models（LLMs）与图形模态对齐，实现了 LLMs 在图相关任务中的重要性和效果。

    Feb, 2024

  • 诊断推理提示揭示了在医学领域中大型语言模型可解释性的潜力

    GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

    Aug, 2023

  • HetGPT: 利用预训练异构图神经网络的提示调节能力

    提出了 HetGPT，一种通用的后训练提示框架，用于改善预训练的异构图神经网络（HGNNs）的预测性能，并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。

    Oct, 2023