XCoOp：基于概念引导的上下文优化的计算机辅助诊断可解释式提示学习

Mar, 2024

XCoOp：基于概念引导的上下文优化的计算机辅助诊断可解释式提示学习

XCoOp: Explainable Prompt Learning for Computer-Aided Diagnosis via Concept-guided Context Optimization

Yequan Bie, Luyang Luo, Zhixuan Chen, Hao Chen

TL;DR利用强大的视觉 - 语言模型（VLM）来完成各种下游任务已引起越来越多的关注。我们提出了一种新颖的可解释提示学习框架，通过在多个粒度上对医学知识、可以学习的提示和临床概念驱动的提示的语义进行对齐，来解决这个问题，并为提示提供了视觉和文本解释。通过对各种数据集进行广泛的实验证明，我们的方法同时实现了优越的诊断性能、灵活性和可解释性，为基础模型在促进可解释的人工智能方面的有效性提供了新的视角。

Abstract

Utilizing potent representations of the large vision-language models (VLMs) to accomplish various downstream tasks has attracted increasing attention. Within this research field, soft prompt learning has become a

vision-language models soft prompt learning explainable prompt learning medical knowledge diagnostic performance

发现论文，激发创造

视觉语言理解的情境提示学习

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

视觉语言模型的提示学习

本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

Sep, 2021

语言感知的视觉与语言基础模型软提示

本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

Oct, 2022

概念引导下的提示学习进行视觉 - 语言模型泛化

通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

Jan, 2024

使用预训练视觉语言模型的医学图像理解：一项全面研究

本文通过研究预训练视觉语言模型在医学图像领域的知识传递能力，发现合理设计的医学提示语是调用预训练模型知识的关键。通过使用在领域间共享的表达属性提示，可实现知识跨越领域，改进泛化能力，对新对象的识别有所优化。此外，通过自动化生成医学提示的三种方法，可以将专家级的医学知识和图像特定信息注入提示语中，进行细粒度的信息定位，试验表明，与默认提示相比，巧妙设计的医学提示显著提高了零样本性能，且微调模型超过了受监督的模型。

Sep, 2022

预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

May, 2024

仅使用文本监督在视觉 - 语言模型中学习提示

本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

Jan, 2024

通过多知识表示优化视觉语言模型的提示学习

Context Optimization with Multi-Knowledge Representation (CoKnow) enhances Prompt Learning for VLMs by addressing the lack of diversity in prompt templates, resulting in improved performance compared to previous methods.

Apr, 2024

可扩展的语言模型提示

提出了一种名为 X-Prompt 的方法，通过引入虚构单词的可扩展词汇表，指导大型语言模型（LLM）完成超越自然语言的任务，使得提示更具描述性，并实现了上下文引导学习及提示增强，从而使其虚构单词可以用于不同的提示上下文，以达到精细的规范。该方法在人类与 LLMs 间构建了通信桥梁，有望实现更高级的交互。

Dec, 2022

弱监督提示学习下的低资源医学图像分类探索

通过弱监督的提示学习方法 MedPrompt，自动生成医学提示并利用预训练的视觉 - 语言模型，在低资源情况下提升医学图像识别的性能和准确率。

Feb, 2024