本研究提供了基于深度学习的医学体积分割方法，既可以从头开始训练模型，也可以遵循标准的 “预训练，然后微调” 方法。本研究首次提出了一种名为 Med-Tuning 的新框架，基于内部阶段特征增强和阶段间特征交互，实现了医学级体积分割的参数高效转移学习，可在减少调整参数成本的情况下实现比以前最先进的参数高效转移学习方法和完全微调更好的分割效果。

Apr, 2023

通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为 DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

Jul, 2023

我们提出了一种基于预训练 2D 图像模型的策略，使用单点提示来进行 3D 医学图像分割，并通过引入轻量级适配器来提取深度相关的（3D）空间上下文，以实现准确的边界。与其他分割方法相比，我们的方法在结肠和胰腺肿瘤分割方面具有卓越的性能。

Oct, 2023

该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

Mar, 2022

使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架包括了一个特征感知提示更新器，以引导提示调整，并采用基于提示的不确定性的无监督多样性选择和有监督选择。此外，我们提出了一种多样化的视觉提示调整策略，为选择性标记提供多提示的不同预测。在肝肿瘤分割任务上，我们的方法取得了最先进的性能，仅使用可调参数的 6%，仅标记了 5% 的数据即可达到全数据性能的 94%。

Aug, 2023

通过使用学习到的视觉提示，我们的工作研究了在少样本情况下，通过对 Transformer 解码器进行提示，来提高普适少样本分割（GFSS）任务的效果。我们提出了一种利用少量样本学习视觉提示的方法，通过这些学习到的视觉提示，我们可以对多尺度 Transformer 解码器进行提示，以便实现准确的密集预测。此外，我们引入了一种单向因果关注机制，用于连接通过少样本学习到的新提示和通过大量数据学习到的基础提示，从而提升新提示的质量而不损害基础类别的性能。总体而言，这种提示形式帮助我们在两个不同的基准数据集上实现了 GFSS 的最先进性能：COCO-$20^i$ 和 Pascal-$5^i$，而无需进行测试时间的优化或传导。此外，我们还使用未标记的测试数据进行测试时间的优化，以改进这些视觉提示，我们称之为传导提示调优（transductive prompt tuning）。

Apr, 2024

Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers (ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

Jun, 2023

该论文提出了一种基于视觉提示的测试时适应方法，通过冻结预训练模型并为每个测试图像训练特定的提示来解决医学图像中的分布偏移问题，并在两个医学图像分割基准任务上表现出优越性。

Nov, 2023

该论文提出了基于 prompt 调节（Prompt tuning，Pro-tuning）的方法来替代 fine-tuning，适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明，这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。

Jul, 2022

通过在输入图像中引入视觉提示信息，本研究旨在为视觉变换器模型设计学习视觉提示，以引导其注意力集中在图像的特定区域，通过自监督学习的方式进行优化，实验结果表明该优化策略在各种预训练视觉编码器中的效果显著。

Jun, 2024