每个测试图像都应有特定提示:2D 医学图像分割的持续测试时间适应
本文提出了一种基于图像级视觉域提示的连续测试时间适应方法,在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型:域特定提示和域不可知提示,并设计了一种基于一致性的提示自适应策略。实验证明,该方法在四个广泛使用的基准测试中实现了显著的性能提高。
Dec, 2022
本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning,DePT),其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中,在测试时自适应调整模型引用的提示以提升模型对目标域的表示,且具有适用于许多测试适应问题的能力。
Oct, 2022
开发一种测试时自适应方法,用于语义分割任务中针对视频序列中逐渐变化的领域进行模型适应,主要基于合成自驾车视频数据集 SHIFT,目标是分析分布变化并开发一个能够适应数据动态变化和在不同场景中泛化的方法。
Oct, 2023
通过引入动态视觉提示调整方法,本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法,命名为 DVPT,该方法从大模型中提取有益于下游任务的知识,可通过仅使用少量可训练参数从零开始训练医学图像分析模型。
Jul, 2023
通过引入可学习的标记,VPA(Visual Prompt Adaptation)作为一个框架通过测试时间的自适应实现了视觉提示的普遍性,且不需要源领域信息,实验结果表明 VPA 有效提高了各种模型的历程泛化、抗干扰性和领域适应能力,以及对视觉 - 语言模型的零样本识别性能的鲁棒性改进。
Sep, 2023
本文提出一种叫做测试时提示调整 (TPT) 的方法,可在单个测试样本上实时学习适应性提示,优化提前提供的 CLIP 模型动态调整提示, 以最小化模型预测时的不确定度,提高 CLIP 模型的泛化能力。实验结果表明,TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6%,并达到了使用额外培训数据的最新先进方法的性能水平。
Sep, 2022
使用 DiffTPT 方法通过利用预训练扩散模型生成多样且信息丰富的新数据,结合常规方法和预训练稳定扩散的增强数据,选择与单个测试样本更相似的生成数据以提高预测准确度,证明 DiffTPT 方法能够提高零样本准确率。
Aug, 2023
通过关键参数的优化和初始化,我们提出了一种改进的视觉提示调整方法,用于优化预训练模型在下游任务中的性能表现,并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。
Feb, 2024
Visual Prompt Tuning (VPT) 是一种有效的方法,用于适应预训练的 Vision Transformers (ViTs) 到下游任务,我们通过插入适当的 prompt token 可以提高其效果,同时我们也提出了一种可以为每个 ViT block 学习对应的 gate,以调整其对 prompt tokens 的影响,最终在 FGVC,VTAB 和 ADE20K 数据集上表现出更好的性能。
Jun, 2023