Oct, 2022

测试时间域自适应的视觉提示调控

PDF
TL;DR本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。
test-time adaptationdata-efficient prompt tuningmemory bank-based online pseudo-labelingself-supervised regularizationadaptation benchmarks
发现论文，激发创造
  • 有效测试时间提示调整的多样化数据增强与扩散

    使用 DiffTPT 方法通过利用预训练扩散模型生成多样且信息丰富的新数据，结合常规方法和预训练稳定扩散的增强数据，选择与单个测试样本更相似的生成数据以提高预测准确度，证明 DiffTPT 方法能够提高零样本准确率。

    Aug, 2023

  • 装扮新人：基于视觉域提示的连续测试时间适应

    本文提出了一种基于图像级视觉域提示的连续测试时间适应方法，在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型：域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略。实验证明，该方法在四个广泛使用的基准测试中实现了显著的性能提高。

    Dec, 2022

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 基于声明的提示调整技术用于视觉问答

    该论文提出了一种名为 DPT 的创新型视觉语言模型微调范式，它通过文本调整和任务调整重新定义视觉问题的目标函数形式来共同优化 VQA 模型的预训练和微调目标，以提高预训练 VL 模型对于下游任务的有效适应性，实验结果表明，DPT 在准确性方面显著优于微调对应物，无论是在完全监督（2.68％）还是零射击 / 少射击（超过 31％）的情况下。

    May, 2022

  • 每个测试图像都应有特定提示：2D 医学图像分割的持续测试时间适应

    该论文提出了一种基于视觉提示的测试时适应方法，通过冻结预训练模型并为每个测试图像训练特定的提示来解决医学图像中的分布偏移问题，并在两个医学图像分割基准任务上表现出优越性。

    Nov, 2023

  • 通过领域适应改善 Prompt Tuning 的样本效率

    本文提出了一种名为 OPTIMA 的算法，通过领域自适应来改进预处理语言模型的 prompt tuning，结果表明 OPTIMA 可以显著提高 prompt tuning 的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。

    Oct, 2022

  • DePT: 解耦式提示调节

    该研究通过解决提示调整中的基础 - 新任务权衡困境，提出了一种基于 Decoupled Prompt Tuning (DePT) 框架的方法，通过将基础特定知识与特征通道解耦，最大程度地保留原特征空间中的任务共享知识，从而在新任务中实现更好的零样本泛化能力。

    Sep, 2023

  • 领域感知联邦学习的双提示调优

    本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。

    Oct, 2023

  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • DePT: 分解式提示调整用于参数高效微调

    通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了 DePT 在模型规模增大时更加高效，并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。

    Sep, 2023