Feb, 2024

对分布泛化的任意偏移提示

PDF
TL;DR通过构建任意偏移的提示学习模型和基于 Transformer 的推理网络，本研究在图像 - 语言模型的训练和测试过程中考虑了数据分布的关系，提高了模型在各种分布偏移下的泛化能力。
image-language modelsprompt learninggeneralizationtest distributionsany-shift prompting
发现论文，激发创造
  • 对齐您的提示：基于分布对齐的零样本泛化的测试时提示

    通过减小分布偏移，将零样本泛化的视觉 - 语言模型在未见领域中的性能提升了 3.08%，并且在跨数据集泛化的情况下，在所有数据集上相对于现有的最先进方法有一致的改进。

    Nov, 2023

  • 基于贝叶斯提示学习的图像 - 语言模型泛化

    研究使用变分推理解决 Empirical Risk Minimization 在 prompt learning 中的分布偏移问题，在 15 个用例中通过 Bayesian prompt learning 实现了更好的泛化性能。

    Oct, 2022

  • 分布式学习

    提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

    May, 2022

  • 基于提示的高效时域泛化

    我们的研究论文提出了一种新颖的基于提示的时间域泛化方法，该方法具有参数高效、时间高效的特点，并且在训练过程中不需要访问目标域数据（即未来时间段的数据）。我们的方法通过学习全局提示、领域特定提示和感知潜在时间动态的提示，使目标预训练模型适应时间漂移。它适用于分类、回归和时间序列预测等各种任务，并在时间域泛化方面取得了新的最先进基准水平。代码仓库将公开共享。

    Oct, 2023

  • 通过视觉领域提示生成适应分布转变

    提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

    May, 2024

  • 理解提示工程不一定需要重新思考普遍化

    通过经典的 PAC-Bayes 界限解释所产生的离散提示的性能表现良好，这为手动设计和生成过程中引导工程实践提供了可能的理论解释。

    Oct, 2023

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 零样本策略学习的极简提示

    通过在任务参数上进行调节，基于 Transformer 的模型展现出了与依赖演示任务相当甚至更好的零样本泛化能力。

    May, 2024

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022