CVPRNov, 2022

针对视觉语言模型的任务残差调节

PDF
TL;DR本篇论文提出了一种名为 Task Residual Tuning 的新的视觉语言模型的高效调整方法，其中通过保留原有分类器权重的方式，针对目标任务调整一组先独立参数作为原有分类器的残差，以实现可靠的先验知识保存和灵活的任务特定知识探索，并在 11 个基准数据集中显著优于当前的高效转移学习方法。
large-scale vision-language modelsefficient transfer learningprior knowledge preservationtask-specific knowledge explorationbenchmark datasets
发现论文，激发创造
  • 视觉指导调整中基于人工标注任务的扩展

    通过构建最具多样性的 Vision-Flan 数据集和两阶段指导调优框架，本研究解决了现有 VLM 框架中的任务多样性和注释错误的挑战，并在广泛的多模态评估基准中取得了最新的最佳性能。

    Feb, 2024

  • 多任务视觉语言提示微调

    本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

    Nov, 2022

  • TAP：针对视觉分类任务自适应生成文本训练实例的有针对性提示

    在此研究中，我们研究了一种基于文本的视觉与语言模型训练方法，并探索了如何根据下游任务的特点从大型语言模型中采样文本数据，以显著提升视觉识别性能。与先前方法相比，我们展示了达 (交) 领域特定适应的性能提高达 8.4％，精细化识别提高达 8.7％，零标记分类整体平均提高达 3.1％。

    Sep, 2023

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • 面向任务引导的预训练语言模型解耦调参

    该研究提出一种名为任务引导分离微调的方法，通过从预训练的语言模型中分离特定任务的信号来增强表示的泛化能力，实验结果表明，该方法在自然语言处理方面表现出更好的效果。

    Mar, 2022

  • 规范化的蒙版调整：揭示预训练视觉语言模型中的隐藏知识

    我们设计了一种名为正则化掩码调优的新型调优方法，在下游任务中通过学习的选择来屏蔽网络参数，从而将前期训练阶段中隐藏的有用知识重新引入到视觉语言模型中，通过实验证明了这种方法在不同数据集上的优越性能。

    Jul, 2023

  • 训练专家语言模型带来的益处：比指令调整更胜一筹

    本文研究发现，相对于使用多个任务的 multitask-prompted fine-tuning 方法进行指导调整的语言模型，仅针对单个任务进行专家模型的 fine-tuning 能够使模型在 11 个不同的未知数据集上以及 13 个 BIG-bench 基准测试数据集上平均准确率分别提高 3.20% 和 1.29%。此外，分别训练每个专家模型而不是单个 MT LM 进行 zero-shot 推断具有许多好处，包括避免负面任务转移，能够持续学习新任务而无需重新训练以避免灾难性遗忘以及显示在合并单个专家时具有组合能力。

    Feb, 2023

  • 低秩重缩放视觉转换器微调：一种残差设计方法

    利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

    Mar, 2024

  • VMT-Adapter: 多任务强化学习的参数高效迁移学习

    大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

    Dec, 2023

  • HyperPELT：统一参数高效的语言模型调整，适用于语言和视觉语言任务

    本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

    Mar, 2022