ICCVAug, 2023

VL-PET: 通过粒度控制实现视觉与语言参数高效调整

PDF
TL;DR由于预训练语言模型（PLMs）的模型大小迅速增长，全面微调的训练和存储变得难以承受。在视觉与语言（VL）领域，提出了参数高效调整（PET）技术，将模块化修改（例如 Adapter 和 LoRA）整合到编码器 - 解码器 PLMs 中。通过调整一小组可训练参数，这些技术的性能与全面微调方法相当。然而，过多的模块化修改和忽视编码器和解码器之间的功能差距可能导致性能下降，而现有的 PET 技术（例如 VL-Adapter）忽视了这些关键问题。在本文中，我们提出了一种视觉与语言参数高效调整（VL-PET）框架，通过一种新的粒度控制机制对模块化修改的效果进行有效控制。考虑到此机制生成的不同粒度控制矩阵，可以从我们的框架实例化多种与模型无关的 VL-PET 模块，以获得更好的效率和效果权衡。我们进一步提出了轻量级 PET 模块设计，以增强编码器的 VL 对齐和建模能力，并保持解码器的文本生成能力。在四个图像 - 文本任务和四个视频 - 文本任务上进行的大量实验证明了我们 VL-PET 框架的效率、效果和可转移性。特别地，我们的 VL-PET-large 与轻量级 PET 模块设计在图像 - 文本任务上相比 VL-Adapter 提升了 2.92%（3.41%），相比 LoRA 提升了 3.37%（7.03%）（在 BART-base 和 T5-base 模型上）。此外，我们验证了采用我们的 VL-PET 设计对现有 PET 技术的增强效果，使其实现显著的性能提升。我们的代码可在此 https URL 获得。
pre-trained language modelsparameter-efficient tuningvision-and-language parameter-efficient tuningmodular modificationsvl-pet framework
发现论文，激发创造
  • VLN-PETL：用于视觉语言导航的参数高效迁移学习

    我们在第一次研究中探索了用于 VLN 任务的 PETL 方法，并提出了一种名为 VLN-PETL 的 VLN 特定 PETL 方法。该方法通过设计两个 PETL 模块：历史交互增强器（HIB）和跨模态交互增强器（CIB），并将其与几种现有 PETL 方法相结合，形成集成 VLN-PETL。对四个主要的 VLN 任务（R2R，REVERIE，NDH，RxR）进行的广泛实验结果表明，我们提出的 VLN-PETL 方法的有效性，它在性能上与全面微调相当甚至更好，并以有希望的优势超过其他 PETL 方法。

    Aug, 2023

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • PVP：预训练的视觉参数高效微调

    本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

    Apr, 2023

  • 参数高效调节与通用视觉语言模型的结合

    通过参数高效调优，利用指令调整和多模态对齐的方法，本研究提出了一种新的通用视觉 - 语言模型训练方法 PETAL，其通过独特的模式近似技术，显著减少了训练成本和对重计算资源的依赖，并在语义深度方面进行了改进。实验证明，PETAL 在多个方面超越了现有最先进的方法，同时在少样本设置中也展现了出色的优势。

    Dec, 2023

  • HyperPELT：统一参数高效的语言模型调整，适用于语言和视觉语言任务

    本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

    Mar, 2022

  • 视觉 - 语言预训练模型的参数和计算高效迁移学习

    我们提出了一种参数和计算效率高的转移学习方法，通过动态架构跳过和增强学习来优化视觉语言预训练模型，以减少参数数量和计算冗余，并验证其在视觉语言任务中的优越性。

    Sep, 2023

  • 遥感图像文本检索的参数高效迁移学习

    通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

    Aug, 2023

  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023

  • 基于 p-Laplacian 的适应性生成预训练视觉 - 语言模型

    本文提出了一种新的建模框架，将适配器调谐视觉 - 语言模型中的注意力转化为基于注意力图的图消息传递过程，其中，投影查询和值特征以及注意力矩阵构成节点特征和图邻接矩阵。在这个框架中，适配器调谐视觉 - 语言模型需要处理异种图，为此，我们提出了一种新的适配器架构 $p$-adapter，在图神经网络中使用 $p$-Laplacian 消息传递。我们在不同的预训练的视觉 - 语言模型和多模态任务上进行了大量实验，包括视觉问答、视觉蕴涵和图像字幕生成。实验结果验证了我们的方法在参数高效的迁移学习方法中的显著优势。

    Dec, 2023

  • 敏感度感知的视觉参数高效调整

    该文介绍了一种基于感知度的视觉参数调整方案（SPT），该方案可以自适应地将可训练参数分配给特定任务的重要位置，该方法可以有效降低模型存储和优化的难度，并可以取得较好的识别性能。

    Mar, 2023