Jun, 2023

在预训练的视觉 - 语言模型上基准测试适应方法的鲁棒性

PDF
TL;DR对 11 种广泛使用的适应方法在 4 个视觉语言数据集中的鲁棒性进行了评估，发现适应方法对于文本污染比视觉污染更敏感，完整的微调并不能始终提供最高的鲁棒性，而适配器可以在可比较的干净表现下实现更好的鲁棒性，增加适应数据和参数的数量并不能保证增强鲁棒性，相反，会导致鲁棒性降低。
adaptation methodspre-trained vision-language modelsmultimodal corruptionsperformancerobustness
发现论文，激发创造
  • 探究视觉与语言预训练模型的鲁棒性

    通过对现有的预训练模型进行全面评估和改进，本研究提出了一种名为 Mango 的方法，在嵌入空间中学习多模态对抗性噪声生成器，使得预训练的视觉 - 语言模型的鲁棒性得到了大幅度提升，并在七项鲁棒性测试中创造了新的最高水平。

    Dec, 2020

  • 视觉语言模型的失误机会：视觉语言模型在线测试时间适应的比较研究

    对视觉 - 语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

    May, 2024

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • 基于文本引导的鲁棒性基准测试

    本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

    Apr, 2023

  • 视觉语言模型的低秩少样本适应

    近期关于 Vision-Language Models（VLMs）的少样本适应研究进展大大提高了其泛化能力，但未充分考虑 Parameter-Efficient Fine-Tuning（PEFT）的最新进展。因此，本文引入了 Low-Rank Adaptation（LoRA）在少样本适应学习中，并在 11 个数据集上展示了其潜力，与最先进的基于 prompt 和 adapter 的方法进行对比。令人惊讶的是，我们的简单 CLIP-LoRA 方法在所有目标任务（所有数据集和样本数）上保持相同的超参数的同时，显著提高了性能。当然，我们的结果并不否定普遍学习和基于适配器的研究的潜力，但我们相信我们的强基准方法可用于评估少样本 VLMs 中这些新兴主题的进展。

    May, 2024

  • 理解检索增强的视觉语言模型的任务适应性

    采用对比式视觉 - 语言模型，通过检索增强的适应性实现了卓越的性能，在了解检索对视觉 - 语言模型适应性的影响方面展示了新的见解，并强调了对有效适应至关重要的对数集成的关键作用。

    May, 2024

  • AdvLoRA: 视觉 - 语言模型的对抗低秩适应

    通过大量实验，我们展示了传统的视觉 - 语言模型（VLMs）所采用的常规适应方法的脆弱性，这可能带来重大的安全风险。此外，随着 VLMs 规模的增加，对 VLMs 进行传统的对抗性适应技术会带来高计算成本。为了解决这些问题，我们提出了一种名为 AdvLoRA 的参数高效对抗性适应方法，通过低秩适应进行了改进，设计了一种基于参数聚类和参数对齐的新型重新参数化方法，进一步提高了鲁棒性，解决了模型安全性和资源浪费问题。通过大量实验证明了 AdvLoRA 的有效性和高效性。

    Apr, 2024

  • 图像文本：学习可转移的多标签分类适配器

    通过预先训练的视觉 - 语言模型，结合适当的调整和随机扰动方法构建了一个能够自动识别图像标签的全自动流水线，该方法在各种多标签分类任务中显示出优越性能。

    Dec, 2023

  • 参数高效技术与完全微调之间的比较：多语言新闻文章分类案例研究

    适配器和低秩适应（LoRA）是旨在使语言模型训练更加高效的参数节约微调技术。本研究通过调查这些技术在多语言文本分类任务中（流派、框架和说服技巧检测；具有不同输入长度、预测类别数量和分类难度；其中一些任务数据有限）与全面微调相比，对分类性能和计算成本的影响，补充了现有研究。此外，我们对不同训练场景（在原始多语言数据上训练；在英文翻译上训练；以及在部分仅英文数据上）和不同语言进行了彻底分析，为参数节约微调技术的适用性，特别是对复杂的多语言和多标签分类任务提供了有价值的见解。

    Aug, 2023

  • 再审视视觉语言模型的对抗鲁棒性：一种多模态的观点

    通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，我们引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，以提高 CLIP 的对抗性鲁棒性。在 15 个数据集上进行的广泛实验表明，我们的方法显著提高了 CLIP 的对抗性鲁棒性，甚至在图像攻击的背景下，经过多模态对抗性攻击的模型表现出比仅进行图像攻击微调的模型更高的鲁棒性。

    Apr, 2024