用尴尬简单的排列愚弄您的（视觉和）语言模型

Oct, 2023

用尴尬简单的排列愚弄您的（视觉和）语言模型

Fool Your (Vision and) Language Model With Embarrassingly Simple Permutations

Yongshuo Zong, Tingyang Yu, Bingchen Zhao, Ruchika Chavhan, Timothy Hospedales

TL;DR大语言和视觉语言模型广泛应用于实践中，但由于它们在遵循指令、上下文学习等方面的令人印象深刻的能力，迫切需要仔细分析它们的鲁棒性，以便利益相关者了解这些模型在任何特定应用中是否足够可靠。本文重点介绍了流行模型中的一个特定漏洞，即多项选择题回答中的置换敏感性问题。具体而言，我们实证地表明流行模型在多项选择提示的答案集的对抗置换方面存在漏洞，这是令人惊讶的，因为模型应该和人类一样对提示的置换不变。这些漏洞在各种模型尺寸中仍然存在，并存在于最近的语言和视觉语言模型中。代码可在 https://github.com/ys-zong/FoolyourVLLMs 找到。

Abstract

Large language and vision-language models are rapidly being deployed in practice thanks to their impressive capabilities in instruction following, in-context learning, and so on. This raises an urgent need to carefully analyse their →

language models vision-language models robustness permutation sensitivity multiple-choice question answering

发现论文，激发创造

多项选择问题回答中大型语言模型的局限性研究

通过分析 26 个小型开源模型，发现 65% 的模型不能理解任务，只有 4 个模型能正确选择答案，其中只有 5 个模型对选项顺序无关，这些结果对于广泛使用 MCQ 测试的模型来说相当令人担忧。建议在任何情况下使用 MCQ 评估 LLMs 之前要小心谨慎地测试任务理解能力。

Jan, 2024

尽管有定位和注意力机制，仍然能够欺骗视觉和语言模型

本文研究了视觉和语言模型的对抗样本，评估发现在具备自然语言理解和复杂结构（如注意力、边界框定位和组合内部结构）的模型中可以生成高成功率的对抗样本，这些观察结果可以帮助建立有效的防御措施。

Sep, 2017

您的大型语言模型是否有知识，还是只是选择题作弊者？

通过从现有的 MCQA 数据集中提取对比集，我们测试了 12 个大型语言模型，发现这些模型在给予问题和选项时并不依赖仅有的选择快捷方式，因此我们认为，尽管 MCQA 容易受到高选择准确性的影响，但 LLMs 并不仅仅靠利用选择快捷方式来获得 MCQA 排行榜上的高排名。

Jul, 2024

一个扰动就足够了：关于生成对抗视觉语言预训练模型的通用对抗扰动

我们展示了 Vision-Language Pre-training（VLP）模型对新型的通用对抗扰动（UAP）攻击的脆弱性，并提出了一种基于多模态对齐的 Contrastive-training Perturbation Generator 方法，该方法在各种 VLP 模型和多模态任务中展现出卓越的攻击性能，并表现出出色的黑盒可迁移性。

Jun, 2024

多集合免疫接种：跨多个挑战集评估模型的稳健性

探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

Nov, 2023

消除大型视觉语言模型中的偏见

在计算机视觉和自然语言处理领域，本研究重要不可或缺的工具是大型视觉 - 语言模型（LVLMs），它们能够根据视觉输入生成文本描述。然而，我们的调查发现生成的内容存在显著的偏见，主要受到底层大型语言模型（LLMs）的影响而非输入图像。为了纠正这些偏见并将模型的关注重点转向视觉信息，我们提出了两种简单且无需训练的策略。首先，对于分类或多项选择问题回答（QA）等任务，我们通过仿射变换提出了一个 “校准” 步骤来调整输出分布。这种 “事后去偏” 的方法确保了当图像不存在时每个答案都具有均匀的分数，作为一种有效的正则化技术以减轻 LLM 先验的影响。对于更复杂的开放式生成任务，我们将这种方法扩展为 “去偏抽样”，借鉴了对比解码方法的灵感。此外，我们的研究还揭示了 LVLMs 在不同解码配置下的不稳定性，通过对不同设置的系统性探索，我们显著提高了性能，超过了现有评估结果，并对公平性提出了关切。综合实验证明了我们提出的策略在减轻偏见方面的有效性。这些策略不仅有助于减少虚幻现象，还有助于生成更有用和准确的插图。

Mar, 2024

多选题问答系统的期望

本研究对最近在多项选择题回答（MCQA）数据集中取得高分的模型进行扰动实验，发现其表现不符合语言理解的人类期望，提出了一种新的训练方法，使模型更好地学习输入数据并使模型性能更好。

Nov, 2020

大型语言模型对多项选择题选项顺序的敏感性

在这篇论文中，我们研究了大型语言模型在多项选择题中的鲁棒性，发现其对选项顺序敏感，并存在位置偏差的问题。通过详细的分析和实验证明，通过调整选项的位置策略可以缓解或者放大模型的偏见，并提出了校准预测的两种方法，成功提高了不同模型和评估指标的性能。

Aug, 2023

大型语言模型是视频问答中的时间和因果推理器

通过使用 Flipped-VQA 框架，我们成功应用于 LLaMA-VQA 和其它 LLMs 模型，取得了在五个具有挑战性的 VideoQA 基准测试中优于基于 LLMs 和非 LLMs 模型的结果，并且实验证明 Flipped-VQA 不仅增强了语言快捷方式的利用，还减轻了由于过度依赖问题而导致错误答案的语言偏见。

Oct, 2023

从词汇扰动中学习，以实现一致的视觉问答

本文提出了一种使用模块化网络来改善视觉问答模型鲁棒性的方法，以及提出了一个包含大规模语言资源的低成本基准测试，我们的结果表明，对于 VQA 模型的训练和正则化，控制下的语言扰动是一种有用的但当前未充分利用的工具。

Nov, 2020