多模态大语言模型的能量 - 延迟操控：冗长样本

Apr, 2024

多模态大语言模型的能量 - 延迟操控：冗长样本

Energy-Latency Manipulation of Multi-modal Large Language Models via Verbose Samples

Kuofeng Gao, Jindong Gu, Yang Bai, Shu-Tao Xia, Philip Torr...

TL;DR利用不可察觉的干扰产生高能耗和时延开销，作者提出了一种针对多模态大型语言模型的攻击方法，通过生成冗长样本并设计一系列损失函数来延长生成序列长度，并提出了一个时间加权调整算法来平衡这些损失。

Abstract

Despite the exceptional performance of multi-modal large language models (MLLMs), their deployment requires substantial computational resources. Once malicious users induce high energy consumption and latency time (energy-latency cost), it will exhaust computational resources and harm

multi-modal large language models energy-latency cost crafting imperceptible perturbation verbose samples temporal weight adjustment algorithm

发现论文，激发创造

用冗长图像引发大型视觉语言模型的高能耗延迟

通过制造细微的扰动来诱导大型视觉 - 语言模型在推理过程中生成较长的句子，从而提高了生成长度和时间成本，造成能源和计算资源的枯竭。

Jan, 2024

MLLMs 增强的视觉 - 语言表示学习

我们展示了多模态大型语言模型（MLLMs）通过提高数据质量来增强视觉语言表示学习，使用 MLLMs 扩展每个图像的多个标题，通过 “文本切割” 方法来防止 MLLMs 引入的偏见和内在标题风格，并在图像文本检索中，在微调和零样本设置下分别获得 5.6〜35.0％和 16.8〜46.1％的 R@1 提升，并且我们的零样本结果可与目标数据集上的微调相媲美，鼓励更多对 MLLMs 的多方面使用的探索。

Nov, 2023

融入视觉专家解决多模态大语言模型中的信息损失

这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

Jan, 2024

分析多模态大型语言模型的视觉感知

本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

May, 2024

在大型语言模型中使用视觉对抗样本错误使用工具

大型语言模型对多模态处理和工具使用能力的增强带来了新的好处和安全风险，本文揭示了攻击者可以使用视觉对抗样本来引发特定工具使用的能力。攻击可以影响与 LLM 连接的用户资源的机密性和完整性，同时保持隐秘性，并且可泛化到多个输入提示。通过基于梯度的对抗训练构建这些攻击，并在多个维度上表征其性能。研究发现，我们的对抗图像几乎总能以接近真实语法的方式操控 LLM 来调用工具（准确率约为 98%），同时保持与原始图像的高相似度（约 0.9 SSIM）。此外，通过人工评分和自动化指标，我们发现这些攻击对用户与 LLM 之间的对话（及其语义）没有显著影响。

Oct, 2023

插上并祈祷：利用多模态模型的现成组件

多模型系统中对抗嵌入空间攻击，特别是使用预训练编码器，可能导致上下文污染和隐藏提示注入，对系统的行为产生重大影响，因此在插拔式系统中应对其进行全面检查以确保安全性。

Jul, 2023

从文字到瓦特：大型语言模型推理的能源成本基准测试

大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的 LLMa 在两代热门 GPU（NVIDIA V100 和 A100）以及两个数据集（Alpaca 和 GSM8K）上的推理性能与推理能源成本。

Oct, 2023

多模态大型语言模型中信息存储和传递的理解

理解变压器模型中的信息存储和传输机制对推进模型理解的进展至关重要，最近的研究关注了大型语言模型（LLMs）中的这些机制，揭示了信息存储在模型参数中的方式以及特定提示下信息如何流入和流出这些参数，然而，这些研究尚未扩展到多模态大型语言模型（MLLMs）。

Jun, 2024

从冗余到相关性：增强多模态大型语言模型的可解释性

通过分析信息流的动态流动，我们发现信息流似乎在浅层中汇聚，进一步的研究揭示了浅层中图像令牌的冗余，因此引入了一个截断策略来聚合这些浅层内的图像令牌，该方法通过多个模型上的实验证实，并获得了一致的改进。

Jun, 2024

多模型大语言模型中的灾难性遗忘研究

通过将多模态大型语言模型（MLLM）视为图像分类器，并引入 EMT（用于评估 MLLM 中的灾难性遗忘）来评估现有的 MLLM 并检测到 fine-tuning 在图像分类任务上性能下降的问题。研究发现，几乎所有评估的 MLLM 在标准图像分类任务上都无法保持与视觉编码器相同的性能水平，并且尽管初期 fine-tuning 可以提高在其他图像数据集上的性能，但随着 fine-tuning 的进行，MLLM 开始产生幻觉，并导致了显著的泛化能力损失。因此，MLLM 在标准图像分类任务上的性能仍有待提高。

Sep, 2023