May, 2024

隐私感知的视觉语言模型

PDF
TL;DR本文介绍了一项关于 Visual Language Models（VLMs）处理隐私敏感信息的研究，引入了一个新的基准 PrivBench，并在其中评估了 10 个最先进的 VLMs。研究结果表明，VLMs 对隐私的理解普遍有限，因此提出了一个新的训练数据集 PrivTune，通过在此数据集上调整预训练的 VLMs，取得了对敏感内容的强大识别能力，并说明隐私调整几乎不影响 VLMs 在标准基准测试上的性能。总的来说，本文提出了使 VLMs 在处理现实世界数据时安全有效的重要挑战，并提供了首次构建隐私感知 VLMs 的简单方法。
visual language modelsprivacy-sensitive informationbenchmarkprivtunevlms
发现论文，激发创造
  • 大型语言模型可以作为良好的隐私保护学习者

    利用特定域数据对大型语言模型进行微调时，存在个人身份信息敏感度的问题。为了解决这一挑战，我们引入了隐私保护语言模型（PPLM），通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析，并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是，正负样本指令微调成为一种有潜力的方法，可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。

    Oct, 2023

  • 使用视觉 - 语言模型从图像中推断私密属性

    通过研究多模式视觉 - 语言模型（VLMs）的影响力，我们发现这些模型能够从在线发布的图像中推理出个人属性，其中 7 个最先进模型的准确性高达 77.6％，这意味着未来的模型可能被用作更强大的对手，需要开发适当的防御机制。

    Apr, 2024

  • P-Bench: 语言模型多层隐私评估基准

    我们提出了 P-Bench，这是一个用于经验和直观地量化语言模型的隐私泄漏的多角度隐私评估基准，并对各种隐私保护语言模型进行公平和直观的评估。

    Nov, 2023

  • 分析基于视觉条件的语言模型的设计空间：棱镜式 VLMs

    通过一系列标准化评估和深入研究，提供了视觉相关语言模型 (VLMs) 的能力和设计决策，包括图像预处理、架构和优化等方面的细致洞察。

    Feb, 2024

  • 语言模型如何受指导以保护个人信息？

    大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

    Oct, 2023

  • 红队模拟可视化语言模型

    研究通过 RTVLM 数据集评估当前开源 VLM 在红队评测中的性能差距，结果显示这些 VLM 在不同程度上面临红队挑战，并且与 GPT-4V 相比，性能差距高达 31%。将红队诱导方法应用于 LLaVA-v1.5 模型，性能提高了 10% 以上，并显示出其他基于 LLaVA 的模型无法达到的性能，同时产生的数据对性能并无明显下降。

    Jan, 2024

  • MyVLM: 为用户特定查询个性化 VLM

    对于个性化视觉 - 语言模型，我们探索了增加外部概念头和中间特征空间中的概念嵌入来实现对用户提供的概念的识别和自然整合，并将其应用于个性化图像字幕生成和个性化视觉问答，结果表明模型可以推广到学习概念的未见图像，并保持在无关输入上的模型行为。

    Mar, 2024

  • AVIBench: 评估大型视觉语言模型在对抗性视觉指导下的稳健性

    评估大规模视觉 - 语言模型（LVLMs）对敌对性视觉指令的稳健性和内容偏见的重要性，引入了 AVIBench 框架，通过多模态任务和内容偏见生成各类敌对性视觉指令进行全面评估。发现现有 LVLMs 存在漏洞和内在偏见，强调提高 LVLMs 的稳健性、安全性和公平性的重要性。

    Mar, 2024

  • 探索中文大型语言模型的隐私保护能力

    我们设计了一个三层渐进式框架，用于评估语言系统的隐私，以解决大型语言模型在隐私保护方面的问题。观察结果显示，现有的汉语大型语言模型普遍存在隐私保护方面的缺陷，可能在基于这些模型的应用中带来相应的隐私风险。

    Mar, 2024

  • 大语言模型时代的隐私保护：你所写即你所是

    本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

    Apr, 2022