本文提出了一种新的模型指纹技术，将唯一标识符印刷到生成内容中，以追溯图像的生成者，即模型的责任人，并在不影响生成内容质量的情况下，在 Text-to-Image（T2I）任务中将微调纳入其中；通过对 Stable Diffusion 模型进行大量评估，本方法为模型分发和负责任使用提供了一种有前途的新途径。

Jun, 2023

针对多模态AI在视觉-语言任务中引发的数据隐私问题，提出了基于差分隐私的CLIP模型(Dp-CLIP)，通过梯度裁剪和不满足DP-SGD文献分析所假设的平滑条件的损失函数之间的权衡来平衡效用和隐私保护。

Jun, 2023

提出了一种基于生成模型的低维流形中的对抗潜在编码来保护面部隐私的方法，该方法利用用户定义的化妆文本提示和保存身份信息的正则化来引导对潜在空间中的对抗编码的搜索，实验结果表明该方法的人脸隐私保护效果优于现有技术。

Jun, 2023

提出了一种利用视觉-语言模型CLIP作为零样本异常检测的数据源的新方法，通过在滑动窗口方式下对图像的每个部分应用提示引导分类，通过生成文本嵌入来训练前馈神经网络，从CLIP的嵌入中提取正常和异常特征，实现了无需训练图像的无类别异类检测，取得了零样本设置下的最新性能。

Aug, 2023

该论文介绍了一种面向文本到图像人物重识别任务的统一预训练方法(UniPT)，通过构建大规模的文本标注人物数据集、使用视觉-语言预训练框架来对齐图像和文本模态的特征空间，解决了数据不一致性和训练不一致性的问题。UniPT在多个数据集上取得了有竞争力的准确率。

Sep, 2023

利用余弦相似度阈值和弱监督攻击方法，对多模式模型进行成员推断攻击，研究表明 CLIP 模型容易受到攻击，而弱监督攻击方法在低误报率下平均性能提高 17%，至少比基准方法有效率提高 7 倍。

Sep, 2023

当前隐私研究主要集中在大型语言模型（LLM）提取训练数据的问题上。与此同时，模型的推论能力已大幅增强，这引发了一个关键问题：当前的LLM是否能通过推断来侵犯个人的隐私。在本研究中，我们提出了关于预训练LLM从文本中推断个人属性能力的首个全面研究。我们构建了一个由真实Reddit个人资料组成的数据集，并展示出当前LLM能够推断广泛的个人属性（如地点、收入、性别），在成本（人类所需的1%）和时间（人类所需的2.4%）上达到了高达85%的top-1准确率和95.8%的top-3准确率。由于人们越来越多地与LLM驱动的聊天机器人进行各个方面的互动，我们还探讨了通过似乎无害的问题来提取个人信息的侵犯隐私聊天机器人的新威胁。最后，我们证明了普遍采用的缓解措施，即文本匿名化和模型对齐，对于保护用户隐私免受LLM推断攻击是无效的。我们的研究结果表明，当前的LLM能够以以前无法想象的规模推断出个人数据。在缺乏有效防御措施的情况下，我们主张就LLM隐私影响展开更广泛的讨论，力求实现更广泛的隐私保护。

Oct, 2023

本研究旨在探索预训练视觉-语言模型（VLMs）在人工智能生成图像的普适检测中的潜力。我们基于CLIP特征开发了一种轻量级检测策略，并研究其在各种具有挑战性的场景下的性能。我们发现，与以往的观点不同，并不需要使用大量特定领域的数据集进行训练是必要且方便的。相反，通过仅利用来自单个生成模型的少量示例图像，基于CLIP的检测器展现出了出乎意料的泛化能力，并且在包括Dalle-3、Midjourney v5和Firefly在内的最新商业工具中具有高鲁棒性。我们在分布内数据上与SoTA相匹配，并在分布外数据的泛化能力（AUC提高6%）和受损/清洗数据的鲁棒性上实现了显著的改进（+ 13％）。我们的项目可以在此https URL找到。

Nov, 2023

通过研究多模式视觉-语言模型（VLMs）的影响力，我们发现这些模型能够从在线发布的图像中推理出个人属性，其中7个最先进模型的准确性高达77.6％，这意味着未来的模型可能被用作更强大的对手，需要开发适当的防御机制。

Apr, 2024

通过生成合成的反事实图像集合，采用脱节模型训练方法来改善Vision Language Models（VLMs）的公平性和性能。

Jun, 2024