Oct, 2023

AntifakePrompt: 基于提示调整的视觉语言模型用于检测假图像

PDF
TL;DR利用视觉 - 语言模型和提示调整技术，将深度伪造检测问题转化为视觉问题回答，实验表明通过预训练的视觉 - 语言模型和提示调整可以显著提高深度伪造检测的准确性。
deepfake detectiongenerative modelsvision-language modelsdetecting fake imagesprompt tuning
发现论文，激发创造
  • CLIPping the Deception: 转变视觉语言模型以适应通用深度伪造检测

    该研究探索了预训练视觉 - 语言模型与先进适应方法相结合在通用深假检测中的有效性，结果表明，保留视觉和文本部分对于检测效果至关重要。通过提出的简单轻量级的 Prompt Tuning 适应策略，使用较少的训练数据（20 万张图像，相较于 72 万张），在 mAP 和准确率上超过先前的方法 5.01% 和 6.61%。在 21 个不同数据集的严格测试中，该模型展现了在包括基于 GANs、基于 Diffusion 和商业工具生成的图像中的实际适用性。

    Feb, 2024

  • 利用大规模视觉语言模型进行合成图像检测

    利用先进的视觉语言模型（VLMs）对合成图像进行识别的效果进行了研究，并通过调整最先进的图像字幕模型，利用大型 VLMs 的强大理解能力区分真实图像和扩散基模型生成的合成图像。

    Apr, 2024

  • 视觉 - 语言模型的对抗提示调整

    通过引入 Adversarial Prompt Tuning (AdvPT) 技术，本研究旨在提升视觉 - 语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并且结合现有的基于图像处理的防御技术，进一步提高其防御能力。

    Nov, 2023

  • Videoprompter: 零 - shot 视频理解的一组基础模型

    本文提出了一种将预训练的判别性视觉 - 语言模型与预训练的生成性视频 - 文本和文本 - 文本模型相结合的框架，在零样本设置中引入了两个关键改进，提高了视觉 - 语言模型的性能，并在视频理解方面展示了一致的改进。

    Oct, 2023

  • 双对齐下的上下文感知视觉 - 语言模型提示调优

    利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

    Sep, 2023

  • 保护视觉语言模型免受已插入的视觉提示注入器的威胁

    通过 SmoothVLM 防御机制，本文针对视觉 - 语言模型中的补丁式对抗性提示注入进行研究，取得了成功的攻击率降低和上下文恢复率提高的平衡。

    May, 2024

  • 语言模型作为视觉 - 语言模型的黑盒优化器

    通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

    Sep, 2023

  • 基于人工提取的无人机驱动的异常检测：元引导提示策略中的提示优化

    我们提出了一种无需人工干预的基于提示的异常检测框架，通过数据驱动方法优化学习提示，解决了训练阶段缺乏异常样本的问题，并通过合理调整梯度方向和局部注意力机制，实现了像素级异常分割的高准确度。

    Jun, 2024

  • 使用预训练视觉语言模型的医学图像理解：一项全面研究

    本文通过研究预训练视觉语言模型在医学图像领域的知识传递能力，发现合理设计的医学提示语是调用预训练模型知识的关键。通过使用在领域间共享的表达属性提示，可实现知识跨越领域，改进泛化能力，对新对象的识别有所优化。此外，通过自动化生成医学提示的三种方法，可以将专家级的医学知识和图像特定信息注入提示语中，进行细粒度的信息定位，试验表明，与默认提示相比，巧妙设计的医学提示显著提高了零样本性能，且微调模型超过了受监督的模型。

    Sep, 2022

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024