利用先进的视觉语言模型（VLMs）对合成图像进行识别的效果进行了研究，并通过调整最先进的图像字幕模型，利用大型 VLMs 的强大理解能力区分真实图像和扩散基模型生成的合成图像。

Apr, 2024

本文提出了一种基于语言引导对比学习的合成图像检测方法，通过添加文本标签来进行联合文本 - 图像对比学习进行取证特征提取，并将合成图像检测问题制定为一种识别问题。该方法在准确性和 AUC 指标上明显优于同类问题的现有方法。

May, 2023

通过研究大规模预训练图像生成模型在非可见光领域的应用，特别以合成孔径雷达（SAR）数据为案例研究，提出了一种 2 阶段低秩自适应方法（2LoRA）和改良版本原型 LoRA（pLoRA），以生成 SAR 数据并在 SAR 分类和分割模型的训练过程中取得显著的改进效果。

Nov, 2023

利用视觉 - 语言模型和提示调整技术，将深度伪造检测问题转化为视觉问题回答，实验表明通过预训练的视觉 - 语言模型和提示调整可以显著提高深度伪造检测的准确性。

Oct, 2023

通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

Feb, 2024

通过大量实验，我们展示了传统的视觉 - 语言模型（VLMs）所采用的常规适应方法的脆弱性，这可能带来重大的安全风险。此外，随着 VLMs 规模的增加，对 VLMs 进行传统的对抗性适应技术会带来高计算成本。为了解决这些问题，我们提出了一种名为 AdvLoRA 的参数高效对抗性适应方法，通过低秩适应进行了改进，设计了一种基于参数聚类和参数对齐的新型重新参数化方法，进一步提高了鲁棒性，解决了模型安全性和资源浪费问题。通过大量实验证明了 AdvLoRA 的有效性和高效性。

Apr, 2024

该论文提出了一种融合 Federated Learning 和 parameter-efficient adapters (LoRA) 的方法，以训练视觉语言模型 (VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过 LoRA 的参数高效微调来确保模型的适应性和效率。该方法加快了训练速度，比全面微调节省了 2.47 倍的内存使用。

Apr, 2024

本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

Jan, 2022

通过整合进阶的语言模型和生成式视觉模型，本研究提出了 LaVi-Bridge 管道，用于实现文本到图像的生成，证明这种整合可以显著改进文本对齐和图像质量等性能。

Mar, 2024

利用 GPT-4V 生成图像的详细标题、复杂的推理指令和详细答案，通过合成数据集，我们训练了 ALLaVA 模型，该模型在 12 个基准测试中取得了竞争性的性能，展示了在构建更高效的 LVLMs 中采用高质量数据的可行性。

Feb, 2024