利用扩散先验将生成模型和判别模型融合为统一的视觉感知模型

Jan, 2024

利用扩散先验将生成模型和判别模型融合为统一的视觉感知模型

Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors

Shiyin Dong, Mingrui Zhu, Kun Cheng, Nannan Wang, Xinbo Gao

TL;DRVermouth 是一个简单而有效的框架，由预训练的稳定扩散（SD）模型、能够集成分层表示的统一头部（U-head）和提供鉴别先验的调整专家构成，通过广泛的比较评估，在零样本基于草图的图像检索（ZS-SBIR）、少样本分类和开放词汇语义分割任务上展示了我们方法的效果，展示了扩散模型作为强大学习器的潜力，证明了它们在提供信息丰富和鲁棒的视觉表示方面的重要性。

Abstract

The remarkable prowess of diffusion models in image generation has spurred efforts to extend their application beyond generative tasks. However, a persistent challenge exists in lacking a unified approach to apply diffusion models to →

diffusion models visual perception unified framework generative priors discriminative priors

发现论文，激发创造

无文本扩散模型是否学习到有辨别力的视觉表征

一个统一的表示学习模型，通过使用扩散模型、U-Net、注意机制和反馈机制，能够在多个任务上竞争最先进的无监督图像表示学习方法。

Nov, 2023

扩散模型在图像分类上胜过 GAN

本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

Jul, 2023

大数据训练的扩散模型具有可迁移的视觉模型

通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

Mar, 2024

面向稠密视觉任务的扩散型通用模型

构建广义模型以同时解决多个计算机视觉任务是一个有趣的方向，本文探索基于扩散的视觉通用模型，将不同类型的密集预测任务统一为条件图像生成，并重新调整预训练的扩散模型，我们在四种不同类型的任务上实验证明了与其他视觉通用模型竞争性的性能。

Jun, 2024

DiffusionSeg: 适应扩散的非监督物体发现

本文提出了 DiffusionSeg 框架，利用预训练和扩散模型实现无监督物体发现，并采用合成 - 利用两阶段策略来缓解数据不足和结构差异问题，采用反演技术将图像映射回扩散特征，通过大量实验验证了该方法的优越性。

Mar, 2023

通过扩散特征弥合语义分割的领域差距

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

区分性扩散模型作为几个少样本视觉和语言学习器

该论文提出了一种名为 DSD 的创新方法，它利用预训练的 text-to-image 扩散模型进行少样本判别性学习，并使用交叉注意力分数捕捉视觉和文本信息之间的相互影响，并通过基于注意力的提示学习对模型进行微调，实现图文匹配，并在几个基准数据集上展示利用预训练扩散模型在少样本图文匹配上具有非凡的结果。

May, 2023

低层视觉中的扩散模型：概述

这篇综述论文全面地评估了扩散模型技术，并探讨了它们与其他深度生成模型的相关性，建立了理论基础。同时，该论文还总结了扩散模型在医学、遥感和视频等领域应用的情况，提供了常用基准和评估指标的概述，以及针对三个主要任务的扩散模型技术的全面评估。最后，作者指出当前扩散模型的局限性，并提出了未来研究的七个有趣方向。这篇综述论文旨在加深人们对于在低层次视觉任务中的去噪扩散模型领域的全面理解。

Jun, 2024

扩散模型是否具备视觉和语言推理能力？

通过引入 DiffusionITM 方法并且使用 Generative-Discriminative Evaluation Benchmark 进行 7 复杂的视觉语言任务的评估，我们发现在 CLEVR 和 Winoground 等组成任务中 Stable Diffusion + DiffusionITM 的结果优于 CLIP。此外，我们发现 Stable Diffusion 2.1 在大部分情况下比 Stable Diffusion 1.5 更少受到刻板印象的影响。

May, 2023

DetDiffusion：将生成模型和感知模型协同工作以提升数据生成和感知能力

当前的感知模型依赖于资源密集型的数据集，因此需要创新性的解决方案。通过利用扩散模型和合成数据，通过从各种注释中构建图像输入，有助于下游任务。DetDiffusion 首次统一了生成模型和感知模型，解决了为感知模型生成有效数据的挑战。为了增强感知模型的图像生成能力，我们引入了感知感知损失（P.A. 损失），通过分割改善图像的质量和可控性。为了提高特定感知模型的性能，我们的方法在生成过程中提取和利用感知感知属性（P.A. 属性）进行自定义数据增强。目标检测任务的实验结果突出了 DetDiffusion 卓越的性能，在布局引导生成方面建立了新的最先进技术水平。此外，DetDiffusion 生成的图像合成能够有效增强训练数据，显著提高下游检测性能。

Mar, 2024