两种特征的故事：稳定膨胀补充 DINO 在零样本语义对应中的效果

May, 2023

两种特征的故事：稳定膨胀补充 DINO 在零样本语义对应中的效果

A Tale of Two Features: Stable Diffusion Complements DINO for Zero-Shot Semantic Correspondence

Junyi Zhang, Charles Herrmann, Junhwa Hur, Luisa Polania Cabrera, Varun Jampani...

TL;DR该研究介绍了如何使用 Stable Diffusion 特征进行语义和密集的图像特征对应，并发现这些特征与现有的特征学习特征有很大的不同。他们提出了一种简单的融合方案，利用融合特征进行零样本最近邻方法，此方法在 SPair-71k、PF-Pascal、TSS 等标准数据集上的表现超过同类技术，同时还展示了特征对应可以实现有趣的应用，如两张图片的实例置换。

Abstract

text-to-image diffusion models have made significant advances in generating and editing high-quality images. As a result, numerous approaches have explored the ability of diffusion model features to understand and process single images for downstream tasks, e.g., classification, semant

text-to-image diffusion models stable diffusion features semantic and dense correspondence representation learning features fusion features

发现论文，激发创造

图像扩散中的紧急对应

本文提出 DIffusion FeaTures (DIFT) 方法来确立图像之间的对应关系，在稳定扩散的情况下，DIFT 均能够在语义、几何和时间上优于弱监督方法以及其他对照组，尤其是在 SPair-71k 基准测试中，DIFT 相对于 DINO 和 OpenCLIP 的准确率分别提高了 19 个和 14 个点，即使在总体性能上表现相当的情况下，在 18 个类别中有 9 个可以超越最先进的监督方法。

Jun, 2023

通过扩散特征弥合语义分割的领域差距

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

使用稳定扩散进行无监督语义对应

本论文提出了一种新的利用语义知识的图像生成方法，通过优化模型中的提示值，可以实现在多张图片中寻找相同语义意义的位置，可以在多个数据集上达到最先进的性能。

May, 2023

扩散超特征：在时空中搜索语义对应关系

本文介绍了 Diffusion Hyperfeatures 框架，该框架用于将多尺度和多时间步长的特征图聚合成每像素特征描述符，可以用于图像生成和反推过程，该框架在语义关键点对应任务中表现出优秀的性能，并且具有灵活的可转移性。

May, 2023

扩散模型其实是一个零样本分类器

本文介绍了基于文本和图像结合模型的生成分类方法，利用如 Stable Diffusion 的扩展图像扩散模型提供的在不需要额外训练的条件概率密度估计，实现了零样本分类，并证明其能够在多种基准测试上获得强大的结果及优于竞争方法的效果，同时还发现与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的 SOTA 判别分类器相近的性能。

Mar, 2023

EmerDiff：扩散模型中的新兴像素级语义知识

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

区分性扩散模型作为几个少样本视觉和语言学习器

该论文提出了一种名为 DSD 的创新方法，它利用预训练的 text-to-image 扩散模型进行少样本判别性学习，并使用交叉注意力分数捕捉视觉和文本信息之间的相互影响，并通过基于注意力的提示学习对模型进行微调，实现图文匹配，并在几个基准数据集上展示利用预训练扩散模型在少样本图文匹配上具有非凡的结果。

May, 2023

SD4Match：学习稳定扩散模型进行语义匹配

通过使用稳定扩散中 UNet 的中间输出作为鲁棒的图像特征图，将基本提示调整技术应用于稳定扩散，进一步引入了基于输入图像对局部细节的条件提示模块，从而显著提高了准确性；在 PF-Pascal、PF-Willow 和 SPair-71k 数据集上的综合评估表明，SD4Match 在所有这些数据集上都建立了新的准确性基准，特别是在具有挑战性的 SPair-71k 数据集上，SD4Match 的性能超过了先前的最新技术水平 12 个百分点。

Oct, 2023

扩散，关注与分割：利用稳定扩散进行无监督零样本分割

利用稳定扩散模型中的自注意力层以及基于测量注意力图之间的 KL 散度的简单而有效的迭代合并过程，我们提出了一种无需训练或语言依赖性，能够从任何图像中提取质量分割的方法。在 COCO-Stuff-27 上，我们的方法在像素准确率和平均 IoU 上都比之前最先进的无监督零样本方法提高了 26% 和 17%。

Aug, 2023

基于基础模型的医学图像一次性定位和分割

通过测试在自然图像上训练的各种预训练的视觉 Transformer 和稳定扩散模型，本研究证明它们在医学图像的对应问题和语义分割任务上能够取得良好的性能。

Oct, 2023