图像扩散中的紧急对应

Jun, 2023

Emergent Correspondence from Image Diffusion

Luming Tang, Menglin Jia, Qianqian Wang, Cheng Perng Phoo, Bharath Hariharan

TL;DR本文提出 DIffusion FeaTures (DIFT) 方法来确立图像之间的对应关系，在稳定扩散的情况下，DIFT 均能够在语义、几何和时间上优于弱监督方法以及其他对照组，尤其是在 SPair-71k 基准测试中，DIFT 相对于 DINO 和 OpenCLIP 的准确率分别提高了 19 个和 14 个点，即使在总体性能上表现相当的情况下，在 18 个类别中有 9 个可以超越最先进的监督方法。

Abstract

Finding correspondences between images is a fundamental problem in computer vision. In this paper, we show that correspondence emerges in image diffusion models without any explicit supervision. We propose a simple strategy to extract this implicit knowledge out of diffusion networks a

correspondences image diffusion models diffusion features semantic correspondence stable diffusion

发现论文，激发创造

扩散超特征：在时空中搜索语义对应关系

本文介绍了 Diffusion Hyperfeatures 框架，该框架用于将多尺度和多时间步长的特征图聚合成每像素特征描述符，可以用于图像生成和反推过程，该框架在语义关键点对应任务中表现出优秀的性能，并且具有灵活的可转移性。

May, 2023

两种特征的故事：稳定膨胀补充 DINO 在零样本语义对应中的效果

该研究介绍了如何使用 Stable Diffusion 特征进行语义和密集的图像特征对应，并发现这些特征与现有的特征学习特征有很大的不同。他们提出了一种简单的融合方案，利用融合特征进行零样本最近邻方法，此方法在 SPair-71k、PF-Pascal、TSS 等标准数据集上的表现超过同类技术，同时还展示了特征对应可以实现有趣的应用，如两张图片的实例置换。

May, 2023

通过扩散特征弥合语义分割的领域差距

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

使用稳定扩散进行无监督语义对应

本论文提出了一种新的利用语义知识的图像生成方法，通过优化模型中的提示值，可以实现在多张图片中寻找相同语义意义的位置，可以在多个数据集上达到最先进的性能。

May, 2023

Diff-Reg v1：用于配准问题的扩散匹配模型

建立可靠的对应关系对于 3D 和 2D3D 对准等任务至关重要。为了解决大变形、尺度不一致和模糊匹配问题所带来的挑战，本文引入了一种用于建立鲁棒对应关系的扩散匹配模型，在双随机矩阵空间内将对应估计视为去噪扩散过程，逐步去噪（细化）双随机匹配矩阵至准确的匹配矩阵，以进行高质量的对应估计。该方法在 3D 和 2D3D 对准任务上的评估验证了其有效性。

Mar, 2024

用扩散模型在图像之间进行插值

通过使用潜在扩散模型进行无监督插值，我们在降噪、文本嵌入和主题姿势上实现了一致而令人信服的图像插值，而传统的数量指标如 FID 则无法准确度量插值质量。

Jul, 2023

DiffMatch: 密集匹配的扩散模型

提出了 DiffMatch 框架，使用基于扩散的条件去噪模型显式地建模了两个术语：数据项和先验项，以解决匹配模糊性问题，实验证明其优于现有技术。

May, 2023

FreeReg: 集成预训练扩散模型和单目深度估计的图像到点云注册

图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

Oct, 2023

3DiffTection：具有几何感知扩散特征的三维物体检测

我们介绍了 3DiffTection，这是一种用于从单张图像中进行 3D 物体检测的最先进方法，利用了来自 3D 感知扩散模型的特征。通过两种专门的调整策略：几何和语义，我们的方法弥合了这些差距。通过我们的方法，我们获得了为 3D 检测量身定制的 3D 感知特征，以及在识别跨视角点对应方面表现出色的能力。

Nov, 2023

Diffusion 3D 特征（Diff3F）：用精炼的语义特征装饰无纹理形状

我们提出了 Diff3F 作为一种简单、健壮且与类别无关的特征描述符，可用于计算无纹理输入形状（网格或点云）。我们的方法从图像基础模型中提取扩散特征到输入形状。通过使用输入形状生成深度和法线图作为条件图像合成的指导，我们能够在 2D 上生成（扩散）特征，并在原始表面上进行提升和聚合。我们的关键观察是，即使从输入形状的多视图渲染得到的条件图像生成结果不一致，相关的图像特征是稳健的，并且可以直接在视图间进行聚合。这产生了输入形状上的语义特征，而无需额外的数据或训练。我们在多个基准测试（SHREC'19、SHREC'20 和 TOSCA）上进行了大量实验证明，我们的特征，作为语义而不是几何特征，能够在同构和非同构相关的形状族之间产生可靠的对应关系。

Nov, 2023