扩散超特征：在时空中搜索语义对应关系

May, 2023

扩散超特征：在时空中搜索语义对应关系

Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence

Grace Luo, Lisa Dunlap, Dong Huk Park, Aleksander Holynski, Trevor Darrell

TL;DR本文介绍了 Diffusion Hyperfeatures 框架，该框架用于将多尺度和多时间步长的特征图聚合成每像素特征描述符，可以用于图像生成和反推过程，该框架在语义关键点对应任务中表现出优秀的性能，并且具有灵活的可转移性。

Abstract

Diffusion models have been shown to be capable of generating high-quality images, suggesting that they could contain meaningful internal representations. Unfortunately, the feature maps that encode a diffusion model's internal information are spread not only over layers of the network, but also over diffusion timesteps, making it challenging to extract usefu

diffusion hyperfeatures multi-scale feature maps semantic keypoint correspondence generation features inversion features

发现论文，激发创造

图像扩散中的紧急对应

本文提出 DIffusion FeaTures (DIFT) 方法来确立图像之间的对应关系，在稳定扩散的情况下，DIFT 均能够在语义、几何和时间上优于弱监督方法以及其他对照组，尤其是在 SPair-71k 基准测试中，DIFT 相对于 DINO 和 OpenCLIP 的准确率分别提高了 19 个和 14 个点，即使在总体性能上表现相当的情况下，在 18 个类别中有 9 个可以超越最先进的监督方法。

Jun, 2023

通过扩散特征弥合语义分割的领域差距

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

当高光谱图像分类遇见扩散模型：一种无监督特征学习框架

本文提出了一种基于扩散模型的非监督超光谱图像 (HSI) 特征学习框架 Diff-HSI，其可以利用时间步长性质捕捉更丰富的特征，设计了一个时间步骤的特征库和动态特征融合模块，最后实现了 HSI 分类。在三个公共 HSI 数据集上进行的广泛实验证明，Diff-HSI 优于各种现有的监督和非监督 HSI 分类方法。

Jun, 2023

EmerDiff：扩散模型中的新兴像素级语义知识

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

两种特征的故事：稳定膨胀补充 DINO 在零样本语义对应中的效果

该研究介绍了如何使用 Stable Diffusion 特征进行语义和密集的图像特征对应，并发现这些特征与现有的特征学习特征有很大的不同。他们提出了一种简单的融合方案，利用融合特征进行零样本最近邻方法，此方法在 SPair-71k、PF-Pascal、TSS 等标准数据集上的表现超过同类技术，同时还展示了特征对应可以实现有趣的应用，如两张图片的实例置换。

May, 2023

超像素流：多层神经特征的语义对应

本研究提出了一种基于超像素的图像匹配算法，利用卷积神经网络中的早期到后期的相关特征，结合 Hough 几何投票算法，能够有效地处理大量图像，并在多个标准基准测试中创造新的记录。

Aug, 2019

使用稳定扩散进行无监督语义对应

本论文提出了一种新的利用语义知识的图像生成方法，通过优化模型中的提示值，可以实现在多张图片中寻找相同语义意义的位置，可以在多个数据集上达到最先进的性能。

May, 2023

FRDiff: 精细的零编码加速扩散模型的特征复用

引入一种高级加速技术 ——FRDiff，通过利用扩散模型中固有的时间冗余，重复使用具有高时间相似性的特征图，实现了在各种生成任务中在保真度和延迟折衷之间平衡的 Pareto 前沿。

Dec, 2023

扩散模型中的相变揭示了数据的层级性质

研究表明，扩散模型在捕捉图像等自然数据中的层次组合特征方面具有潜力，通过分析层次生成模型的反向扩散过程，发现在某个阈值时间后，高层次特征的重构概率突然下降，而低层次特征的重构则在整个扩散过程中平滑演化，这为扩散模型的时间与尺度关系提供了理论研究，并将生成模型提出作为建模组合数据特性的强大工具。

Feb, 2024

DiffPose：基于视频的人体姿势估计的时空扩散模型

DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

Jul, 2023