Jul, 2023

跨领域语义分割的激励扩散表示

HTML
PDF
TL;DR本文研究了将扩散模型预训练的特征表示用于语义分割的能力，发现这种方法可以在新的领域中实现非常出色的泛化能力，并提出了基于输入提示的跨域性能增强策略，包括场景提示、提示随机化、无监督学习的场景提示等，以及测试时域适应的方法，可以在不需要其他复杂技术的情况下，在四个合成到真实、清晰到恶劣天气数据集上实现最新的最优性能。
发现论文，激发创造
  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021

  • 语义扩散网络用于语义分割

    本文提出了一种运用语义扩散网络（SDN）进行边界特征增强来提高深层语义分割模型预测性能的方法，包括运用各向异性扩散过程进行边界特征增强和引入可学习的SDN，通过提出的SDN，可以构建从原始特征到跨类边界增强特征的可微映射。实验证明，我们的方法在几个典型和最先进的分割基线模型上均能实现一致的改进。

    Feb, 2023

  • 基于扩散的图像转换在领域自适应语义分割中的应用

    通过使用源领域标签作为图像翻译的明确指导，本文提出了一种创新的方法来解决领域自适应语义分割中的语义一致的局部细节保持问题，并利用了渐进翻译学习策略来实现在具有大差距领域中可靠工作的语义梯度引导方法。大量实验证明了我们方法相对于最先进的方法的优越性。

    Aug, 2023

  • 数据集扩散：基于扩散的像素级语义分割合成数据集生成

    通过利用文本到图像生成模型Stable Diffusion (SD)的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在PASCAL VOC和MSCOCO两个数据集上进行了评估，我们的方法明显优于同行的工作。

    Sep, 2023

  • 基于扩散的域延伸用于通用语义分割的泛化方法

    通过扩展域的方法进行无目标数据的模型泛化，在各种数据集和结构上的性能大幅提升，为领域适应和泛化性能带来了重要突破。

    Dec, 2023

  • 利用扩散模型和元提示进行视觉感知

    通过引入可学习的嵌入（元提示）来利用扩散模型解决视觉感知任务，我们的方法在深度估计和语义分割任务上取得了新的性能记录，并在ADE20K的语义分割和COCO数据集的姿态估计等方面达到了与最先进方法相媲美的结果，展示了其稳健性和多功能性。

    Dec, 2023

  • 基于预训练扩散模型的零样本视频语义分割

    我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法，该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法，并且在VSPW数据集上与有监督的视频语义分割方法不相上下，尽管它没有经过显式的VSS训练。

    May, 2024

  • 通过扩散特征弥合语义分割的领域差距

    利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

    Jun, 2024

  • 释放扩散模型在少-shot语义分割中的潜力

    本研究针对扩散模型在图像生成领域的成就，探讨其作为有效的无标签数据预训练方法在少-shot语义分割中的应用。我们提出了一种基于自注意力框架的KV融合方法，优化了支持图像和查询图像之间的信息交互，构建了名为DiffewS的框架，实验结果显示其在多个设置中显著超越了现有的最先进模型。

    Oct, 2024

  • 释放扩散模型在少样本语义分割中的潜力

    本研究针对扩散模型在少样本语义分割中的应用潜力进行了探索。我们提出了一种基于自注意力框架的KV融合方法，优化了查询图像与支持图像之间的信息交互。实验结果表明，所提出的DiffewS框架在多个设置中显著优于现有的最先进模型。

    Oct, 2024