Sep, 2023

SLiMe：类似分割

PDF
TL;DR使用大型视觉 - 语言模型，如 Stable Diffusion（SD），通过提出 SLiMe，可以以一张标注示例图像为代价，将图像分割为所需的任意粒度。在推理期间，SLiMe 能够以训练图像中分割区域的粒度对任意真实世界图像进行分割，只需一个示例图像。此外，利用其他可用的训练数据（即少样本）可以提高 SLiMe 的性能，我们的实验证明 SLiMe 优于其他现有的一次和少样本分割方法。
large vision-language modelsstable diffusionslimesegmentationfew-shot segmentation methods
发现论文，激发创造
  • LIME: 基于扩散模型中的关注正则化的本地图像编辑

    本文介绍了一种基于扩散模型的局部图像编辑方法，利用预训练模型和简单的聚类技术获取精确的语义分割图，通过交叉注意力图对这些分割进行精细调整，并提出了一种新颖的交叉注意力正则化技术，以确保局部编辑。这种方法在各种编辑基准测试中稳定地改善了现有方法的性能。

    Dec, 2023

  • EmerDiff：扩散模型中的新兴像素级语义知识

    使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

    Jan, 2024

  • SlimSeg：带边界监督的可变宽度语义分割

    本文提出了一种简单而有效的可调节语义分割方法（SlimSeg），该方法可以根据所期望的准确度和效率平衡在不同容量下进行推理，并通过阶梯式向下蒸馏的参数化通道精简来进行训练，并引入了边界引导的语义分割损失来改进每个子模型的性能，在 Cityscapes 和 CamVid 等语义分割基准测试中展示了我们提出的 SlimSeg 在各种主流网络上的灵活性能和比独立模型更好的性能。

    Jul, 2022

  • 基于基础模型的医学图像一次性定位和分割

    通过测试在自然图像上训练的各种预训练的视觉 Transformer 和稳定扩散模型，本研究证明它们在医学图像的对应问题和语义分割任务上能够取得良好的性能。

    Oct, 2023

  • A-SDM: 通过冗余消除和性能优化加速稳定扩散

    通过模型架构调整、冗余剪枝、全局 - 局部交互注意机制和语义感知监督等方法，本研究提出了一种有效训练轻量级模型、并在有限资源下提高模型速度的方法。

    Dec, 2023

  • 基于自然语言的语义分割

    LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

    Jan, 2022

  • 自校正的 LLM 控制扩散模型

    使用 Self-correcting LLM-controlled Diffusion (SLD) 框架，该研究提出了一种迭代闭环过程，能够根据输入的提示生成图像、评估其与提示的对齐性，并纠正生成图像中的不准确性，从而提高文本到图像生成的正确性。该研究还发现，通过调整 LLM 的指令，SLD 可以执行图像编辑任务，弥合文本到图像生成与图像编辑流程之间的差距。

    Nov, 2023

  • 自导引开放词汇语义分割

    通过提出自主引导的语义分割（Self-Seg）框架和基于 LLM 的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下，实现了开放式词汇分割的最新成果，并与提供类别名称的方法相竞争，取得了 Pascal VOC、ADE20K 和 CityScapes 的最具竞争力的结果。

    Dec, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 数据集扩散：基于扩散的像素级语义分割合成数据集生成

    通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

    Sep, 2023