通过修复补全在上下文中放置物体实现超出分布的分割

Feb, 2024

通过修复补全在上下文中放置物体实现超出分布的分割

Placing Objects in Context via Inpainting for Out-of-distribution Segmentation

Pau de Jorge, Riccardo Volpi, Puneet K. Dokania, Philip H. S. Torr, Gregory Rogez

TL;DR在本文中，我们提出了 Placing Objects in Context（POC）流程，通过扩散模型在任何图像中逼真地添加任何对象。通过基于 POC 生成的数据创建的不同异常分割数据集，我们展示了 POC 能够提高最新的先进异常微调方法在几个标准基准测试中的性能。此外，POC 还能有效地学习新的类别，并通过在 Cityscapes 样本中添加 Pascal 类别的子集来证明使用 POC 训练的模型与以 Pascal 为基准的模型具有可比较的性能，这验证了在 POC 生成的图像上训练的模型的低相似性差距。

Abstract

When deploying a semantic segmentation model into the real world, it will inevitably be confronted with semantic classes unseen during training. Thus, to safely deploy such systems, it is crucial to accurately evaluate and improve their →

semantic segmentation anomaly segmentation placing objects in context datasets performance

发现论文，激发创造

关于场景理解中数据增强的视觉上下文重要性

在通常正常的数据增量中增加特定任务需求的先验知识，在对象检测语境下，通过利用卷积神经网络来预测图像中可以放置物体的区域，同时仅使用有限的数据集，通过弱监督学习得到显著的提高。

Sep, 2018

全景非分布式分割

深度学习在全景分割方面取得了显著进展，但是全景分割在存在分布外（OOD）对象的情况下受到严重影响。为了解决这个问题，我们提出了一种用于联合像素级语义内部分布和分布外分类的分割方法。我们基于 Panoptic 分割基准数据集 Cityscapes 和 BDD100K，扩展了具有分布外实例分割注释的数据集，并提出了合适的评估指标和多个强基线模型。重要的是，我们提出了新颖的 PoDS 架构，包括共享的主干网络、用于学习全局和局部 OOD 对象线索的 OOD 上下文模块，以及使用我们的对齐 - 不匹配策略的双对称解码器和任务特定头。结合我们的数据增强策略，这种方法有助于逐步学习分布外对象并保持内部分布性能。我们进行了大量评估实验证明我们提出的 PoDS 网络可以有效地解决主要挑战并显著优于基线模型。我们在此 http 链接上公开提供数据集、代码和训练好的模型。

Oct, 2023

建模视觉上下文是扩充物体检测数据集的关键

本研究旨在通过利用分割注释来增加训练数据中的物体实例数量，通过适当地对物体周围的视觉环境进行建模以在物体所处的正确环境中放置它们，以提高少量标记样本的 VOC'12 基准测试平均精度。

Jul, 2018

基于轮廓引导的扩散模型目标修复

使用扩充数据集的方法，通过创建基于注释目标实例的多样化图像和标记对来对实例分割数据集进行增强，同时保留原有标记的一致性。实验结果显示该方法成功生成了实际的目标实例变体，并在扩增区域内引入了多样性。同时，该方法可以与文本指导和其他图像增强技术自然地结合。

Feb, 2024

连接点：利用语境不一致性检测敌对扰动

本研究提出了一种基于上下文一致性规则学习的深度神经网络攻击检测方法，通过建立了一组自动编码器来检测违反上下文一致性规则的对抗扰动，实验证明该方法可以有效检测各种对抗攻击。

Jul, 2020

语义分割中的超范围物体检测与检索

本文通过在不同的数据集上使用深度学习的方法，实现了以城市街道场景为基础的图像识别模型对于不同场景下的物体进行准确分类和目标检测，并且通过对于特征向量的提取和降维，成功实现了基于图像碎片的图像检索和分割。

May, 2020

O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

Aug, 2023

学习通过首先移除图像对象来添加图像对象的绘画

通过利用分割蒙版数据集和在蒙版内修复的修复模型，我们可以实现自动逆向修复过程，将对象添加到图像中，在没有用户提供的输入蒙版的情况下，提供了一种无缝地根据文本指令添加对象的方法。

Apr, 2024

点在上下文中的理解：通过上下文学习理解点云

通过引入 Point-In-Context（PIC）框架，利用 in-context learning 解决 3D 点云的任务，同时提出了增强版 PIC-S，通过动态上下文标签和额外的上下文对提高模型性能和泛化能力。

Apr, 2024

检测语义异常

本文讨论了在实际场景中对特定语境下的语义异常进行评估的问题，并提出了一组以实际应用为基础的基准。我们使用一种基于多任务学习算法的方法在这些基准上取得了进展，并证明了辅助目标的提高可以改善语义感知，同时带来更好的一般化收益。

Aug, 2019