通过在合成数据中嵌入自然图像模式学习零样本材料状态分割

Mar, 2024

通过在合成数据中嵌入自然图像模式学习零样本材料状态分割

Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data

Sagi Eppel, Jolina Li, Manuel Drehwald, Alan Aspuru-Guzik

TL;DR通过在合成数据中嵌入从真实世界图像中提取的图案，我们提出了一种方法来弥合真实世界和合成数据之间的差距，从而使生成的数据能够捕捉到真实世界的复杂性，并保持合成数据的精度和规模。我们还提出了一个类别无关的材料状态分割的基准，其包含各种材料状态的真实世界图像，如烹饪、食物、岩石、建筑、植物和液体等。在此任务上，我们展示了 MatSeg 网络在训练中明显优于现有的最先进方法。

Abstract

visual understanding and segmentation of materials and their states is fundamental for understanding the physical world. The infinite textures, shapes and often blurry boundaries formed by material make this task particularly hard to generalize. Whether it's identifying wet regions of

visual understanding materials segmentation synthetic data unsupervised approach benchmark

发现论文，激发创造

语义图像抠图

本文提出使用语义分类的前景语境信息以及语义 trimap 对自然图像抠图进行改进，并就此进行了大规模实验，获得了当下具有最高竞争力的性能表现。同时，我们提供了一个考虑不同语义类别平衡的大型语义图像抠图数据集。

Apr, 2021

基于点和形状正则化数据合成的显微镜图像分割

通过联合训练生成显微镜图像的假数据，以点标注为训练数据，实现显微镜图像分割的方法。

Aug, 2023

使用合成数据理解现实世界室内场景的 SceneNet

本文研究场景理解问题，通过使用计算机图形学生成合成 3D 场景，以解决手动收集大量数据问题，从而避免了收集数据的麻烦和昂贵成本。通过使用深度数据作为输入仅使用 RGB-D 系统的深度数据，我们在 NYUv2 数据集上的表现相当于最先进的 RGBD 系统，并在 SUN RGB-D 数据集上设置了基准。文章还探讨了生成合成图像或视频数据，以及分析影响性能增益的不同因素。

Nov, 2015

城市场景语义分割中合成数据的有效使用

本文提出了一种无需真实图像数据的方法，通过修改前景和背景类的训练方法来适应合成图像，有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。

Jul, 2018

稳健的笔画分割的综合数据

深度学习在神经影像学中的语义分割目前需要高分辨率扫描和大型标注数据集，给临床适用性带来了显著障碍。本文提出了一种新颖的合成框架，用于病灶分割任务，扩展了现有的 SynthSeg 方法的能力，以适应具有大型异质病理的病灶特定增强策略。我们的方法使用从健康和中风数据集导出的标签图来训练深度学习模型，在没有特定序列训练数据的情况下，实现了对健康组织和病理病变的分割。在领域内和领域外（OOD）数据集的评估中，我们的框架展示出稳定的性能，在培训领域内与当前方法相媲美，在 OOD 数据上明显优于它们。这一贡献有望推动临床环境中医学影像分析的进展，特别是针对中风病理学，通过在不同的成像序列上实现可靠的分割，减少对大型标注数据的依赖。代码和权重可在此网址获得: https://URL

Apr, 2024

合成数据用于多物体抓握中的快速注释和鲁棒分割

本研究提出了一种合成数据生成方法，结合小规模真实数据集，通过生成的合成场景数据和深度信息，训练出在物体识别、姿态估计和图像分割等方面表现优越的机器人抓取算法。

Jan, 2024

使用一致性引导细节正则化学习多个表示的蒙版引导抠像

我们提出了一个新颖的辅助学习框架，利用语义分割、边缘检测和背景线检测等三个辅助任务，从不同类型的数据和注释中学习不同而有效的表示，以解决合成遮罩数据所带来的过拟合、对复杂结构对象和实际场景的泛化不足、以及背景线或纹理的干扰等挑战，我们还提出了高质量的 matting 基准，Plant-Mat，实验结果表明我们的方法优于现有的 mask-guided 方法。

Mar, 2024

室内场景物体检测训练数据的合成

本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

Feb, 2017

语义分割中的可靠性问题：我们能否使用合成数据？

本文挑战了最先进的生成模型，通过对稳定扩散进行微调，在语义分割方面自动生成合成数据以评估其可靠性。通过广泛实验，我们表明合成数据与真实异常数据的表现之间存在高度相关性，从而显示了该方法的有效性。此外，我们说明了如何利用合成数据来提高分割器的校准和异常检测能力。

Dec, 2023

从合成数据中学习语义分割：一种几何引导的输入输出适应方法

本研究利用合成数据中的几何信息，结合图像翻译网络和任务网络，通过对抗性训练同时进行深度估计和语义分割，有效地缩小域差距，实现了跨域语义分割的重大性能提高。

Dec, 2018