语义分割中的可靠性问题：我们能否使用合成数据？

Dec, 2023

语义分割中的可靠性问题：我们能否使用合成数据？

Reliability in Semantic Segmentation: Can We Use Synthetic Data?

Thibaut Loiseau, Tuan-Hung Vu, Mickael Chen, Patrick Pérez, Matthieu Cord

TL;DR本文挑战了最先进的生成模型，通过对稳定扩散进行微调，在语义分割方面自动生成合成数据以评估其可靠性。通过广泛实验，我们表明合成数据与真实异常数据的表现之间存在高度相关性，从而显示了该方法的有效性。此外，我们说明了如何利用合成数据来提高分割器的校准和异常检测能力。

Abstract

Assessing the reliability of perception models to covariate shifts and out-of-distribution (OOD) detection is crucial for safety-critical applications such as autonomous vehicles. By nature of the task, however,

perception models covariate shifts out-of-distribution detection generative models synthetic data

发现论文，激发创造

通过风格对齐的异常感知语义分割

自动驾驶背景下，为了在开放世界中部署无人车时遇到未知对象，将标准语义分割模型配备异常感知能力至关重要。本文通过减小合成的超出分布数据和驾驶场景之间的领域差异，有效缓解训练中可能出现的突破口，提升了超出分布合成过程。此外，我们提出了一种简单的微调损失函数，有效地促使预训练的语义分割模型生成 “给定类别之外” 的预测，利用像素级超出分布分数进行异常分割。在最小化微调工作的情况下，我们的流程使得在异常分割任务中能够使用预训练模型，同时保持对原始任务的性能。

Aug, 2023

城市场景语义分割中合成数据的有效使用

本文提出了一种无需真实图像数据的方法，通过修改前景和背景类的训练方法来适应合成图像，有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。

Jul, 2018

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

Jun, 2023

合成数据用于多物体抓握中的快速注释和鲁棒分割

本研究提出了一种合成数据生成方法，结合小规模真实数据集，通过生成的合成场景数据和深度信息，训练出在物体识别、姿态估计和图像分割等方面表现优越的机器人抓取算法。

Jan, 2024

使用合成数据训练目标检测模型的分析

本文研究使用合成数据进行物体检测的方法及其性能，实验结果给出了使用合成数据的基本指导原则，并对比了不同训练技术。

Nov, 2022

面向现实的城市场景语义分割自适应技术

该论文提出了一种面向现实的域适应方法，通过学习合成数据，结合目标引导的蒸馏和空间感知的适应方案，可以提高语义分割网络从合成到真实城市场景的泛化能力。

Nov, 2017

语义分割的可靠性：我们是否走在正确的轨道上？

在计算机视觉中，轻量级模型通常通过使用 transformers，提高模型的性能，本文探讨如何通过四项指标 (强度、校准、描述和区外检测) 来提高模型的可靠性。

Mar, 2023

使用合成数据增广消除数据集偏差

本文探讨使用有针对性的合成数据增强 - 结合游戏引擎模拟和 sim2real 风格转移技术 - 填补视觉任务的真实数据集中的空缺。在三种不同的计算机视觉任务中（停车位检测，车道检测和单 ocular 深度估计），实证研究一致表明，将合成数据与真实数据混合训练能够显著提高交叉数据集的泛化性能。

Apr, 2020

分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

Jul, 2019

无人航天器图像的语义图像分割的合成数据

我们提出了一种生成合成图像数据的方法，用于语义分割，为其他任务提供泛化能力，并提供由无人驾驶宇宙飞船的二维单眼图像组成的原型合成图像数据集，以便进一步研究自主空间飞行器汇合问题。我们在这些合成数据上展示了强的基准结果（Sørensen-Dice 系数为 0.8723），表明训练良好性能的图像分割模型对此任务是可行的，特别是如果目标航天器及其配置已知。

Nov, 2022