使用合成训练数据和真实训练数据时的物体探测器差异

Dec, 2023

使用合成训练数据和真实训练数据时的物体探测器差异

Object Detector Differences when using Synthetic and Real Training Data

Martin Georg Ljungqvist, Otto Nordander, Markus Skans, Arvid Mildner, Tony Liu...

TL;DR通过对真实数据和合成数据进行 YOLOv3 物体检测器的训练，并使用层面对齐（CKA）进行相似性分析，本文揭示了训练合成数据如何影响每个层以及复杂神经网络的内部运作方式。结果表明，真实数据和合成数据训练的检测器在早期层面具有最大的相似性，而在头部部分具有最大的差异。此外，结果还表明，在冻结和非冻结骨干之间没有明显的性能或相似性差异。

Abstract

To train well-performing generalizing neural networks, sufficiently large and diverse datasets are needed. Collecting data while adhering to privacy legislation becomes increasingly difficult and annotating these large datasets is both a resource-heavy and time-consuming task. An appro

neural networks synthetic data object detector training data layer-wise analysis

发现论文，激发创造

分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

Jul, 2019

用强基准方法改进合成数据上的目标检测训练

我们提出了一种在合成数据上训练预训练目标检测器的方法，通过提取合成数据的显著信息并保留在真实图像上预训练的有用特征，结合数据增强方法和 Transformer 骨干网络，我们在 RarePlanes、DGTA-VisDrone 数据集上改进了合成数据训练的目标检测技术，并在公司内部车辆检测数据集上达到近乎完美的性能。

May, 2024

使用合成数据训练目标检测模型的分析

本文研究使用合成数据进行物体检测的方法及其性能，实验结果给出了使用合成数据的基本指导原则，并对比了不同训练技术。

Nov, 2022

一个注释保存就是一个注释赚到手：使用全合成训练进行对象实例检测

本文提出了一种全新的方法来创造纯合成训练数据，通过利用大量的 3D 背景模型和完全领域随机化的方法得到逼真的背景图像，并使用 “课程策略” 来生成所有前景模型，从而得到最佳的训练样本。使用 64 个商品对象进行实验，表明我们的简单方法可以训练出优于实际数据的检测器。

Feb, 2019

关于预训练图像特征和合成图像在深度学习中的应用

通过在 OpenGL 渲染中训练仅剩的层，利用预先在真实图像上训练的通用层来冻结特征提取层，本文展示了一种使用合成图像训练现代对象探测器的简单技巧。

Oct, 2017

城市场景语义分割中合成数据的有效使用

本文提出了一种无需真实图像数据的方法，通过修改前景和背景类的训练方法来适应合成图像，有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。

Jul, 2018

分析虚假训练数据对深度学习系统性能的影响

本文深入分析了使用不同比例的真实数据和合成数据来训练计算机视觉模型对模型鲁棒性和预测质量的影响，证明使用生成对抗网络生成高质量合成数据可以减轻深度学习模型面临的挑战。

Mar, 2023

室内场景物体检测训练数据的合成

本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

Feb, 2017

渲染合成图像用于训练物体检测器

本文提出了一种基于 3D 模型合成无限数量的训练图像的方法，以提升目标检测的分类性能。通过估计渲染参数，生成的图像不仅要外观与真实图像相似，而且要在训练目标检测器时使用相同的特征。结果表明，与传统方法不同的是，此方法可显著提高无人机、飞机和汽车检测的性能。

Nov, 2014

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

Jun, 2023