关于预训练图像特征和合成图像在深度学习中的应用

Oct, 2017

关于预训练图像特征和合成图像在深度学习中的应用

On Pre-Trained Image Features and Synthetic Images for Deep Learning

Stefan Hinterstoisser, Vincent Lepetit, Paul Wohlhart, Kurt Konolige

TL;DR通过在 OpenGL 渲染中训练仅剩的层，利用预先在真实图像上训练的通用层来冻结特征提取层，本文展示了一种使用合成图像训练现代对象探测器的简单技巧。

Abstract

deep learning methods usually require huge amounts of training data to perform at their full potential, and often require expensive manual labeling. Using synthetic images is therefore very attractive to train ob

deep learning object detection synthetic images opengl rendering feature extraction

发现论文，激发创造

渲染合成图像用于训练物体检测器

本文提出了一种基于 3D 模型合成无限数量的训练图像的方法，以提升目标检测的分类性能。通过估计渲染参数，生成的图像不仅要外观与真实图像相似，而且要在训练目标检测器时使用相同的特征。结果表明，与传统方法不同的是，此方法可显著提高无人机、飞机和汽车检测的性能。

Nov, 2014

室内场景物体检测训练数据的合成

本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

Feb, 2017

使用合成训练数据和真实训练数据时的物体探测器差异

通过对真实数据和合成数据进行 YOLOv3 物体检测器的训练，并使用层面对齐（CKA）进行相似性分析，本文揭示了训练合成数据如何影响每个层以及复杂神经网络的内部运作方式。结果表明，真实数据和合成数据训练的检测器在早期层面具有最大的相似性，而在头部部分具有最大的差异。此外，结果还表明，在冻结和非冻结骨干之间没有明显的性能或相似性差异。

Dec, 2023

从合成图像学习快速准确的 3D 姿态推断的特征映射

该研究提出了一种基于合成图像的深度网络训练方法，通过使用基于 “范例” 的映射，将合成图像的特征空间映射到实际图像的特征空间中，以此用于 3D 姿态估计的预测。通过实验，该方法在 LINEMOD 数据集中实现了优于现有方法的性能表现。

Dec, 2017

多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

Dec, 2023

用强基准方法改进合成数据上的目标检测训练

我们提出了一种在合成数据上训练预训练目标检测器的方法，通过提取合成数据的显著信息并保留在真实图像上预训练的有用特征，结合数据增强方法和 Transformer 骨干网络，我们在 RarePlanes、DGTA-VisDrone 数据集上改进了合成数据训练的目标检测技术，并在公司内部车辆检测数据集上达到近乎完美的性能。

May, 2024

一个注释保存就是一个注释赚到手：使用全合成训练进行对象实例检测

本文提出了一种全新的方法来创造纯合成训练数据，通过利用大量的 3D 背景模型和完全领域随机化的方法得到逼真的背景图像，并使用 “课程策略” 来生成所有前景模型，从而得到最佳的训练样本。使用 64 个商品对象进行实验，表明我们的简单方法可以训练出优于实际数据的检测器。

Feb, 2019

使用合成数据训练深度人脸识别系统

本研究使用 3D 可变形面部模型，通过合成数据生成具有不同面部身份和完全控制的姿态、光照和背景的图像，观察到利用合成数据可以显著降低对真实世界图像需求，在预训练后，通过微调真实图像，合成数据与真实数据相结合的模型可获得更高的性能，而且并没有负面影响。

Feb, 2018

从 3D 模型学习深度物体检测器

通过增加合成训练数据，使得含有 3D CAD 模型的深度卷积神经网络（DCNN）训练数据可以更好地适应目标领域，本文详细分析了在没有低级线索（纹理，姿态和背景）的情况下 DCNN 的学习能力，并表明我们的合成 DCNN 训练方法在几乎没有真实数据的情况下可以在 PASCAL VOC2007 数据集上获得更好的性能，并且可以在 Office 基准测试中的域偏移场景中提高性能。

Dec, 2014

DeepFeatureX Net: 基于深度特征提取网络的合成图像与真实图像区分

基于三个块的新型方法，通过提取具有分辨力的特征来区分不同类型的图像，进而解决深度学习算法生成的合成图像在数字取证领域中的挑战，实验证明该方法在 JPEG 压缩和泛化测试方面具有良好的鲁棒性并超越了现有方法。

Apr, 2024