基于模型的深度卷积神经网络仿真

May, 2016

基于模型的深度卷积神经网络仿真

Model-driven Simulations for Deep Convolutional Neural Networks

V S R Veeravasarapu, Constantin Rothkopf, Visvanathan Ramesh

TL;DR该论文研究使用虚拟环境训练 CNN 模型的有效性，并针对城市语义理解提出了一种简单的概率场景模型，开发了参数化渲染工具进行数据综合，并系统地探索了真实感水平对 CNN 模型普适性的影响以及域自适应概念，以减少性能偏差。

Abstract

The use of simulated virtual environments to train deep convolutional neural networks (CNN) is a currently active practice to reduce the (real)data-hungriness of the deep cnn models, especially in application dom

simulated virtual environments deep cnn models urban semantic understanding probabilistic scene model domain adaptation

发现论文，激发创造

基于卷积神经网络的室内场景理解的物理渲染

本研究介绍了一个大规模的合成数据集，该数据集包括来自 4.5k 个室内场景的 40 万张基于物理的渲染图像，研究了不同的渲染方法和场景照明对深度学习算法在表面法线预测、语义分割和物体边界检测三个计算机视觉任务中的影响，并表明，使用这个新的合成数据集进行预训练可以提高所有三个任务的结果。

Dec, 2016

域随机化：从仿真到真实世界的深度神经网络转移

探究了一种称为 “Domain Randomization” 的技术，该技术使用非真实随机纹理来训练深度神经网络对象定位器，使得该定位器在真实环境中表现出色，并且可以应用于机器人控制中。

Mar, 2017

游戏与学习：使用视频游戏训练计算机视觉模型

该论文通过实验验证了从现代视频游戏中提取的合成 RGB 图像可以用于改进深度神经网络在图像分割和深度估计方面的性能，同时还说明了合成数据可通过简单的领域自适应技术提供类似或更好的结果，这表明与游戏开发者合作收集数据是未来计算机视觉的一个潜在方向。

Aug, 2016

学习感知合成图像真实感的判别模型

本文从数据驱动的角度回答了图像看起来真实的因素，并利用卷积神经网络（CNN）模型从大量数据中学习了视觉真实感知。该模型能够预测场景的视觉真实感，而无需任何人为标记，并应用于计算一种组合方法的最佳参数，以最大化 CNN 模型预测的视觉真实感得分。此外，通过人类感知研究，我们展示了它对现有方法的优势。

Oct, 2015

从 3D 模型学习深度物体检测器

通过增加合成训练数据，使得含有 3D CAD 模型的深度卷积神经网络（DCNN）训练数据可以更好地适应目标领域，本文详细分析了在没有低级线索（纹理，姿态和背景）的情况下 DCNN 的学习能力，并表明我们的合成 DCNN 训练方法在几乎没有真实数据的情况下可以在 PASCAL VOC2007 数据集上获得更好的性能，并且可以在 Office 基准测试中的域偏移场景中提高性能。

Dec, 2014

近似概率模拟和深度神经网络相对评价作为人类物理场景理解的解释

本文从物理场景理解出发，比较了基于直觉物理引擎、基于记忆模型和基于卷积神经网络的场景理解模型，发现基于模拟的模型在人类思维和感知的角度上更胜一筹，并且拥有更好的泛化能力。

May, 2016

使用合成数据训练深度网络：通过域随机化缩小现实差距

该研究提供了一种基于合成图像训练深层神经网络对象检测的系统，并探讨了领域随机化技术的重要性及其在检测 KITTI 数据集上的应用。

Apr, 2018

城市场景语义分割的课程域自适应

本论文介绍一种基于课程式学习（curriculum-style learning）的方法，通过学习全局标签分布和局部分布来缓解城市风景语义分割中真实图像和合成数据之间的领域差异，并在两个数据集和两个骨干网络上的实验中表现优异。

Jul, 2017

探索在驾驶数据合成中的生成式人工智能应用

通过三种不同的生成式人工智能方法应用驾驶模拟器中的语义标签图作为创建真实数据集的桥梁，本文比较分析了这些方法的图像质量和感知能力，产生了包括驾驶图像和自动生成的高质量注释的新合成数据集，证明了扩散式方法可以提供改进的稳定性和解决 Sim2Real 挑战的替代方法。

Apr, 2024

DriveGAN：朝着可控的高质量神经仿真

通过使用机器学习，该研究提出了一种能够通过观察图像数据和相关动作对来学习环境行为并进行建模的高质量神经模型，称为 DriveGAN，不需要监督信号训练控制模型，并在多个数据集上进行了训练和测试，表现优于之前的数据驱动模拟器，实现了对场景和非玩家对象的各个方面进行控制的新功能。

Apr, 2021