CVPRMar, 2023

基于 Blender 的合成数据在裸眼监督学习和下游领域自适应中的实用性新基准

PDF
TL;DR本论文介绍了一种使用 3D 渲染和域随机化技术生成合成数据的方法，探究了深度学习和领域适应的相关理论和新发现，并利用模拟到现实的适应性作为下行任务，证明了合成数据预训练也有助于提高实际测试结果。最后，作者们发展了一个新的大规模合成到实际（S2RDA）图像分类基准，提供了更具挑战性的从模拟到现实的转移。
deep learningcomputer visionsynthetic datadomain randomizationsimulation-to-reality adaptation
发现论文，激发创造
  • Syn2Real: 一种新的用于合成到真实视觉领域适应的基准测试

    本文介绍了一个新的大型基准测试 Syn2Real，其中包括了一个从 3D 物体模型渲染出的合成域以及两个包含相同物体类别的真实图像域，分别定义了三个相关任务：封闭集物体分类、开放集物体分类和物体检测。评估多种最先进的方法揭示了现有方法在不同任务上存在的许多适应性问题。

    Jun, 2018

  • 使用合成数据训练深度网络：通过域随机化缩小现实差距

    该研究提供了一种基于合成图像训练深层神经网络对象检测的系统，并探讨了领域随机化技术的重要性及其在检测 KITTI 数据集上的应用。

    Apr, 2018

  • 通过使用模拟数据来减少数据采集和标记以进行缺陷检测

    使用合成数据与未标注的真实数据进行训练可在较低成本下实现与标注真实数据相媲美甚至更好的缺陷检测结果。

    Jun, 2024

  • 在生产环境中构建综合数据以弥合仿真与真实世界之间的差距

    合成数据用于训练深度神经网络在计算机视觉应用中的重要性，重点探讨了在生产环境中使用的合成数据生成过程以及通过不同组合方法在减少仿真与现实差距方面的改进。

    Nov, 2023

  • 深度学习的合成数据

    本研究展示了合成数据的各种发展和应用方向，其中讨论合成数据的基本计算机视觉问题、室内外场景合成及数据应用、机器人仿真环境、合成数据在隐私相关应用方面的重要性，同时概括了如何改进和生产合成数据的替代方法。其次，介绍了合成数据转化后的真实应用存在的问题，最后，着重强调了未来在合成数据研究方面的最有潜力的方向。

    Sep, 2019

  • 使用合成数据增广消除数据集偏差

    本文探讨使用有针对性的合成数据增强 - 结合游戏引擎模拟和 sim2real 风格转移技术 - 填补视觉任务的真实数据集中的空缺。在三种不同的计算机视觉任务中（停车位检测，车道检测和单 ocular 深度估计），实证研究一致表明，将合成数据与真实数据混合训练能够显著提高交叉数据集的泛化性能。

    Apr, 2020

  • 将域随机化应用于合成数据以进行目标类别检测

    本文探讨了在具有特定应用领域的少量标记图像的情况下，使用人工合成的数据可以更好地代替 fine-tune 预训练网络，并展示了随机化流程中不同组件的个体贡献。

    Jul, 2018

  • Fashion CUT: 无监督领域自适应，在服装可视化模式分类中应用合成数据和伪标签

    本研究使用无监督领域适应技术将合成的时尚图像转化为真实世界的图像，用于训练一个无需真实世界标注数据的视觉模式分类模型，实验表明该方法优于其他无监督领域迁移算法。

    May, 2023

  • 自我监督的真实到虚拟场景生成

    本研究提出一种自监督自动场景生成技术，可用于解决合成数据的生成成本高和领域差异等问题。该方法不需要真实世界数据集的监督，通过匹配真实数据的内容和特征，能够显著提高在多个数据集和真实数据集上场景图生成任务的表现。

    Nov, 2020

  • 域风格迁移：一种强而简单的合成到真实图像域自适应基准线

    通过对于一种现有的照片风格转换算法进行简单的修改，本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法，提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证，展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外，我们还通过距离分析方法，展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。

    Jul, 2018