Oct, 2016

在矩阵中驾驶：虚拟世界是否能取代人为生成的真实任务注释？

PDF
TL;DR这篇研究论文提出了一种使用仿真引擎产生的合成注释数据的方法，以训练机器学习算法。通过在丰富的虚拟环境中训练机器学习算法来实现对真实世界中的物体的分类，为实现自动驾驶汽车等基于传感器分类问题的深度学习应用提供了可能性。
发现论文，激发创造
  • 增强现实与计算机视觉：城市驾驶场景的高效数据生成

    本研究探讨了结合实际图片和虚拟对象的增量学习方法，通过少量用户交互的方式，将虚拟对象添加到实际图片中，从而提高物体实例分割模型的性能。通过在 KITTI 2015 和 Cityscapes 数据集上的实验结果表明，增量学习方法可以显著提高实例分割和物体检测模型的泛化能力。

    Aug, 2017

  • 虚拟世界作为多对象跟踪分析的代理

    本研究运用计算机图形学的进展生成虚拟世界，实现了完全标记、动态、逼真的代理虚拟世界，并通过虚拟 KITTI 数据集提出了有效的现实世界克隆方法，通过该方法，可以提高深度学习算法预训练的性能。本研究进一步证明了虚拟世界可以测量各种天气和成像条件对识别性能的影响。

    May, 2016

  • 汽车应用中的合成数据生成的程序建模和基于物理的渲染

    本文介绍了一种系统性的方法来生成高度逼真、注释的合成数据，以用于计算机视觉任务的深度神经网络的训练。该方法的主要贡献是一种程序性的世界建模方法，能够产生高度可变性和物理准确性的图像合成，并且它是从手工建模的虚拟世界和在实时应用中使用的近似图像合成方法中脱颖而出的。我们的方法的优点包括灵活性、物理精确性、可扩展的图像合成、隐式广泛的类和特征覆盖以及完整的数据自检测以进行注释，所有这些都有助于质量和成本的效率。在本文中，我们以自动驾驶车辆和机器人导航的语义分割为主要应用，使用合成数据对多个深度学习体系结构进行了训练和微调。评估表明，我们的方法提高了神经网络的性能，即使是适度的实施工作也能产生最先进的结果。

    Oct, 2017

  • TRoVE：将道路场景数据集转换成逼真的虚拟环境

    本研究提出了一种用已有数据集进行数据注释以生成多模态数据的方法，以优化智能车辆系统中的数据模拟，实现高保真模拟并增加样本多样性并成功改善了语义分割的实验效果。

    Aug, 2022

  • 分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

    本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

    Jul, 2019

  • 探索在驾驶数据合成中的生成式人工智能应用

    通过三种不同的生成式人工智能方法应用驾驶模拟器中的语义标签图作为创建真实数据集的桥梁，本文比较分析了这些方法的图像质量和感知能力，产生了包括驾驶图像和自动生成的高质量注释的新合成数据集，证明了扩散式方法可以提供改进的稳定性和解决 Sim2Real 挑战的替代方法。

    Apr, 2024

  • 照片般逼真的渲染对视觉学习有多大帮助？

    研究利用合成数据半自动化创建数据集并将其应用于对象视角估计这一重要任务，使用最先进的渲染软件在视点空间中密集地呈现图像，研究渲染参数对估计性能的影响，并表明合成数据的泛化不比两个真实图像数据集之间的领域适应更困难，并且将合成图像与少量真实数据结合使用可以提高估计准确性。

    Mar, 2016

  • 游戏与学习：使用视频游戏训练计算机视觉模型

    该论文通过实验验证了从现代视频游戏中提取的合成 RGB 图像可以用于改进深度神经网络在图像分割和深度估计方面的性能，同时还说明了合成数据可通过简单的领域自适应技术提供类似或更好的结果，这表明与游戏开发者合作收集数据是未来计算机视觉的一个潜在方向。

    Aug, 2016

  • 利用合成人类进行训练学习

    本研究探索了使用全合成或合成增强真实数据的两种方法来解决多人二维姿势估计的问题，并研究了哪种方法更好地推广到真实数据，以及虚拟人物在训练损失中的影响。通过使用增强数据集，且不考虑训练损失中的合成数据，可以得到最佳结果。该研究还使用对抗性师生框架，发现不是所有的合成样本对训练都有同样的信息量，且信息量会随着训练阶段的不同而发生变化。

    Aug, 2019

  • 利用合成训练数据提高深度学习质量检测的泛化能力

    通过生成合成图像来解决领域不稳定性问题，从而使训练的深度学习模型更加稳健。我们描述了我们的合成数据生成管道和我们的深度学习方法来回答这些问题。

    Feb, 2022