May, 2023

扩散式数据集生成：缩小行人检测 Sim2Real 差距的步伐

PDF
TL;DR该研究提出了一种使用扩散模型增强模拟数据集的方法，以改善行人检测在现实世界数据中的性能，并使用扩散基础架构来生成具有真实分布的数据集，以填补模拟数据和真实数据之间的差距，通过使用生成数据与模拟数据进行的训练可以将行人检测模型在真实数据中的平均精度提高 27.3%。
pedestrian detectionsimulated datasetsim2real gapdiffusion modelssynthetic data creation
发现论文，激发创造
  • 大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

    本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

    Jun, 2023

  • ParGANDA: 实现物体检测中合成行人的现实

    使用生成对抗网络 (GAN) 以解决真实与合成数据之间的领域差异，提高物体检测的性能，尤其针对行人检测，在不需要真实标签的情况下生成真实样本，适用于各种下游任务。

    Jul, 2023

  • 探索在驾驶数据合成中的生成式人工智能应用

    通过三种不同的生成式人工智能方法应用驾驶模拟器中的语义标签图作为创建真实数据集的桥梁，本文比较分析了这些方法的图像质量和感知能力，产生了包括驾驶图像和自动生成的高质量注释的新合成数据集，证明了扩散式方法可以提供改进的稳定性和解决 Sim2Real 挑战的替代方法。

    Apr, 2024

  • 行人合成 GAN：在实景及更多场景下生成行人数据

    本文提出了使用生成对抗网络（GAN）与多个辨别器结合的方法，生成大量逼真的行人图像并应用到行人检测任务中，证明通过添加合成数据可以显著地提高检测器的性能。

    Apr, 2018

  • 深度虚拟到真实蒸馏用于行人过路预测

    本文提出了一种通过引入合成数据来构建深度虚拟到现实蒸馏框架，以实现对真实数据中行人过马路的预测，该框架能够从合成视频中获取大量行人运动的信息，在真实交通世界的预测任务中表现出极高的性能表现。

    Nov, 2022

  • RadSimReal: 用模拟数据弥合雷达目标检测中合成数据与真实数据之间的差距

    应用神经网络在雷达图像中进行目标检测，在自动驾驶方面显示出巨大潜力。为了解决真实雷达图像数据集获取的困难，特别是在长距离检测和恶劣的天气和光照条件下，雷达性能表现优异的场景，我们提出了 RadSimReal - 一种创新的物理雷达模拟工具，能够生成各种雷达类型和环境条件下的合成雷达图像及其标注，无需收集真实数据。令人惊讶的是，我们的研究结果表明，在 RadSimReal 数据上训练目标检测模型，并随后在真实世界数据上进行评估，产生的性能水平与在相同数据集上训练和测试的模型相当，甚至在跨不同真实数据集进行测试时，性能更好。RadSimReal 相比其他物理雷达模拟工具具有优势，因为它不需要了解雷达设计细节，而雷达供应商通常不会公开这些细节，并且具有更快的运行时间。这个创新工具有潜力推进基于雷达的自动驾驶应用的计算机视觉算法的发展。

    Apr, 2024

  • DatasetDM: 使用扩散模型合成带有感知标注的数据

    通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。

    Aug, 2023

  • 探索航拍人体检测的合成数据影响

    本文研究了航拍人体检测中利用合成数据来训练的方法，通过探讨实际数据、合成数据和数据池选择对合成数据的质量影响以及利用合成数据提高学习性能和域泛化能力的效果，发现了几个重要的发现，为未来研究提供了更合理的使用合成数据的方向。

    May, 2024

  • CrowdSim2：一个用于目标检测的开放式合成基准测试

    该研究论文介绍了 CrowdSim2—— 一个新的人和车辆检测适用的合成图像集合，旨在用于基于人工智能的监督模型开发。研究发现他们使用的这个新数据集对于在受控环境中测量检测器性能是一个有价值的工具。

    Apr, 2023

  • 在生产环境中构建综合数据以弥合仿真与真实世界之间的差距

    合成数据用于训练深度神经网络在计算机视觉应用中的重要性，重点探讨了在生产环境中使用的合成数据生成过程以及通过不同组合方法在减少仿真与现实差距方面的改进。

    Nov, 2023