Apr, 2023

使用游戏引擎从合成数据中检测货盘

PDF
TL;DR本研究旨在评估使用游戏引擎在托盘分割的机器学习中生成合成训练数据的可行性。研究开发了一款工具，可从 3D 模型以像素完美的准确性自动生成大量带注释的训练数据，并且比手动方法更快地进行。使用 Mask R-CNN 管道进行图像分割，对于单独的托盘，AP50 达到了 86％。
game enginessynthetic training datamachine learningpallet segmentationmask r-cnn
发现论文，激发创造
  • 利用合成数据提升托盘检测的准确性

    使用合成数据在机器学习中能够节省大量时间，本研究旨在改进先前实施的方法，以实现仓库环境中托盘的实例分割。通过使用合成生成的域随机数据和通过 Unity 生成的数据，该研究在真实数据评估中对叠放和垛放托盘类别分别实现了 69% 和 50% mAP50 的性能提升。此外，在光线较暗的环境下评估模型时，其性能有显著影响，当在亮度降低 80% 的图像上进行评估时，mAP50 降至 3% 左右。此研究还创建了一个使用 YOLOv8 和 SAM 的两阶段检测器，但其性能不稳定。与 Unity 生成数据相比，使用域随机数据的性能改进可忽略。

    Feb, 2024

  • 合成数据在重新识别中的应用性

    本研究实现了使用生成式对抗网络在 EPAL 托盘块图片上进行数据集增强的可行性，以进行重新识别。利用 CycleGAN 生成旋转到左侧的托盘块图像，以生成一千个新图像，用于重新识别测试和训练，证明了生成的托盘块图像与原始图像的相似性。

    Dec, 2022

  • 基于数据驱动的纸板箱定位的新型合成数据工具

    本文提出一种用于工业应用中的神经网络自动生成数据集的自动化数据生成工具，通过纸盒的程序模型演示了系统的能力，证明了生成的可训练性的合成数据的有用性，并公开了样本合成数据。

    May, 2023

  • ParGANDA: 实现物体检测中合成行人的现实

    使用生成对抗网络 (GAN) 以解决真实与合成数据之间的领域差异，提高物体检测的性能，尤其针对行人检测，在不需要真实标签的情况下生成真实样本，适用于各种下游任务。

    Jul, 2023

  • 游戏与学习：使用视频游戏训练计算机视觉模型

    该论文通过实验验证了从现代视频游戏中提取的合成 RGB 图像可以用于改进深度神经网络在图像分割和深度估计方面的性能，同时还说明了合成数据可通过简单的领域自适应技术提供类似或更好的结果，这表明与游戏开发者合作收集数据是未来计算机视觉的一个潜在方向。

    Aug, 2016

  • 使用合成森林图像对深度学习算法进行树木检测训练

    本研究探讨了在森林环境中基于视觉的分割是自主林业操作（如伐树和前进）的关键功能之一。在本研究中，我们提出使用模拟森林环境来自动生成具有像素级注释的 43k 真实合成图像，并将其用于训练深度学习算法来进行树木检测。我们报告了使用这些合成数据集训练的模型在真实数据集上的有效性，证明了模型的迁移学习能力。

    Oct, 2022

  • 自动化数据集生成应用于包裹物流

    本文提出一种用于实例分割的合成数据集生成方法，通过从流行的图像搜索引擎中获取对象感兴趣的图像，实现了从数据采集到最终数据集形成的全自动化流程，并比较了三种不同的图像选择方法和四种不同的混合方法，该方法的有效性在包裹分割中得到了验证。

    Oct, 2022

  • 使用合成数据增广消除数据集偏差

    本文探讨使用有针对性的合成数据增强 - 结合游戏引擎模拟和 sim2real 风格转移技术 - 填补视觉任务的真实数据集中的空缺。在三种不同的计算机视觉任务中（停车位检测，车道检测和单 ocular 深度估计），实证研究一致表明，将合成数据与真实数据混合训练能够显著提高交叉数据集的泛化性能。

    Apr, 2020

  • 电脑游戏中的地面真实数据

    该论文提出了一种方法，根据现代电脑游戏中的图像快速创建像素准确的语义标签映射，用以训练计算机视觉模型并取得更高的准确度。

    Aug, 2016

  • MOTSynth: 如何利用合成数据提高行人检测和跟踪的效果？

    使用渲染游戏引擎生成大量高度多样化的合成数据集 MOTSynth，可以在多人跟踪、行人检测、再识别和分割等任务中取代实际数据并取得良好的性能。

    Aug, 2021