Jun, 2018

Syn2Real: 一种新的用于合成到真实视觉领域适应的基准测试

PDF
TL;DR本文介绍了一个新的大型基准测试 Syn2Real，其中包括了一个从 3D 物体模型渲染出的合成域以及两个包含相同物体类别的真实图像域，分别定义了三个相关任务：封闭集物体分类、开放集物体分类和物体检测。评估多种最先进的方法揭示了现有方法在不同任务上存在的许多适应性问题。
unsupervised transferobject recognition modelssyn2realclosed-set object classificationopen-set object classification
发现论文，激发创造
  • 域整理：简化图像缓解合成 - 真实域间的转移并提高深度估计

    通过注意力模块，学习识别和去除真实图像中的困难部分，以提高合成数据训练的模型对真实图像的景深估计。

    Feb, 2020

  • 基于 Blender 的合成数据在裸眼监督学习和下游领域自适应中的实用性新基准

    本论文介绍了一种使用 3D 渲染和域随机化技术生成合成数据的方法，探究了深度学习和领域适应的相关理论和新发现，并利用模拟到现实的适应性作为下行任务，证明了合成数据预训练也有助于提高实际测试结果。最后，作者们发展了一个新的大规模合成到实际（S2RDA）图像分类基准，提供了更具挑战性的从模拟到现实的转移。

    Mar, 2023

  • 室内 3D 物体检测的 Syn-to-Real 无监督领域自适应

    本文提出了一种新颖的面向室内三维物体检测的对象层次域对齐（OHDA）框架，其中包括一种面向对象的数据增强策略以有效地使源域数据多样化，并引入了一个由对抗训练分支和伪标记分支组成的两分支自适应框架，以同时达到整体级和类别级的域对齐，通过适应结果的改进在 Synthetic 数据集 3D-FRONT 到真实数据集 ScanNetV2 和 SUN RGB-D 上分别取得了分别为 9.7％和 9.1％的 mAP25 改进。

    Jun, 2024

  • 域风格迁移：一种强而简单的合成到真实图像域自适应基准线

    通过对于一种现有的照片风格转换算法进行简单的修改，本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法，提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证，展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外，我们还通过距离分析方法，展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。

    Jul, 2018

  • 基于 Sim2real 转移学习的 3D 人体姿势估计：动作拯救

    通过提取运动信息（光流和二维关键点），我们展示了神经网络方法可以在仅使用 SURREAL 合成数据的情况下与最先进的基于真实 3D 序列训练的方法相媲美地从 3D 视角估计人体姿态。

    Jul, 2019

  • 面向现实的城市场景语义分割自适应技术

    该论文提出了一种面向现实的域适应方法，通过学习合成数据，结合目标引导的蒸馏和空间感知的适应方案，可以提高语义分割网络从合成到真实城市场景的泛化能力。

    Nov, 2017

  • Alice 基准测试：将真实世界物体再识别与合成相连接

    通过学习合成数据，我们引入了 Alice 基准测试，为研究社区提供了大规模的数据集和评估协议，同时讨论了领域适应的方法和未来方向。

    Oct, 2023

  • 基于合成数据的鲁棒性类别层次 3D 姿态估计

    本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

    May, 2023

  • 在生产环境中构建综合数据以弥合仿真与真实世界之间的差距

    合成数据用于训练深度神经网络在计算机视觉应用中的重要性，重点探讨了在生产环境中使用的合成数据生成过程以及通过不同组合方法在减少仿真与现实差距方面的改进。

    Nov, 2023

  • 自我监督的真实到虚拟场景生成

    本研究提出一种自监督自动场景生成技术，可用于解决合成数据的生成成本高和领域差异等问题。该方法不需要真实世界数据集的监督，通过匹配真实数据的内容和特征，能够显著提高在多个数据集和真实数据集上场景图生成任务的表现。

    Nov, 2020