AUGCAL:通过不确定性校准增强合成图像以改善 Sim2Rreal 适应性
本文使用 3D 仿真数据进行预测未来人物轨迹,提出了一种通过增加仿真数据以学习鲁棒表示的新方法,可以更好地推广到未见过的真实数据,并在三个真实世界基准下实现了有希望的结果并在 Stanford Drone 和 the VIRAT/ActEV 数据集中取得了最先进的表现。
Apr, 2020
研究利用未标记的现实数据学习仿真器输出的模型的真实性以改进合成图像以缩小合成和真实图像之间的差距,提出了一种使用合成图像作为输入的对抗网络方法,通过几个关键修改以保护注释信息、避免伪影、稳定训练的方式来学习 Simulated+Unsupervised(S+U)学习,用于眼睛凝视和手部姿势估计的模型表现得到了大幅提升。
Dec, 2016
为了增强自动驾驶系统的有效性,本文提出了 ARSim,一个全自动、综合和模块化框架,用于通过将 3D 合成对象与真实多视图图像数据相结合,来提高真实世界场景的多样性和覆盖范围。实验结果表明,在各种自动驾驶感知任务上,使用增强数据集训练的网络性能更优。
Mar, 2024
本文提出 Real-Aug,一种基于综合数据生成的数据增强方法,重视生成真实的 LiDAR 扫描,以及系统地验证其对各种探测器和数据集的有效性。
May, 2023
使用可解释的度量方法,结合遗传编程技术,预测适用于特定 sim-to-real 场景的数据增强策略,并在无需训练模型的情况下为特定数据集设计数据增强策略。
Mar, 2024
本文介绍了一个新的大型基准测试 Syn2Real,其中包括了一个从 3D 物体模型渲染出的合成域以及两个包含相同物体类别的真实图像域,分别定义了三个相关任务:封闭集物体分类、开放集物体分类和物体检测。评估多种最先进的方法揭示了现有方法在不同任务上存在的许多适应性问题。
Jun, 2018
提出了一种新颖的复杂到简单框架(CTS),从有标记的仿真域(源)转移模型到无标记的实际域(目标),通过开发固定大小的锚头和 RoI 增强来提高伪标签的质量,并开发角格式表示的 Aleatoric 不确定性(AU)以统一量化伪标签质量,还基于 AU 开发了一个噪声感知的均值教师域适应方法,以及基于 AU 的对象级和帧级采样策略,以迁移噪声标签的影响,实验结果表明,我们提出的方法显著增强了三维物体检测模型的仿真到实际域适应能力,胜过了通常针对实际到实际无监督域适应任务开发的最先进跨域算法。
Jun, 2024
车联网 (V2X) 的协作感知对于自动驾驶至关重要。然而,实现高精度的 V2X 感知需要大量的真实世界数据进行标注,这往往昂贵且难以获取。模拟数据因其可大规模低成本生成而备受关注。然而,模拟数据与真实世界数据之间存在显著的领域差异,包括传感器类型、反射模式和道路环境差异,导致在真实世界数据上评估的模型性能较差。为了充分利用模拟数据,我们提出了一种新的无监督 sim2real 领域适应方法,名为 Decoupled Unsupervised Sim2Real Adaptation (DUSA)。我们的新方法将 V2X 协作 sim2real 领域适应问题分解为两个子问题:sim2real 领域适应和协同代理适应。通过针对 sim2real 领域适应,设计了一种自适应聚合特征的位置适应型 Sim2Real Adapter (LSA) 模块,通过聚合全局特征上的模拟 / 真实判别器来调整来自特征图的关键位置的特征,并对模拟数据和真实世界数据之间的特征进行对齐。针对协同代理适应,我们进一步设计了一种自信度感知的协同代理 Adapter (CIA) 模块,通过代理自信度图的引导来调整异构代理的细粒度特征。实验证明了所提出的 DUSA 方法在从模拟 V2XSet 数据集到真实世界 DAIR-V2X-C 数据集的无监督 sim2real 领域适应任务中的有效性。
Oct, 2023
该研究提出了一种使用扩散模型增强模拟数据集的方法,以改善行人检测在现实世界数据中的性能,并使用扩散基础架构来生成具有真实分布的数据集,以填补模拟数据和真实数据之间的差距,通过使用生成数据与模拟数据进行的训练可以将行人检测模型在真实数据中的平均精度提高 27.3%。
May, 2023