ECCVAug, 2022

GCISG: 引导式因果不变学习以提高从合成到真实场景的泛化能力

PDF
TL;DR通过使用因果框架对数据生成进行表征，提出了因果不变性学习的方法，该方法有助于学习抗干扰风格变量的样式不变表示，从而提高了 syn-to-real 的泛化性能。此外，还提出了一种实用的特征蒸馏方法，可以避免遗忘真实领域的语义知识。该方法在图像分类和语义分割等任务上取得了最新的成果。
deep learningdata generationgeneralizationcausal invariance learningsyn-to-real generalization
发现论文，激发创造
  • 对比 Syn-to-Real 泛化

    本文提出了一种基于对比的从合成到真实的泛化（Contrastive Synthetic-to-Real Generalization, CSG）框架，该框架利用预训练的 ImageNet 知识防止过度拟合合成域，同时提高特征嵌入的多样性以改善泛化性能，还使用注意力池化（A-pool）来进一步提高泛化性能。研究结果表明，此方法在各种合成训练任务中展示了最新的零 - shot 域泛化性能。

    Apr, 2021

  • 域风格迁移：一种强而简单的合成到真实图像域自适应基准线

    通过对于一种现有的照片风格转换算法进行简单的修改，本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法，提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证，展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外，我们还通过距离分析方法，展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。

    Jul, 2018

  • 领域随机化和金字塔一致性：无需访问目标域数据的模拟到实际泛化

    本文提出一种使用模拟技术进行自动驾驶场景语义分割的方法，通过域泛化的方式进行测试并实现了高度通用性，其中使用了域随机化和金字塔一致性两种技术，实现了域不变的特征表示。经过在 GTA，SYNTHIA 到 Cityscapes，BDDS 和 Mapillary 的广泛实验，本方法在一些状态和最先进的仿真转现领域自适应方法的测试结果表明，本方法实现了有竞争力、甚至优于其他方法的结果。

    Sep, 2019

  • 因果学习的生成式干预

    介绍了一种学习鲁棒视觉表示的框架，该框架能够推广到新的视点、背景和场景环境，并利用干扰因素以制造人为干预特征，从而学习更加符合基础因果关系的鲁棒表示方法。实验证明，该方法提升了多个需要超出训练分布的数据集的性能，在从 ImageNet 到 ObjectNet 数据集进行无分布推广时展现出最先进的性能。

    Dec, 2020

  • 提高机器学习合成数据的逼真度研究

    本研究着眼于深入评估和比较对于机器学习的通用合成数据的对抗训练效果，并旨在使用未标记的真实数据条件下的合成 - 真实生成模型将合成图像转化为更真实的风格，并通过定性和定量指标进行广泛的性能评估和比较。

    Apr, 2023

  • 从合成数据中学习语义分割：一种几何引导的输入输出适应方法

    本研究利用合成数据中的几何信息，结合图像翻译网络和任务网络，通过对抗性训练同时进行深度估计和语义分割，有效地缩小域差距，实现了跨域语义分割的重大性能提高。

    Dec, 2018

  • Fashion CUT: 无监督领域自适应，在服装可视化模式分类中应用合成数据和伪标签

    本研究使用无监督领域适应技术将合成的时尚图像转化为真实世界的图像，用于训练一个无需真实世界标注数据的视觉模式分类模型，实验表明该方法优于其他无监督领域迁移算法。

    May, 2023

  • 因果启发式表示学习用于领域泛化

    本文提出了一种基于因果关系的结构性因果模型来解决域泛化问题，并基于此提出了一种 Causality Inspired Representation Learning （CIRL）算法，该算法通过计算需满足的三个基本属性来强制表示满足因果机制的性质，进而提升了广义性能力。实验结果表明，该方法有效。

    Mar, 2022

  • 多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

    通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

    Dec, 2023

  • 对抗网络调整的场景生成

    该研究的目的是通过将生成模型的虚拟数据迭代地逼近真实世界的数据分布，提高计算机视觉系统训练的泛化性能，该方法通过对生成图形模型的参数先验分布进行后验密度估计，结合生成对抗训练，提高了交通场景语义标注任务的性能。

    Jan, 2017