Feb, 2024

基于短语引导的风格转移的单域通用目标检测

PDF
TL;DR单域广义目标检测提高模型泛化能力，只使用来自单一源域的数据进行训练。本文提出了一种基于短语定位的风格转移方法（PGST）来实现此任务。通过定义文本提示并利用已有模型学习目标域的风格，并将源域的视觉特征转移到目标域。最终，我们使用这些风格转移的视觉特征对模型进行微调，使其在只使用单一源域进行训练的情况下能够有效地适用于未见过的目标域。实验证明，我们的方法在五个不同的天气驾驶基准数据集上取得了最先进的性能，甚至超过了一些将目标域图像纳入训练过程的领域自适应方法。源代码和预训练模型将会提供。
single-domain generalized object detectionphrase grounding-based style transfertarget domainstyle-transfergeneralizability
发现论文，激发创造
  • GOOD: 面向领域泛化定向目标检测

    提出了一种面向域通用的有向物体检测任务，利用对比语言 - 图像预训练 (CLIP) 进行风格幻化，通过旋转感知的内容一致性学习 (RAC) 和风格一致性学习 (SEC) 两个关键组件，实现了稳定的有向物体检测和泛化能力的提升。广泛的实验表明了该方法在多种跨域设置下的最先进性能。源代码将公开提供。

    Feb, 2024

  • 通过样式一致性进行目标检测的领域自适应

    本文提出了一种基于领域自适应的目标检测方法，使用风格迁移和伪标签方法，使检测器在不同图像样式下具有鲁棒性，并显著提升了性能。

    Nov, 2019

  • 用数量化的领域转移度量和合成场景图像落地风格领域泛化

    在这篇论文中，我们介绍了一种新的领域综合范式，该方法通过提取领域不变特征来解决机器学习中的领域泛化问题，并引入了两个新的定量衡量标准 ICV 和 IDD 来描述风格领域的变化，同时提出了 SuperMarioDomains（SMD）这一新的合成多领域数据集，为 DG 方法 SMOS 的训练提供了预备模型，最终取得了在五个 DG 基准测试上的最新成果，对于抽象领域的性能大幅提升，并在逼真领域上保持相当水平或稍有改善。

    May, 2024

  • 基于图像的语言预训练

    本文提出了一种基于图像和语言语境的预训练 (GLIP) 模型，它可以同时学习目标检测和短语 grounding 任务以提升自身性能，并利用海量的图像文本对进行自我训练，从而获得语义丰富的表示。实验结果表明，GLIP 的表示具有较强的零样本迁移能力和准确性，可在各种目标识别任务上实现最先进的结果。

    Dec, 2021

  • 测试时间风格转移：处理领域通用中的任意风格

    本文提出了测试时样式转换和样式均衡方法以解决域泛化中的模型训练与目标域未知的问题。在不需要进一步模型更新的情况下，通过这种方法，模型可以处理任意具有任意样式统计数据的目标域，并且已在不同数据集上得到实验证明其有效性。

    Jun, 2023

  • 域风格迁移：一种强而简单的合成到真实图像域自适应基准线

    通过对于一种现有的照片风格转换算法进行简单的修改，本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法，提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证，展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外，我们还通过距离分析方法，展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。

    Jul, 2018

  • DGSS: 使用迭代风格挖掘和潜在表示对域通用语义分割进行分析

    本文提出单源域泛化的两步法框架来克服领域差距，使用对抗性样式和样式混合机制，以实现具有一致性表现的领域广义语义分割算法。

    Feb, 2022

  • 基于语义引导的特征对齐的目标检测半监督域泛化

    本文通过探索视觉语言预训练和通过语言空间强制特征对齐，首次解决了半监督领域泛化问题。我们提出了一种新颖的跨域描述多尺度学习（CDDMSL）方法，在嵌入空间中最大化了具有不同领域特性的图像描述之间的一致性。CDDMSL 在领域泛化和域自适应设置中显著优于现有方法，分别实现了 11.7% 和 7.5% 的改进。全面的分析和消融研究确认了我们方法的有效性，将 CDDMSL 定位为物体检测任务中领域泛化的有希望的方法。

    Sep, 2023

  • 单一领域泛化的多样化学习

    本研究提出了使用样式互补模块来增强模型的泛化能力，从而解决单域泛化中由于样本多样性有限而导致的泛化性能下降。通过在三个基准数据集上进行大量实验，结果表明本方法优于现有的单域泛化方法，最高提升了 25.14%。

    Aug, 2021

  • 提升单一领域通用目标检测：注意多样化和对齐

    解决目标检测的领域泛化问题，通过多样化源域和基于类别预测置信度和定位的对齐检测，并在安全关键应用中做出准确决策。

    May, 2024