Oct, 2023

走向统一而有效的领域泛化

PDF
TL;DR我们提出了一个新颖的 $UniDG$ 框架，用于 $ extbf {D}$ 应 $ extbf {G}$ 泛化，它能够显著提高基础模型的超出分布泛化性能，而无论它们的体系结构如何。UniDG 的核心思想是在推断阶段微调模型，从而节省了迭代训练的成本。具体来说，我们鼓励模型以无监督的方式学习测试数据的分布，并对模型参数的更新步骤施加惩罚。这个惩罚项可以有效地减少灾难性遗忘问题，因为我们希望尽可能地保留原始模型中的宝贵知识。根据实证，对于 12 个视觉骨干，包括卷积神经网络（CNN）、多层感知器（MLP）和 Transformer-based 模型，参数范围从 1.89M 到 303M 个，UniDG 在 DomainBed 上平均准确度提高了 + 5.4%。这些性能结果证明了 UniDG 的优越性和多功能性。代码公开可用于此网址。
unidgunified frameworkdomain generalizationiterative trainingcatastrophic forgetting
发现论文，激发创造
  • 无监督域泛化

    本研究旨在探索如何通过无监督学习帮助深度模型跨域泛化。通过预训练无标签数据，DARLING 方法可以从根本上改善有限标记数据的不足，增强模型的泛化能力。

    Jul, 2021

  • 关于认证和提高对未见领域的泛化能力

    本文提出了一种基于分布鲁棒优化的普适认证框架，旨在弥补现有基准数据集在测试时无法全面评估领域通用算法的局限性，并提出了一种训练算法，可以用于改进其认证性能。实证评估表明，该方法显著提高了风险压力下模型的最坏损失，而在基准数据集上并未出现显著的性能下降。

    Jun, 2022

  • 基于数据中心化方法的无监督领域泛化：来自网络规模多模态数据的检索

    该研究论文探讨了领域泛化和无监督领域泛化问题，提出了一种在多模态场景下构建数据集的新方法，并在不同的基准测试上与其他方法进行了比较，取得了较高的准确性。

    Feb, 2024

  • 面向语义图像分割的领域自适应和泛化网络结构及训练策略

    该研究提出两种新的神经网络框架（DAFormer 和 HRDA）来解决在未标记或不可见目标域上使用源域模型的问题，以提高无监督领域适应和领域泛化的性能，并在多个基准测试中取得了显著的改进。

    Apr, 2023

  • 具有类别感知对齐的强健领域无关泛化

    该论文提出了 Domain-Free Domain Generalization (DFDG)，一种模型无关的方法，通过学习领域不变的类别判别特征来实现更好的领域泛化性能，具体方法包括使用类别条件软标签来对齐样本的类别关系，使用显著性图来消除训练输入中的表面观察，并在时间序列传感器和图像分类的公共数据集上获得了具有竞争性的性能。

    Feb, 2021

  • 统一常用领域泛化方法的因果框架

    本研究提出了一种因果框架来研究领域泛化问题，希望通过对领域泛化的统一视角，帮助研究人员更好地理解其基本原理并发展出更有效的机器学习方法。

    Jul, 2023

  • 基于不确定性引导的对比学习在单源领域泛化中的应用

    通过引入一种新型模型 Contrastive Uncertainty Domain Generalisation Network (CUDGNet) ，本文提出了在单一域上训练的模型能够在面对多个陌生领域时展现出强大性能的方法。该方法通过虚拟域生成器增强输入和标签空间的源容量，并通过对比学习来联合学习每个类别的域不变表示。在两个 Single Source Domain Generalisation (SSDG) 数据集上的大量实验证明了我们方法的有效性，超过了最先进的单 - DG 方法高达 7.08%。我们的方法还能够通过生成子网络的单次前向传递有效地进行不确定性估计。

    Mar, 2024

  • 更深，更广，更艺术化的领域泛化

    本文主要介绍了如何利用深度学习和 CNN 模型处理领域泛化问题，建立起一个更加完整的基准测试数据集，并在其中进行了对比实验，证明了该方法的优越性以及提出的数据集的更高难度值。

    Oct, 2017

  • 领域通用化对领域相关类的应用

    该研究论文提出了一个公平且对比度特征空间正则化的算法，名为 FOND，旨在学习可以转移源领域知识的、用于表示在特定领域中仅存在的类的广义表示。实验结果表明该算法在提高特定领域类别的泛化表现上取得了最先进的效果，并提供了可行的数据增强实用技巧。

    Jun, 2023

  • 泛化到未见领域：关于领域泛化的调查

    这篇论文是对近年来领域泛化（即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型）领域的最新进展的首次回顾，涵盖了相关的理论、算法、数据集、应用，并提出了未来的研究方向。

    Mar, 2021