Mar, 2022

使用预训练模型进行领域泛化，无需微调

PDF
TL;DR本文提出一种新的域泛化范式 —— 专业组合学习，利用固定的预先训练模型，先训练出一个线性标签空间适配器，然后提出一个认识到模型特殊性的集成网络，动态地分配适当的预训练模型来预测每个测试样本，与现有的域泛化方法相比，可以显著提高性能并大大减少可训练参数和时间成本。
发现论文，激发创造
  • 大规模预训练先验指导的领域泛化

    通过在领域一般化算法的微调过程中利用预训练模型，我们提出了一种新的微调方法，该方法称为 “用大规模预训练先验进行微调（FT-LP）”，在多个数据集和领域一般化模型上的实验证明了其显著改进和有效性。

    Jun, 2024

  • 无监督域泛化

    本研究旨在探索如何通过无监督学习帮助深度模型跨域泛化。通过预训练无标签数据，DARLING 方法可以从根本上改善有限标记数据的不足，增强模型的泛化能力。

    Jul, 2021

  • 使用集成学习进行域泛化

    研究领域为领域泛化的深度学习集成模型，旨在提高针对单个源域训练的模型的泛化能力，并取得了有希望的结果。

    Mar, 2021

  • 利用大型预训练模型与适配器混合进行领域泛化

    通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。

    Oct, 2023

  • 跨领域集成蒸馏用于领域泛化

    本文提出了一种名为 XDED 的跨域集合蒸馏方法，通过学习域不变特征并鼓励模型收敛于平坦极小值来提高泛化能力，同时提出了解决任意目标域中样式连贯性的去风格化方法。该方法在交叉领域图像分类、跨数据集的 person re-ID 和语义分割中极大地提高了泛化能力，并且表明所学习的模型对抗攻击和图像破坏是鲁棒的。

    Nov, 2022

  • 往未见领域通用化的方向发展

    我们提出了一种半监督领域泛化模型，通过利用有限的有标签数据和大量的无标签数据来学习领域通用特征。我们的方法在两种不同的半监督领域泛化设置中，在五个具有挑战性的基准测试中实现了一致且显著的进展。

    Mar, 2024

  • 具有类别感知对齐的强健领域无关泛化

    该论文提出了 Domain-Free Domain Generalization (DFDG)，一种模型无关的方法，通过学习领域不变的类别判别特征来实现更好的领域泛化性能，具体方法包括使用类别条件软标签来对齐样本的类别关系，使用显著性图来消除训练输入中的表面观察，并在时间序列传感器和图像分类的公共数据集上获得了具有竞争性的性能。

    Feb, 2021

  • 动态领域泛化

    提出一种名为 “动态域泛化”(DDG) 的新颖域泛化变体，其中模型学习扭曲网络参数以适应来自不同域的数据，并使用元调整器来扭曲网络参数，以便针对不同来源和目标域进行动态调整。通过使用 DomainMix 来模拟不同域的数据进行教学，以帮助元调整器适应未来的未知目标领域，无需经过训练即可实现模型的自适应调整，实验证明该方法的有效性。

    May, 2022

  • 领域通用和适应预训练的广泛研究

    本研究对深度模型的预训练、网络结构、大小等方面进行了广泛的研究和深入分析，发现通过使用最先进的主干网络可以有效提高领域适应基线和设置新的基线，为未来的领域转移研究提供了更多的见解。

    Mar, 2022

  • 联邦领域泛化：一项调查

    本文介绍了机器学习发展的过程及其在领域自适应和领域泛化方面的应用，重点介绍了联邦域泛化的概念和相关算法，分类为联邦域对齐、数据处理、学习策略和聚合优化，并提供了常用的数据集、应用、评估和基准，这些研究对解决在不同领域和分布数据上广泛存在的泛化问题具有重要意义。

    Jun, 2023