Sep, 2023

领域自适应的更佳实践

PDF
TL;DR在实际的机器学习应用中，分布偏移是相当常见的。领域自适应（DA）旨在通过提供各种适应模型到部署数据的框架，无需使用标签来解决这个问题。然而，领域偏移场景提出了一个更为微妙的挑战：在没有访问标记的验证集的情况下，执行这些适应算法的超参数优化（HPO）变得困难。本文通过对一套候选验证标准进行基准测试和评估流行的适应算法来分析使用良好评价实践时，领域适应的状况。研究结果显示，领域自适应方法的三个分支，包括无监督领域自适应（UDA）、无源领域自适应（SFDA）和测试时间自适应（TTA）都存在挑战。尽管结果显示，实际可达到的性能通常比预期差，但同时也表明使用适当的验证分割是有益的，同时还显示了一些以前未开发的验证指标迄今为止是最佳选择。总体而言，我们改进的数据、训练、验证和超参数优化实践形成了一个新的严格流程，以改进该重要领域的基准测试，从而推动研究进展。
distribution shiftsdomain adaptationhyperparameter optimisationvalidation protocolbenchmarking
发现论文，激发创造
  • 深度无监督域自适应：近期进展和展望综述

    深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

    Aug, 2022

  • 深度学习时代的多源域适应：系统综述

    本文介绍了多源域适应的概念和相关技术方法，探讨了其在深度学习时代的发展趋势和研究方向，为该领域的研究提供借鉴和参考。

    Feb, 2020

  • 通用源自由域自适应

    该研究提出了一种新的两阶段学习过程，以实现无监督域适应并实现源自由部署。在采购阶段，通过利用现有的源数据，在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力；在部署阶段，通过使用命名为源相似度度量的新型实例级加权机制，提出了一个简单而有效的源自由自适应目标，以设计一个统一的自适应算法，该算法可在各种范畴差异下运作，并实现了卓越的域适应性能。

    Apr, 2020

  • 测试时无监督领域自适应

    本研究提出了一种测试时间域自适应评估框架，该框架表明了针对测试数据进行领域适应可以优于在目标领域中看到更多数据的领域适应方法，支持无监督域自适应应在测试时间使用，即使只使用单个目标领域主题。

    Oct, 2020

  • 领域增强的域自适应

    本文提出了一种基于伪领域生成的领域增强领域自适应方法（DADA），通过生成与目标域差异更小的伪领域，减小跨域偏差，进而增强知识转移过程并将标签方法应用于 DADA 模型中，结果表明该模型优秀。

    Feb, 2022

  • 更多就是更好：多源深度域适应

    在深度学习时代，由于很难获得大规模标记数据来训练先进的深度神经网络，因此将已学习的知识从有标签的源领域转移到无标签或稀疏标签的目标领域成为一种吸引人的替代方法，而多源领域适应则是在收集有不同分布的多个源的标记数据中的一个强大而实用的扩展。在本次调查中，我们首先定义了各种多源领域适应策略。接着，我们从不同的角度系统地总结和比较了现代多源领域适应方法，以及常用的数据集和一个简单的基准测试结果。最后，我们讨论了值得探索的多源领域适应的未来研究方向。

    May, 2024

  • 领域自适应时间序列分类以减轻协变量漂移

    本文提出一种新的基于监督学习的域适应技术，利用最优传输方法和嵌入相似性技术，从少量样本中搜索最优类别相关转换，并在推理中选择相应的转换，能够减小领域差异，并在多个包括模拟和手写数据集的领域漂移时间序列数据集上进行了广泛的评估。

    Apr, 2022

  • 基于领域和类别转移的升级模型

    本文提出了一种基于全局和本地聚类的学习技术（GLC），以实现知道领域和类别转换下已知数据样本的识别，并仅使用标准预训练源模型的知识从而拒绝那些 “未知” 的数据样本。我们检验了我们的方法在包括部分集、开放集和开放部分集 DA 等不同类别转化情境下的多个基准测试中相对于 UMAD 的优越性，值得注意的是，我们的方法在最具挑战性的开放部分集 DA 情境下比 UMAD 高出 14.8％。

    Mar, 2023

  • Pareto 域自适应

    该论文探讨了基于梯度的角度重新思考域自适应算法优化方案的问题，并提出了 Pareto Domain Adaptation 方法来协作优化所有训练目标，提高目标分类精度

    Dec, 2021

  • VisDA-2021 竞赛：通用领域自适应模型改进域外数据性能

    该研究介绍了 Visual Domain Adaptation 2021 竞赛，将机器学习方法的性能从同一领域扩展到处理不同域的数据。该竞赛挑战的是无监督域自适应问题，并关注在目标数据集中可能遇到的数据分布漂移、缺失和 / 或新类别的困难 “通用” 设置。通过与领先的域适应方法的比较，利用已建立的度量标准来评估性能。该竞赛有望鼓励进一步改进机器学习方法，以处理实际数据在许多部署场景下的问题。

    Jul, 2021