ICLRMar, 2019

标签偏移下的领域自适应正则化学习

PDF
TL;DR提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS)，该算法能够校正源域和目标域之间标签分布的转移，通过估计带权重的源目标数据并训练分类器，并以此推导出分类器在目标域的泛化边界，提出了一种小样本区间和大转移区间下考虑权重估计的正则估计器，实验证明，相比现有方法，RLLS 能够提高分类准确率，特别是在低样本和大转移区间。
regularized learninglabel shiftsdomain adaptationimportance weightsgeneralization bound
发现论文，激发创造
  • 有条件分布匹配和广义标签偏移的领域自适应

    本文提出了广义标签偏移（$GLS$）的假设来提高对不匹配标签分布的鲁棒性，在此基础上，提供了任何分类器的转移性能的理论保证，并且设计了估算相对类权重以及适当的样本重新加权的必要和充分条件。我们修改三个现有的域自适应 (DA) 算法（JAN，DANN 和 CDAN），评估它们在标准和人工 DA 任务上的性能，并且实验结果表明，在存在大的标签分布不匹配的情况下，我们算法的性能表现得到了显著的提高。

    Mar, 2020

  • 带偏移标签的适应性问题中，带偏差校准的最大似然方法最优

    该研究探讨了如何解决标签转移问题，提出了一种称为最大似然算法的方法，并结合一种称为校准的类型来减少偏见，证明了最大似然算法的目标是凸的，出现了黑盒转移学习和标签转移下的正则化学习的方法。研究表明，最大似然算法结合适当的校准是一个有效的基线。

    Jan, 2019

  • ELSA: 通过半参数模型视角实现有效标签偏移适应

    本文探讨如何解决标签偏移的域自适应问题，提出了基于影响函数几何的时刻匹配框架，讨论了一种名为 ELSA 的解决方案，并通过大量实验证明该方法在无需繁琐的后验校准的情况下，能达到与最先进方法一样的性能并获得计算效率的提升。

    May, 2023

  • 领域偏移的深入研究：通过依赖正则化进行迁移学习

    本论文提出了一种新的领域自适应方法，它可以分别测量内部依赖结构和边际之间的差异，并通过优化它们之间的相对权重来放松传统方法的死板性。实验结果表明，与各种基准领域适应模型相比，该方法的改进非常显著和稳健。

    May, 2023

  • 通过选择性增强提高对抗样本的鲁棒性

    探讨了在实际应用中常见的基于配分转移的问题，提出了一种选择性增广的简单混合技术 LISA，通过学习不受限制的内部表示或预测器来学习不变的预测器，并在包括亚种人群转移和领域转移的九个基准测试中验证了 LISA 的有效性。

    Jan, 2022

  • 自适应风险最小化：学习适应领域转移

    本文探讨了在机器学习系统被分布转移影响时，如何通过自适应风险最小化方法 (ARM) 以提高对新领域和分布的分类准确率，在多个图像分类问题中，与其他鲁棒性、不变性和适应性方法相比，ARM 方法提高了 1-4％的测试准确率。

    Jul, 2020

  • 通过无视偏移的权重正则化和最近源原型来提高测试时间适应能力

    本文提出了一种新型的测试时间适应策略，该策略仅使用来自目标域的无标注在线数据，对在源域上预训练的模型进行调整，以减轻源域和目标域之间的分布差异导致的性能下降，并给出了相应的方法和实验结果，证明其在各个标准基准上表现优异，甚至优于其有监督的对应物。

    Jul, 2022

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020

  • 分布偏移下近似最优线性回归

    探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

    Jun, 2021

  • 无监督域自适应的共同正则化对齐

    本研究提出了一种多样化特征空间的共同约束域对齐方法，用于解决深度神经网络在不同数据分布下的泛化问题，并在多个领域适用。

    Nov, 2018