Jun, 2024

当不变表示学习遇到标签漂移：不充分性和理论洞察

PDF
TL;DR该论文研究了数据集转移理论和不变表示学习算法，提出了广义标签转移（GLS）理论，并通过推导信息量化的一般化界限和基于贝叶斯观点证明了 GLS 学习器与最优目标模型的足够接近性；同时提出了基于内核嵌入的校正算法（KECA），通过最小化泛化误差和成功的知识转移实现了对数据集转移的校正，证明了 GLS 校正处理数据集转移的充分性和必要性。
dataset shift theoryinvariant representation learninggeneralized label shiftgls correctionkernel embedding-based correction algorithm
发现论文，激发创造
  • 有条件分布匹配和广义标签偏移的领域自适应

    本文提出了广义标签偏移（$GLS$）的假设来提高对不匹配标签分布的鲁棒性，在此基础上，提供了任何分类器的转移性能的理论保证，并且设计了估算相对类权重以及适当的样本重新加权的必要和充分条件。我们修改三个现有的域自适应 (DA) 算法（JAN，DANN 和 CDAN），评估它们在标准和人工 DA 任务上的性能，并且实验结果表明，在存在大的标签分布不匹配的情况下，我们算法的性能表现得到了显著的提高。

    Mar, 2020

  • 似然自由推断中的噪声参数分类和广义标签转移

    我们提出了一种新的方法用于稳健的不确定性量化，将分类问题视为在干扰参数下的假设检验问题，通过估计分类器在整个干扰参数空间上的接收器操作特性（ROC），我们能够设计在广义标签偏移下不变的截断点，从而有效赋予预训练分类器领域适应能力，并返回有效的预测集合同时保持高度的分类性能。

    Feb, 2024

  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • ELSA: 通过半参数模型视角实现有效标签偏移适应

    本文探讨如何解决标签偏移的域自适应问题，提出了基于影响函数几何的时刻匹配框架，讨论了一种名为 ELSA 的解决方案，并通过大量实验证明该方法在无需繁琐的后验校准的情况下，能达到与最先进方法一样的性能并获得计算效率的提升。

    May, 2023

  • 通过域不变表示估计分布转移下的泛化能力

    本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

    Jul, 2020

  • 超越差异：对分布偏移理论的深入研究

    在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

    May, 2024

  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022

  • 半监督学习中的信息论方法在协变量偏移下的应用

    该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

    Feb, 2022

  • 通过选择性增强提高对抗样本的鲁棒性

    探讨了在实际应用中常见的基于配分转移的问题，提出了一种选择性增广的简单混合技术 LISA，通过学习不受限制的内部表示或预测器来学习不变的预测器，并在包括亚种人群转移和领域转移的九个基准测试中验证了 LISA 的有效性。

    Jan, 2022

  • 类分布估计的不变性假设

    我们研究了在数据集偏移下的类别分布估计问题，讨论了协变量转移、可因子化联合转移和稀疏联合转移的假设及其对类别分布估计的影响。

    Nov, 2023