ReTaSA:应对连续目标偏移的非参数功能估计方法
本文探讨如何解决标签偏移的域自适应问题,提出了基于影响函数几何的时刻匹配框架,讨论了一种名为 ELSA 的解决方案,并通过大量实验证明该方法在无需繁琐的后验校准的情况下,能达到与最先进方法一样的性能并获得计算效率的提升。
May, 2023
在没有任何先兆的情况下,本文旨在解决连续数据建模中突发分布转变的问题。具体而言,我们设计了一个名为 T-SaS 的贝叶斯框架,使用离散分布建模变量捕捉数据的突变。然后,我们设计了一个模型,通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠,采用动态遮罩策略来支持不同分布之间的互相转移。大量实验证明我们的方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。
Sep, 2023
本文提出了一种名为 ROID 的方法,该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段,解决了在线测试时自适应的问题,以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估,并在普遍 TTA 领域取得了新的标准。
Jun, 2023
提出了一个基于表示学习和样本重加权的误差界,针对因果推断和无监督域自适应问题,在设计转换下减少泛化误差的算法框架,与以往方法相比具有更好的效果并具有渐近一致性。
Feb, 2018
探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下,开发了具有最小值线性风险的估计量的转移学习算法,包括协变量转移和模型转移,同时也考虑了数据来自线性或一般非线性模型的情况,证明了线性最小值估计器与各种源/目标分布的非线性估计器相比的绝对误差是一个常量。
Jun, 2021
我们研究了一个具有非平稳标签转移的半监督分类问题,通过观察一组有标签的数据集和一系列无标签的协变量向量,我们的目标是预测每个协变量向量的相应类别标签,而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界,我们探索了一种基于统计方法的自适应迁移学习的替代方法,并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。
May, 2024
提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS),该算法能够校正源域和目标域之间标签分布的转移,通过估计带权重的源目标数据并训练分类器,并以此推导出分类器在目标域的泛化边界,提出了一种小样本区间和大转移区间下考虑权重估计的正则估计器,实验证明,相比现有方法,RLLS 能够提高分类准确率,特别是在低样本和大转移区间。
Mar, 2019
我们通过综合当前时期和历史时期的数据集,研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移,我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中,从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。
Feb, 2024
该论文介绍了一种解决分布回归问题的非线性方法,它考虑了再生核希尔伯特空间中的分布嵌入,并在其中执行标准的最小二乘回归。 该方法可用于不同维数和样本大小的多源数据,并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。
Dec, 2020