- ACL什么导致显式到隐式篇章联系识别失败?
我们的研究揭示了,关系分类器在去除连接词后通过明确的示例进行训练在隐含场景中表现不佳的原因之一是标签偏移。通过在语料库级别提供经验证据,我们证明了标签偏移的存在,并通过考虑连接词的句法角色、连接词的歧义性等因素,分析了标签偏移发生的原因。最 - 成对对齐提升图领域适应
图领域适应性研究中,本文提出了一种新颖的、基于理论原则的方法,即配对校准(Pair-Align),以解决图结构的移动性问题。通过减轻条件结构移位和标签移位,Pair-Align 利用边权重重新校准相邻节点之间的影响,并通过标签权重调整分类损 - 在线特性更新提高在线(广义)标签转移适应性
在在线设置中,解决标签偏移和缺失标签的问题,通过使用未标记数据进行在线特征更新进行特征提取,从而改善预测模型的方法为 OLS-OFU,该方法在理论分析和实证研究中证实了其在处理领域变化时的有效性和鲁棒性。
- 在没有标签的标签偏移下估计校准误差
在面对数据集转移时,模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型 CE 估计器,通过利用加权重要性重新调整标记源数据分布,实现了对转移目标分布的一致且渐进无偏的 CE 估计,实验结果表明该估计器的有效 - 基于核方法的标签偏移适应中的类别概率匹配
在领域适应中,协变量偏移和标签偏移问题是两个不同而互补的任务。针对标签偏移适应,提出了一种称为类概率匹配的新框架,通过匹配两个类概率函数在一维标签空间上估计类概率比率,与在 $d$ 维特征空间上操作的特征概率匹配方法有根本区别。将核逻辑回归 - EMNLP生成式校准用于上下文学习
通过理论和实证研究,我们首次确定了上下文学习中的标签偏移现象,并提出了一种生成校准方法,通过调整标签边际分布来校准上下文预测分布,实验证明该方法在文本分类任务中显著且一致地优于其他校准方法,同时对于不同的提示配置也表现稳定。
- 通过分布特征匹配实现带健壮性保证的标签偏移量量化
本文提出了一种分布特征匹配(DFM)框架,可以估计标签偏移下的目标标签分布,并研究了 DFM 程序在存在未知污染分布的假设下的健壮性。
- ELSA: 通过半参数模型视角实现有效标签偏移适应
本文探讨如何解决标签偏移的域自适应问题,提出了基于影响函数几何的时刻匹配框架,讨论了一种名为 ELSA 的解决方案,并通过大量实验证明该方法在无需繁琐的后验校准的情况下,能达到与最先进方法一样的性能并获得计算效率的提升。
- 选择性混合有助于处理分布转移,但不仅仅因为混合
研究表明,特定样本对之间的非随机选择使训练分布受到影响,并通过与混合无关的方法提高了泛化能力。二元分类中的 Mixup 跨类混合隐含地对数据进行重新采样,从而实现了标签转移的经典解决方案。选择性混合和重新采样方法存在新的等价性,相关的优势可 - CVPRt-RAIN: 天气模糊标签转移攻击下的稳健泛化
通过分析标签偏移对自动驾驶中的多气候分类任务及行人检测任务的影响,并提出使用 t-RAIN 进行数据增广的方法,使得在无偏移、雾、雪和尘埃偏移情形下行人检测的性能提高 2.1%-4.4%,在真实和合成气象领域中分别获得最优的 82.69 A - 多领域道德学习数据融合框架
本文提出了使用领域对抗式训练和加权损失函数训练多个异构数据集的方法,成功地提高了语言模型在道德推断方面的性能和泛化能力。
- 重要性调节:过参数模型的群体鲁棒性
本文探讨了过度参数化模型的精度问题,提出了一种名为 “importance tempering” 的方法来解决分布偏移问题,并在实验中取得了最佳状态分类任务的最佳结果。
- 非参数分类中欠采样是一种极小化最优鲁棒干预的方法
通过研究分布偏移现象,揭示在非参数分类的情况下,算法无法超越欠采样算法的性能极限,除非训练和测试数据分布高度重叠或算法利用有关分布偏移的附加结构,在标签移位的情况下,有最优的欠采样算法,而在群组协变量移位的情况下,当群组分布之间的重叠较小时 - IJCAI变分贝叶斯推理下的条件和标签偏移下的域通用化
本文提出了一种领域泛化(DG)方法来学习多个标记源域并将知识转移至在训练中不可访问的目标领域,使用变分贝叶斯推断框架来强制进行条件分布对齐,并在考虑后验分布对齐的同时考虑与 $p(y)$ 相关的边际标签偏移,从而在各个基准测试上实现了优越的 - KDD鲁棒领域自适应:表示、权重和归纳偏差
本文研究在无监督领域适应中,加权样本的重要性抽样策略与不变表征相互作用的理论方面,并提出了一种改进的学习算法,旨在加强归纳偏差,减轻适应过程中可能存在的标签偏移问题。
- 标签偏移估计的统一视角
研究标签移位问题下,使用 moment-matching 方法通过混淆矩阵来估算标签边际分布并提供可解释的误差界限,同时介绍了 MLLS 方法,并提出了一种统一方法来比较两种方法,并将 MLLS 的有限样本误差分解成反映误差估计和标签错误率 - ICML带偏移标签的适应性问题中,带偏差校准的最大似然方法最优
该研究探讨了如何解决标签转移问题,提出了一种称为最大似然算法的方法,并结合一种称为校准的类型来减少偏见,证明了最大似然算法的目标是凸的,出现了黑盒转移学习和标签转移下的正则化学习的方法。研究表明,最大似然算法结合适当的校准是一个有效的基线。
- ICML使用黑盒预测器检测和校正标签变化
本研究提出了基于黑盒预测器的分布偏移检测和矫正方法 BBSE,通过降维并获得测试分布确定估计 $p (y)$,并在高维自然图像数据集上实现了准确的估计和预测改善。